CN111767197A - 日志处理方法和装置 - Google Patents

Abstract

本说明书一个实施例提供了一种日志处理方法和装置，其中方法包括：获取用户定义的日志分析需求；根据日志分析需求中的日志来源系统的标识，从日志来源系统处获取全量日志数据，根据日志分析需求中的第一存储空间的路径信息，将全量日志数据存储至第一存储空间；按照日志分析需求中的日志筛选规则，对第一存储空间中的全量日志数据进行筛选，根据日志分析需求中的第二存储空间的路径信息，将筛选得到的目标日志数据存储至第二存储空间；根据日志分析需求中的待进行日志分析的日志分析平台的标识和日志转存规则，将第二存储空间中的目标日志数据写入日志分析平台。通过本实施例，能够准确收集到日志分析时需要的日志数据，提高日志分析的准确性。

Description

日志处理方法和装置

技术领域

本文件涉及计算机技术领域，尤其涉及一种日志处理方法和装置。

背景技术

日志分析是程序维护过程中较为重要的部分，通过日志分析，可以发现程序运行过程中发生异常的原因，从而进行处理。比如，常见的应用程序可以分为前端和后端两部分，后端在运行过程中会生成日志数据，通过对日志数据进行分析，能够定位后端与前端交互过程中发生异常的原因，从而优化应用程序。

目前对日志数据进行分析时，通常利用log4j等日志收集组件收集日志数据，再将收集的日志数据输出到日志分析平台供日志分析人员分析。然而，利用log4j等日志收集组件收集的日志数据不一定是日志分析人员需要的日志数据，需要日志分析人员对日志数据进行进一步处理，从而提高根据收集的日志数据进行日志分析的难度，降低日志分析的准确性。

发明内容

本说明书一个实施例的目的是提供一种日志处理方法和装置，以准确收集到日志分析人员进行日志分析时需要的日志数据，降低根据收集的日志数据进行日志分析的难度，提高日志分析的准确性。

为达到上述技术目的，本说明书一个实施例是这样实现的：

第一方面，本说明书一个实施例提供了一种日志处理方法，包括：

获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

第二方面，本说明书另一个实施例提供了一种日志处理装置，包括：

需求获取模块，用于获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

第一存储模块，用于根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

第二存储模块，用于按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

日志分析模块，用于根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

第三方面，本说明书又一个实施例提供了一种日志处理设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现如上述第一方面所述的日志处理方法的步骤。

第四方面，本说明书再一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述第一方面所述的日志处理方法的步骤。

在本说明书一个实施例中，首先获取用户定义的日志分析需求，然后基于日志分析需求，获取全量日志数据并存储至第一存储空间，以及，对全量日志数据进行筛选，将筛选得到的目标日志数据存储至第二存储空间，以及，确定待进行日志分析的日志分析平台，将目标日志数据写入日志分析平台，以便用户进行日志分析。由此可见，通过本实施例，能够根据用户定义的日志分析需求从全量日志数据中筛选得到目标日志数据，并将目标日志数据写入日志分析平台，以进行日志分析，从而保证了目标日志数据都是根据用户定义的日志分析需求筛选得到的，达到了准确收集日志分析人员进行日志分析时需要的日志数据的效果，降低了根据收集的日志数据进行日志分析的难度，提高了日志分析的准确性。

附图说明

为了更清楚地说明本说明书一个或多个实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一实施例提供的日志处理方法的流程示意图；

图2为本说明书一实施例提供的需求定义界面的示意图；

图3为本说明书另一实施例提供的日志处理方法的流程示意图；

图4为本说明书一实施例提供的日志处理方法的应用场景示意图；

图5为本说明书一实施例提供的日志处理装置的模块组成示意图；

图6为本说明书一实施例提供的日志处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

本说明书一个实施例的目的是提供一种日志处理方法和装置，以准确收集到日志分析人员进行日志分析时需要的日志数据，降低根据收集的日志数据进行日志分析的难度，提高日志分析的准确性。该日志处理方法可以由日志处理组件执行，该日志处理组件可以部署于服务器中。

图1为本说明书一实施例提供的日志处理方法的流程示意图，本实施例中所述的用户包括但不限于进行日志分析的日志分析人员。如图1所示，该流程包括以下步骤：

步骤S102，获取用户定义的日志分析需求，日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

步骤S104，根据日志来源系统的标识，确定日志来源系统，从日志来源系统处获取全量日志数据，根据第一存储空间的路径信息，将全量日志数据存储至第一存储空间；

步骤S106，按照日志筛选规则，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据，根据第二存储空间的路径信息，将目标日志数据存储至第二存储空间；

步骤S108，根据待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照日志转存规则，将第二存储空间中的目标日志数据写入日志分析平台，以便用户进行日志分析。

本实施例中，首先获取用户定义的日志分析需求，然后基于日志分析需求，获取全量日志数据并存储至第一存储空间，以及，对全量日志数据进行筛选，将筛选得到的目标日志数据存储至第二存储空间，以及，确定待进行日志分析的日志分析平台，将目标日志数据写入日志分析平台，以便用户进行日志分析。由此可见，通过本实施例，能够根据用户定义的日志分析需求从全量日志数据中筛选得到目标日志数据，并将目标日志数据写入日志分析平台，以进行日志分析，从而保证了目标日志数据都是根据用户定义的日志分析需求筛选得到的，达到了准确收集日志分析人员进行日志分析时需要的日志数据的效果，降低了根据收集的日志数据进行日志分析的难度，提高了日志分析的准确性。

本实施例中，可以提供面向用户的需求定义界面，用户可以在该界面中定义日志分析需求，从而使得日志处理组件获取到用户定义的日志分析需求。图2为本说明书一实施例提供的需求定义界面的示意图，如图2所示，用户可以基于该界面，通过信息输入的方式输入所定义的日志分析需求。当然，在其他实施例中，用户也可以基于该界面，通过选择选项或者选择选项结合信息输入的方式输入所定义的日志分析需求，这里不做特殊限定。

日志分析需求中配置有但不限于日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则。

其中，日志来源系统即为要获取全量日志数据的系统，日志来源系统可以举例为待进行日志分析的应用程序的后台服务系统。日志来源系统也可以称为日志系统。待进行日志分析的日志分析平台即为用户分析日志数据所使用的平台，包括但不限于ELK平台。日志筛选规则用于从全量日志数据中筛选得到最终进行日志分析所使用的目标日志数据。第一存储空间可以为本地存储空间或者远程存储空间，第一存储空间的路径信息可以为第一存储空间的地址或目录。第二存储空间可以为本地存储空间或者远程存储空间，第二存储空间的路径信息可以为第二存储空间的地址或目录。日志转存规则为目标日志数据存储到日志分析平台的存储规则。

上述步骤S102中，日志处理组件获取用户定义的日志分析需求，进而执行步骤S104。

步骤S104中，日志处理组件首先根据日志来源系统的标识，确定日志来源系统，比如，日志来源系统的标识为“abc”，则确定系统abc为日志来源系统。可见，本实施例中用户可以自定义日志的来源，从而根据需求获取到全量日志数据。

日志处理组件还从日志来源系统中获取全量日志数据。日志处理组件可以利用各种已有的日志收集组件如log4j，从日志来源系统中获取全量日志数据，这里不做限定。继而，日志处理组件还根据第一存储空间的路径信息，将全量日志数据存储至第一存储空间。

第一存储空间可以为本地存储空间，如日志处理组件的本地文件系统，也可以为远程存储空间，远程存储空间可以举例为Kafka消息中间件。当第一存储空间为本地存储空间时，日志处理组件首先检查第一存储空间的路径信息是否存在，以及该路径信息是否有读写权限，若存在并且有读写权限，则将全量日志数据缓存至第一存储空间。当第一存储空间为远程存储空间如Kafka时，日志处理组件可以采用TCP(Transmission ControlProtocol，传输控制协议)或UDP(User Datagram Protocol，用户数据报协议)协议，将全量日志数据直接发送到Kafka中进行缓存。

Kafka是一个由Scala和java编写的高吞吐量的分布式发布订阅消息中间件，通过将全量日志数据写入Kafka，可以达到释放本地存储空间的效果，避免影响本地业务的处理，实现本地业务和远程业务的并发处理。

若日志分析需求中定义有第一存储空间的路径信息，则日志处理组件按照第一存储空间的路径信息，将全量日志数据存储至第一存储空间。若日志分析需求中没有定义第一存储空间的路径信息，则日志处理组件可以按照默认的方式选择本地的默认路径或者远程的默认路径作为第一存储空间的路径，从而将全量日志数据存储至第一存储空间。若日志分析需求中没有定义第一存储空间的路径信息，则日志处理组件还可以按照默认的目录创建规则，在本地创建目录作为第一存储空间的路径，或者在远程创建目录作为第一存储空间的路径，从而将全量日志数据存储至第一存储空间。

一个实施例中，根据第一存储空间的路径信息，将全量日志数据存储至第一存储空间，具体为：

(a1)按照预设的文件大小将全量日志数据划分为至少一个日志文件，根据第一存储空间的路径信息，将至少一个日志文件存储至第一存储空间；

或者，

(a2)所述全量日志数据包括多条日志数据；根据每条所述日志数据从所述日志来源系统处的获取时间，将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间。

动作(a1)中，日志处理组件按照预设的文件大小如128M，将全量日志数据划分为至少一个日志文件，每个日志文件大小都为128M，并从序号0开始为各个文件进行命名，如xx0.log.gz，xx1.log.gz，xx2.log.gz。然后，日志处理组件将各个日志文件缓存至第一存储空间。

动作(a2)中，在全量日志数据包括多条日志数据的情况下，日志处理组件可以根据每条日志数据从日志来源系统处的获取时间，将全量日志数据划分为至少一个日志文件，比如，将每连续一个小时内获取到的多条日志数据，划分为一个日志文件，如，将获取时间位于8点至9点内的多条日志数据，划分为一个日志文件，将获取时间位于9点至10点内的多条日志数据，划分为另一个日志文件。日志处理组件还可以从序号0开始为各个文件进行命名，如xx0.log.gz，xx1.log.gz，xx2.log.gz。进而，日志处理组件将各个日志文件缓存至第一存储空间。

具体实施时，可以结合实际的实施场景选择以上两种方式中的任意一种，将全量日志数据缓存至第一存储空间。

在执行步骤S104之后，日志处理组件继续执行步骤S106。步骤S106中，日志处理组件首先按照日志分析需求中的日志筛选规则，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据。

用户在定义日志筛选规则时，可以同步标注“规则匹配保留”或“规则匹配释放”。当标注“规则匹配保留”时，表示满足日志筛选规则的日志数据作为目标日志数据进行保留，当标注“规则匹配释放”时，表示满足日志筛选规则的日志数据进行释放，不满足日志筛选规则的日志数据作为目标日志数据进行保留。

用户在定义日志筛选规则时，可以根据全量日志数据的数据格式进行定义，比如，若全量日志数据为XML数据，则用户可以通过xpath语言定义日志筛选规则，若全量日志数据为JSON数据，则用户可以通过jsonpath语言定义日志筛选规则。除以上两种情况外，用户还可通过正则表达式定义日志筛选规则。

一个实施例中，全量日志数据包括多条日志数据，日志数据中记录有该日志数据对应的事件类型、该日志数据对应的事件异常原因、该日志数据对应的事件参数和该日志数据对应的日志级别。

具体地，每条日志数据中都记录有该日志数据对应的事件类型、该日志数据对应的事件异常原因、该日志数据对应的事件参数和该日志数据对应的日志级别。事件类型指的是该条日志数据所记录的事件的类型，比如，在发生数据发送事件后，生成一条日志数据，则该条日志数据对应的事件类型即为“数据发送事件”，又如，在发生数据接收事件后，生成一条日志数据，则该条日志数据对应的事件类型即为“数据接收事件”。

事件异常原因指的是该条日志数据所记录的事件发生异常的原因，比如，在发生数据发送事件后，由于数据发送事件所调用的发送函数A调用失败，导致数据发送失败，则该条日志数据对应的事件异常原因为“发送函数A调用失败”，又如，在发生数据接收事件后，由于数据接收事件所调用的接收函数B调用失败，导致数据接收失败，则该条日志数据对应的事件异常原因为“接收函数B调用失败”。

事件参数指的是该条日志数据所记录的事件的参数，比如，在发生数据发送事件后，该条日志数据对应的事件参数为接收到的数据值，又如，在发生数据接收事件后，该条日志数据对应的事件参数为需要发送出去的数据值。在交易事件中，事件参数可以为收款值或者付款值。

日志级别指的是该条日志数据对应的日志级别，日志级别可以由开发人员自定义，比如自定义日志级别包括“正确日志”、“错误日志”、“DEBUG日志”等。

相应地，上述步骤S106中，按照日志分析需求中的日志筛选规则，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据，包括以下方式中的至少一项：

(b1)按照日志筛选规则中定义的筛选得到的日志数据对应的目标事件类型或者筛选剔除的日志数据对应的目标事件类型，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据；

(b2)按照日志筛选规则中定义的筛选得到的日志数据对应的事件异常原因或者筛选剔除的日志数据对应的事件异常原因，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据；

(b3)按照日志筛选规则中定义的筛选得到的日志数据对应的事件参数要求或者筛选剔除的日志数据对应的事件参数要求，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据；

(b4)按照日志筛选规则中定义的筛选得到的日志数据对应的日志级别或者筛选剔除的日志数据对应的日志级别，对第一存储空间中的全量日志数据进行筛选，得到目标日志数据。

上述动作(b1)中，若日志筛选规则中定义了筛选得到的日志数据对应的目标事件类型，则按照该目标事件类型，对第一存储空间中的全量日志数据进行筛选，得到对应的事件类型为目标事件类型的日志数据，将该日志数据作为目标日志数据。反之，若日志筛选规则中定义了筛选剔除的日志数据对应的目标事件类型，则按照该目标事件类型，对第一存储空间中的全量日志数据进行筛选，得到对应的事件类型为目标事件类型的日志数据，将全量日志数据中除该日志数据以外的日志数据作为目标日志数据。

上述动作(b2)中，若日志筛选规则中定义了筛选得到的日志数据对应的事件异常原因，则按照该事件异常原因，对第一存储空间中的全量日志数据进行筛选，得到对应的事件异常原因为该事件异常原因的日志数据，将该日志数据作为目标日志数据。反之，若日志筛选规则中定义了筛选剔除的日志数据对应的事件异常原因，则按照该事件异常原因，对第一存储空间中的全量日志数据进行筛选，得到对应的事件异常原因为该事件异常原因的日志数据，将全量日志数据中除该日志数据以外的日志数据作为目标日志数据。

上述动作(b3)中，若日志筛选规则中定义了筛选得到的日志数据对应的事件参数要求，则按照该事件参数要求，对第一存储空间中的全量日志数据进行筛选，得到对应的事件参数满足该事件参数要求的日志数据，将该日志数据作为目标日志数据。反之，若日志筛选规则中定义了筛选剔除的日志数据对应的事件参数要求，则按照该事件参数要求，对第一存储空间中的全量日志数据进行筛选，得到对应的事件参数满足该事件参数要求的日志数据，将全量日志数据中除该日志数据以外的日志数据作为目标日志数据。

事件参数要求可以举例为要求事件参数大于一定值或者小于一定值，比如，日志筛选规则中定义了筛选得到的日志数据对应的事件参数要求为收款金额大于一定值，从而筛选得到收款金额大于一定值的收款事件对应的日志数据作为目标日志数据。又如，日志筛选规则中定义了筛选提出的日志数据对应的事件参数要求为接收的数据量大小小于一定值，从而筛选得到接收的数据量大小小于一定值的数据接收事件对应的日志数据作为目标日志数据。

上述动作(b4)中，若日志筛选规则中定义了筛选得到的日志数据对应的日志级别，则按照该日志级别，对第一存储空间中的全量日志数据进行筛选，得到对应的日志级别为该日志级别的日志数据，将该日志数据作为目标日志数据。反之，若日志筛选规则中定义了筛选剔除的日志数据对应的日志级别，则按照该日志级别，对第一存储空间中的全量日志数据进行筛选，得到对应的日志级别为该日志级别的日志数据，将全量日志数据中除该日志数据以外的日志数据作为目标日志数据。

本实施例在具体实施时，可以采用上述动作(b1)至(b4)中的至少一个动作筛选目标日志数据，则可以将满足任意一个动作的日志数据作为目标日志数据，比如，采用上述动作(b1)和上述动作(b2)筛选目标日志数据时，将满足上述动作(b1)或上述动作(b2)的日志数据作为目标日志数据。

本实施例中，通过上述动作(b1)至(b4)，可以从不同维度筛选得到目标日志数据，从而保证筛选得到的日志数据为日志分析人员进行日志分析时需要的日志数据。

在其他实施例中，日志数据中还记录有执行事件所使用的线程的标识、执行事件所使用的类名、日志生成时间等参数，则也可以根据执行事件所使用的线程、执行事件所使用的类名、日志生成时间中的至少一项，在全量日志数据中筛选目标日志数据，比如，将执行事件所使用的类名为特定类名的日志数据作为目标日志数据，以及，将日志生成时间为特定时间的日志数据作为目标日志数据。

上述步骤S106中，日志处理组件还根据第二存储空间的路径信息，将目标日志数据存储至第二存储空间。

第二存储空间可以为本地存储空间，如日志处理组件的本地文件系统，也可以为远程存储空间，远程存储空间可以举例为Kafka消息中间件。第二存储空间可以与第一存储空间均为本地存储空间，或者均为远程存储空间。

当第二存储空间为本地存储空间时，日志处理组件首先检查第二存储空间的路径信息是否存在，以及该路径信息是否有读写权限，若存在并且有读写权限，则将目标日志数据缓存至第二存储空间。当第二存储空间为远程存储空间如Kafka时，日志处理组件可以采用TCP或UDP协议，将目标日志数据直接发送到Kafka中进行缓存。

通过将目标日志数据写入Kafka，可以达到释放本地存储空间的效果，避免影响本地业务的处理，实现本地业务和远程业务的并发处理。

若日志分析需求中定义有第二存储空间的路径信息，则日志处理组件按照第二存储空间的路径信息，将目标日志数据存储至第二存储空间。若日志分析需求中没有定义第二存储空间的路径信息，则日志处理组件可以按照默认的方式选择本地的默认路径或者远程的默认路径作为第二存储空间的路径，从而将目标日志数据存储至第二存储空间。若日志分析需求中没有定义第二存储空间的路径信息，则日志处理组件还可以按照默认的目录创建规则，在本地创建目录作为第二存储空间的路径，或者在远程创建目录作为第二存储空间的路径，从而将目标日志数据存储至第二存储空间。

一个实施例中，根据第二存储空间的路径信息，将目标日志数据存储至第二存储空间，具体为：

(c1)按照预设的文件大小将目标日志数据划分为至少一个日志文件，根据第二存储空间的路径信息，将至少一个日志文件存储至第二存储空间；

或者，

(c2)目标日志数据包括多条日志数据；根据每条日志数据被筛选出来的时间，将目标日志数据划分为至少一个日志文件，根据第二存储空间的路径信息，将至少一个日志文件存储至第二存储空间。

动作(c1)中，日志处理组件按照预设的文件大小如128M，将目标日志数据划分为至少一个日志文件，每个日志文件大小都为128M，并从序号0开始为各个文件进行命名，如xx0.log.gz，xx1.log.gz，xx2.log.gz。然后，日志处理组件将各个日志文件缓存至第二存储空间。

动作(c2)中，在目标日志数据包括多条日志数据的情况下，日志处理组件可以根据每条日志数据被筛选出来的时间，将目标日志数据划分为至少一个日志文件，比如，将每连续一个小时内筛选出来的多条日志数据，划分为一个日志文件，如，将筛选时间位于8点至9点内的多条日志数据，划分为一个日志文件，将筛选时间位于9点至10点内的多条日志数据，划分为另一个日志文件。日志处理组件还可以从序号0开始为各个文件进行命名，如xx0.log.gz，xx1.log.gz，xx2.log.gz。进而，日志处理组件将各个日志文件缓存至第二存储空间。

具体实施时，可以结合实际的实施场景选择以上两种方式中的任意一种，将目标日志数据缓存至第二存储空间。

在执行步骤S106后，日志处理组件还执行步骤S108，根据待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，比如，待进行日志分析的日志分析平台的标识为“def”，则确定平台def为日志分析平台。可见，本实施例中用户可以自定义日志分析平台，从而根据需求进行日志分析。

确定日志分析平台之后，日志处理组件还按照日志分析需求中的日志转存规则，将第二存储空间中的目标日志数据写入日志分析平台，以便用户进行日志分析。

一个实施例中，按照日志转存规则，将第二存储空间中的目标日志数据写入日志分析平台，具体包括：

(d1)当获取到日志分析平台的日志分析请求时，将第二存储空间中的目标日志数据写入日志分析平台；

或者，

(d2)当第二存储空间中的目标日志数据的数量达到预设数量时，将第二存储空间中的目标日志数据写入日志分析平台。

动作(d1)中，当日志处理组件接收到日志分析平台的日志分析请求时，将第二存储空间中的目标日志数据写入日志分析平台，该日志分析请求可以根据用户在日志分析平台上进行的日志分析操作而生成，从而在用户需要分析日志时将目标日志数据写入日志分析平台。

动作(d2)中，当第二存储空间中的目标日志数据的数量达到预设数量时，将第二存储空间中的目标日志数据写入日志分析平台，从而使得目标日志数据及时得到分析处理，并且避免第二存储空间中的目标日志数据过多，占用第二存储空间。

通过以上实施例所描述的日志处理方法，能够从全量日志数据中筛选得到用户感兴趣的目标日志数据，一方面提高了用户进行日志分析时的分析效率和分析体验，另一方面也避免直接将全量日志数据写入日志分析平台占用过多存储空间的问题。

在另一个实施例中，上述日志分析需求中还配置有日志释放规则，图3为本说明书另一实施例提供的日志处理方法的流程示意图，如图3所示，上述日志处理方法在步骤S108之后，还包括：

步骤S110，获取日志分析需求中配置的日志释放规则，根据该日志释放规则，对第一存储空间中的全量日志数据进行释放。

一个实施例中，可以定期根据日志释放规则，对第一存储空间中的全量日志数据进行释放。另一个实施例中，可以在每次向第一存储空间中写入新日志数据时，根据日志释放规则，对第一存储空间中的全量日志数据进行释放。

一个实施例中，根据日志释放规则，对第一存储空间中的全量日志数据进行释放，具体包括：

(e1)第一存储空间中的全量日志数据被划分为至少一个日志文件；当对任意一个日志文件筛选完成后，释放该日志文件；

或者，

(e2)当全量日志数据的数据量大小与第一存储空间的容量大小之间的比值达到预设比值时，对第一存储空间中的全量日志数据进行释放；

或者，

(e3)全量日志数据包括多条日志数据；当任意一条日志数据在第一存储空间中的存储时长达到预设时长时，释放该条日志数据；

或者，

(e4)第一存储空间中的全量日志数据被划分为至少一个日志文件；当任意一个日志文件在第一存储空间中的存储时长达到预设时长时，释放该日志文件。

动作(e1)中，若第一存储空间中的全量日志数据被划分为至少一个日志文件，则当任意一个日志文件筛选完成后，也即从该日志文件中筛选目标日志数据完成后，释放该日志文件。

动作(e2)中，当全量日志数据的数据量大小与第一存储空间的容量大小之间的比值达到预设比值如70％时，对第一存储空间中的全量日志数据进行释放，以使释放后剩余的日志数据的数据量大小与第一存储空间的容量大小之间的比值小于预设比值。本动作中，若第一存储空间中的全量日志数据被划分为至少一个日志文件，则可以每次释放一个日志文件，直至释放后剩余的日志数据的数据量大小与第一存储空间的容量大小之间的比值小于预设比值。

动作(e3)中，当全量日志数据包括多条日志数据时，当任意一条日志数据在第一存储空间中的存储时长达到预设时长如14天时，释放该条日志数据。

动作(e4)中，若第一存储空间中的全量日志数据被划分为至少一个日志文件，则当任意一个日志文件在第一存储空间中的存储时长达到预设时长如一周时，释放该日志文件。

本实施例中所说的释放日志可以理解为在第一存储空间中删除日志。通过对第一存储空间中的全量日志数据进行释放，可以避免全量日志数据过度占用第一存储空间的问题。本实施例中还可以采用与上面动作(e1)至动作(e4)类似的方式，释放第二存储空间中的目标日志数据，比如：

(f1)第二存储空间中的目标日志数据被划分为至少一个日志文件；当对任意一个日志文件被写入日志分析平台后，释放该日志文件；

或者，

(f2)当目标日志数据的数据量大小与第二存储空间的容量大小之间的比值达到预设比值时，对第二存储空间中的目标日志数据进行释放；

或者，

(f3)目标日志数据包括多条日志数据；当任意一条日志数据在第二存储空间中的存储时长达到预设时长时，释放该条日志数据；

或者，

(f4)第二存储空间中的全量日志数据被划分为至少一个日志文件；当任意一个日志文件在第二存储空间中的存储时长达到预设时长时，释放该日志文件。

动作(f1)至(f4)的具体过程这里不再重复。一个实施例中，也可以在目标日志数据分析完成后，释放全量日志数据和目标日志数据。

图4为本说明书一实施例提供的日志处理方法的应用场景示意图，如图4所示，该场景包括日志来源系统、log4j日志收集组件、kafka消息中间件、ELK日志分析平台和日志处理组件。

用户在日志处理组件提供的页面中配置日志分析需求时，可以定义是否开启所配置的日志分析需求，若定义为不开启，则log4j日志收集组件从日志来源系统中收集日志数据，并按照默认的日志数据抽样策略，将收集的日志数据中的部分日志数据写入kafka消息中间件，kafka消息中间件再将写入的日志数据传输至ELK日志分析平台进行分析。若定义为开启，则在上述工作过程的同时，日志处理组件还通过上述的日志处理方法，从全量日志数据中筛选得到用户关心的目标日志数据，并将目标日志数据写入ELK日志分析平台。

可见，在图4所示的实施例中，用户可以自定义采用哪种方式进行日志获取及分析，从而达到了根据用户意愿获取日志的效果。

综上，本说明书以上一个或多个实施例中提供的日志处理方法，能够从全量日志数据中筛选得到用户关心的目标日志数据，保证了目标日志数据都是根据用户定义的日志分析需求筛选得到的，达到了准确收集日志分析人员进行日志分析时需要的日志数据的效果，降低了根据收集的日志数据进行日志分析的难度，提高了解决故障的效率，提高了日志分析的准确性，还避免日志数据占用日志分析平台过多的存储空间。

图5为本说明书一实施例提供的日志处理装置的模块组成示意图，如图5所示，该装置包括：

需求获取模块51，用于获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

第一存储模块52，用于根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

第二存储模块53，用于按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

日志分析模块54，用于根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

可选地，所述第一存储模块52具体用于：按照预设的文件大小将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间；或者，所述全量日志数据包括多条日志数据；根据每条所述日志数据从所述日志来源系统处的获取时间，将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间。

可选地，所述全量日志数据包括多条日志数据；所述日志数据中记录有所述日志数据对应的事件类型、所述日志数据对应的事件异常原因、所述日志数据对应的事件参数和所述日志数据对应的日志级别；所述第二存储模块53具体用于以下方式中的至少一项：按照所述日志筛选规则中定义的筛选得到的日志数据对应的目标事件类型或者筛选剔除的日志数据对应的目标事件类型，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件异常原因或者筛选剔除的日志数据对应的事件异常原因，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件参数要求或者筛选剔除的日志数据对应的事件参数要求，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的日志级别或者筛选剔除的日志数据对应的日志级别，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据。

可选地，所述第二存储模块53具体用于：按照预设的文件大小将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间；或者，所述目标日志数据包括多条日志数据；根据每条所述日志数据被筛选出来的时间，将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间。

可选地，所述日志分析模块54具体用于：当获取到所述日志分析平台的日志分析请求时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台；或者，当所述第二存储空间中的所述目标日志数据的数量达到预设数量时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台。

可选地，所述日志分析需求中还配置有日志释放规则，所述装置还包括：日志释放模块，用于获取所述日志分析需求中配置的日志释放规则，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放。

可选地，所述日志释放模块具体用于：所述第一存储空间中的所述全量日志数据被划分为至少一个日志文件；当对任意一个所述日志文件筛选完成后，释放该日志文件；或者，当所述全量日志数据的数据量大小与所述第一存储空间的容量大小之间的比值达到预设比值时，对所述第一存储空间中的所述全量日志数据进行释放；或者，所述全量日志数据包括多条日志数据；当任意一条所述日志数据在所述第一存储空间中的存储时长达到预设时长时，释放该条日志数据。

在本说明书一个实施例中，首先获取用户定义的日志分析需求，然后基于日志分析需求，获取全量日志数据并存储至第一存储空间，以及，对全量日志数据进行筛选，将筛选得到的目标日志数据存储至第二存储空间，以及，确定待进行日志分析的日志分析平台，将目标日志数据写入日志分析平台，以便用户进行日志分析。由此可见，通过本实施例，能够根据用户定义的日志分析需求从全量日志数据中筛选得到目标日志数据，并将目标日志数据写入日志分析平台，以进行日志分析，从而保证了目标日志数据都是根据用户定义的日志分析需求筛选得到的，达到了准确收集日志分析人员进行日志分析时需要的日志数据的效果，降低了根据收集的日志数据进行日志分析的难度，提高了日志分析的准确性。

本说明书一实施例提供的日志处理装置能够实现前述日志处理方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

进一步地，本说明书一个实施例还提供了一种日志处理设备，图6为本说明书一实施例提供的日志处理设备的结构示意图，如图6所示，该设备包括：存储器601、处理器602、总线603和通信接口604。存储器601、处理器602和通信接口604通过总线603进行通信，通信接口604可以包括输入输出接口，输入输出接口包括但不限于键盘、鼠标、显示器、麦克风、扩音器等。

图6中，所述存储器601上存储有可在所述处理器602上运行的计算机可执行指令，所述计算机可执行指令被所述处理器602执行时实现以下流程：

获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

可选地，所述计算机可执行指令被所述处理器执行时，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间，包括：按照预设的文件大小将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间；或者，所述全量日志数据包括多条日志数据；根据每条所述日志数据从所述日志来源系统处的获取时间，将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间。

可选地，所述计算机可执行指令被所述处理器执行时，所述全量日志数据包括多条日志数据；所述日志数据中记录有所述日志数据对应的事件类型、所述日志数据对应的事件异常原因、所述日志数据对应的事件参数和所述日志数据对应的日志级别；按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，包括以下方式中的至少一项：按照所述日志筛选规则中定义的筛选得到的日志数据对应的目标事件类型或者筛选剔除的日志数据对应的目标事件类型，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件异常原因或者筛选剔除的日志数据对应的事件异常原因，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件参数要求或者筛选剔除的日志数据对应的事件参数要求，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的日志级别或者筛选剔除的日志数据对应的日志级别，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据。

可选地，所述计算机可执行指令被所述处理器执行时，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间，包括：按照预设的文件大小将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间；或者，所述目标日志数据包括多条日志数据；根据每条所述日志数据被筛选出来的时间，将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间。

可选地，所述计算机可执行指令被所述处理器执行时，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，包括：当获取到所述日志分析平台的日志分析请求时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台；或者，当所述第二存储空间中的所述目标日志数据的数量达到预设数量时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台。

可选地，所述计算机可执行指令被所述处理器执行时，所述日志分析需求中还配置有日志释放规则，所述计算机可执行指令被所述处理器执行时还实现以下流程：获取所述日志分析需求中配置的日志释放规则，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放。

可选地，所述计算机可执行指令被所述处理器执行时，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放，包括：所述第一存储空间中的所述全量日志数据被划分为至少一个日志文件；当对任意一个所述日志文件筛选完成后，释放该日志文件；或者，当所述全量日志数据的数据量大小与所述第一存储空间的容量大小之间的比值达到预设比值时，对所述第一存储空间中的所述全量日志数据进行释放；或者，所述全量日志数据包括多条日志数据；当任意一条所述日志数据在所述第一存储空间中的存储时长达到预设时长时，释放该条日志数据。

在本说明书一个实施例中，首先获取用户定义的日志分析需求，然后基于日志分析需求，获取全量日志数据并存储至第一存储空间，以及，对全量日志数据进行筛选，将筛选得到的目标日志数据存储至第二存储空间，以及，确定待进行日志分析的日志分析平台，将目标日志数据写入日志分析平台，以便用户进行日志分析。由此可见，通过本实施例，能够根据用户定义的日志分析需求从全量日志数据中筛选得到目标日志数据，并将目标日志数据写入日志分析平台，以进行日志分析，从而保证了目标日志数据都是根据用户定义的日志分析需求筛选得到的，达到了准确收集日志分析人员进行日志分析时需要的日志数据的效果，降低了根据收集的日志数据进行日志分析的难度，提高了日志分析的准确性。

本说明书一实施例提供的日志处理设备能够实现前述日志处理方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

进一步地，本说明书另一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现以下流程：

获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

可选地，所述计算机可执行指令被处理器执行时，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间，包括：按照预设的文件大小将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间；或者，所述全量日志数据包括多条日志数据；根据每条所述日志数据从所述日志来源系统处的获取时间，将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间。

可选地，所述计算机可执行指令被处理器执行时，所述全量日志数据包括多条日志数据；所述日志数据中记录有所述日志数据对应的事件类型、所述日志数据对应的事件异常原因、所述日志数据对应的事件参数和所述日志数据对应的日志级别；按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，包括以下方式中的至少一项：按照所述日志筛选规则中定义的筛选得到的日志数据对应的目标事件类型或者筛选剔除的日志数据对应的目标事件类型，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件异常原因或者筛选剔除的日志数据对应的事件异常原因，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件参数要求或者筛选剔除的日志数据对应的事件参数要求，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；按照所述日志筛选规则中定义的筛选得到的日志数据对应的日志级别或者筛选剔除的日志数据对应的日志级别，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据。

可选地，所述计算机可执行指令被处理器执行时，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间，包括：按照预设的文件大小将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间；或者，所述目标日志数据包括多条日志数据；根据每条所述日志数据被筛选出来的时间，将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间。

可选地，所述计算机可执行指令被处理器执行时，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，包括：当获取到所述日志分析平台的日志分析请求时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台；或者，当所述第二存储空间中的所述目标日志数据的数量达到预设数量时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台。

可选地，所述计算机可执行指令被处理器执行时，所述日志分析需求中还配置有日志释放规则，所述计算机可执行指令被处理器执行时还实现以下流程：获取所述日志分析需求中配置的日志释放规则，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放。

可选地，所述计算机可执行指令被处理器执行时，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放，包括：所述第一存储空间中的所述全量日志数据被划分为至少一个日志文件；当对任意一个所述日志文件筛选完成后，释放该日志文件；或者，当所述全量日志数据的数据量大小与所述第一存储空间的容量大小之间的比值达到预设比值时，对所述第一存储空间中的所述全量日志数据进行释放；或者，所述全量日志数据包括多条日志数据；当任意一条所述日志数据在所述第一存储空间中的存储时长达到预设时长时，释放该条日志数据。

在本说明书一个实施例中，首先获取用户定义的日志分析需求，然后基于日志分析需求，获取全量日志数据并存储至第一存储空间，以及，对全量日志数据进行筛选，将筛选得到的目标日志数据存储至第二存储空间，以及，确定待进行日志分析的日志分析平台，将目标日志数据写入日志分析平台，以便用户进行日志分析。由此可见，通过本实施例，能够根据用户定义的日志分析需求从全量日志数据中筛选得到目标日志数据，并将目标日志数据写入日志分析平台，以进行日志分析，从而保证了目标日志数据都是根据用户定义的日志分析需求筛选得到的，达到了准确收集日志分析人员进行日志分析时需要的日志数据的效果，降低了根据收集的日志数据进行日志分析的难度，提高了日志分析的准确性。

其中，所述的计算机可读存储介质包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本说明书一实施例提供的存储介质能够实现前述日志处理方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本说明书的实施例可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (14)

1.一种日志处理方法，其特征在于，包括：

获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

2.根据权利要求1所述的方法，其特征在于，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间，包括：

按照预设的文件大小将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间；

或者，

所述全量日志数据包括多条日志数据；根据每条所述日志数据从所述日志来源系统处的获取时间，将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间。

3.根据权利要求1所述的方法，其特征在于，所述全量日志数据包括多条日志数据；所述日志数据中记录有所述日志数据对应的事件类型、所述日志数据对应的事件异常原因、所述日志数据对应的事件参数和所述日志数据对应的日志级别；

按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，包括以下方式中的至少一项：

按照所述日志筛选规则中定义的筛选得到的日志数据对应的目标事件类型或者筛选剔除的日志数据对应的目标事件类型，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；

按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件异常原因或者筛选剔除的日志数据对应的事件异常原因，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；

按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件参数要求或者筛选剔除的日志数据对应的事件参数要求，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；

按照所述日志筛选规则中定义的筛选得到的日志数据对应的日志级别或者筛选剔除的日志数据对应的日志级别，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据。

4.根据权利要求1所述的方法，其特征在于，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间，包括：

按照预设的文件大小将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间；

或者，

所述目标日志数据包括多条日志数据；根据每条所述日志数据被筛选出来的时间，将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间。

5.根据权利要求1所述的方法，其特征在于，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，包括：

当获取到所述日志分析平台的日志分析请求时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台；

或者，

当所述第二存储空间中的所述目标日志数据的数量达到预设数量时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述日志分析需求中还配置有日志释放规则，所述方法还包括：

获取所述日志分析需求中配置的日志释放规则，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放。

7.根据权利要求6所述的方法，其特征在于，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放，包括：

所述第一存储空间中的所述全量日志数据被划分为至少一个日志文件；当对任意一个所述日志文件筛选完成后，释放该日志文件；

或者，

当所述全量日志数据的数据量大小与所述第一存储空间的容量大小之间的比值达到预设比值时，对所述第一存储空间中的所述全量日志数据进行释放；

或者，

所述全量日志数据包括多条日志数据；当任意一条所述日志数据在所述第一存储空间中的存储时长达到预设时长时，释放该条日志数据。

8.一种日志处理装置，其特征在于，包括：

需求获取模块，用于获取用户定义的日志分析需求，所述日志分析需求中配置有日志来源系统的标识、待进行日志分析的日志分析平台的标识、日志筛选规则、第一存储空间的路径信息、第二存储空间的路径信息和日志转存规则；

第一存储模块，用于根据所述日志来源系统的标识，确定日志来源系统，从所述日志来源系统处获取全量日志数据，根据所述第一存储空间的路径信息，将所述全量日志数据存储至所述第一存储空间；

第二存储模块，用于按照所述日志筛选规则，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据，根据所述第二存储空间的路径信息，将所述目标日志数据存储至所述第二存储空间；

日志分析模块，用于根据所述待进行日志分析的日志分析平台的标识，确定待进行日志分析的日志分析平台，按照所述日志转存规则，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台，以便用户进行日志分析。

9.根据权利要求8所述的装置，其特征在于，所述第一存储模块具体用于：

按照预设的文件大小将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间；

或者，

所述全量日志数据包括多条日志数据；根据每条所述日志数据从所述日志来源系统处的获取时间，将所述全量日志数据划分为至少一个日志文件，根据所述第一存储空间的路径信息，将所述至少一个日志文件存储至所述第一存储空间。

10.根据权利要求8所述的装置，其特征在于，所述全量日志数据包括多条日志数据；所述日志数据中记录有所述日志数据对应的事件类型、所述日志数据对应的事件异常原因、所述日志数据对应的事件参数和所述日志数据对应的日志级别；

所述第二存储模块具体用于以下方式中的至少一项：

按照所述日志筛选规则中定义的筛选得到的日志数据对应的目标事件类型或者筛选剔除的日志数据对应的目标事件类型，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；

按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件异常原因或者筛选剔除的日志数据对应的事件异常原因，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；

按照所述日志筛选规则中定义的筛选得到的日志数据对应的事件参数要求或者筛选剔除的日志数据对应的事件参数要求，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据；

按照所述日志筛选规则中定义的筛选得到的日志数据对应的日志级别或者筛选剔除的日志数据对应的日志级别，对所述第一存储空间中的所述全量日志数据进行筛选，得到目标日志数据。

11.根据权利要求8所述的装置，其特征在于，所述第二存储模块具体用于：

按照预设的文件大小将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间；

或者，

所述目标日志数据包括多条日志数据；根据每条所述日志数据被筛选出来的时间，将所述目标日志数据划分为至少一个日志文件，根据所述第二存储空间的路径信息，将所述至少一个日志文件存储至所述第二存储空间。

12.根据权利要求8所述的装置，其特征在于，所述日志分析模块具体用于：

当获取到所述日志分析平台的日志分析请求时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台；

或者，

当所述第二存储空间中的所述目标日志数据的数量达到预设数量时，将所述第二存储空间中的所述目标日志数据写入所述日志分析平台。

13.根据权利要求8-12任一项所述的装置，其特征在于，所述日志分析需求中还配置有日志释放规则，所述装置还包括：

日志释放模块，用于获取所述日志分析需求中配置的日志释放规则，根据所述日志释放规则，对所述第一存储空间中的所述全量日志数据进行释放。

14.根据权利要求13所述的装置，其特征在于，所述日志释放模块具体用于：

所述第一存储空间中的所述全量日志数据被划分为至少一个日志文件；当对任意一个所述日志文件筛选完成后，释放该日志文件；

或者，

当所述全量日志数据的数据量大小与所述第一存储空间的容量大小之间的比值达到预设比值时，对所述第一存储空间中的所述全量日志数据进行释放；

或者，

所述全量日志数据包括多条日志数据；当任意一条所述日志数据在所述第一存储空间中的存储时长达到预设时长时，释放该条日志数据。

Images