CN112463772A - 日志处理方法、装置、日志服务器及存储介质 - Google Patents

Abstract

本申请实施例提供一种日志处理方法、装置、日志服务器及存储介质，其中，日志处理方法包括接收处理管理器发送的原始日志数据；确定目标日志源的资产标识；根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，其中，模板组包括至少一个关键信息提取模板；采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容的关键信息。本申请实施例提供的技术方案日志服务器有效地应对不同日志源采用不同数据格式记录日志正文内容的情形，降低了日志服务器无法提取日志源的日志正文内容中关键信息的发生概率。

Description

日志处理方法、装置、日志服务器及存储介质

技术领域

本申请实施例涉及计算机应用技术领域，尤其涉及一种日志处理方法、装置、日志服务器及存储介质。

背景技术

为了保证信息系统安全，需要对信息系统中的各种日志源进行日志采集和分析。其中，各种日志源例如为应用程序、数据库、操作系统、或者诸如防火墙、路由器、或交换机等网络设备。

目前，各种日志源在采集自身的原始日志数据之后，往往将所采集的原始日志数据发送给日志服务器进行日志分析。对日志服务器来说，在日志分析之前，需要从原始日志数据中提取日志正文内容中的关键信息作为日志分析的基础数据。现有的日志服务器在接收到不同日志源的原始日志数据时，采用通用的关键信息提取模板从不同日志源的原始日志数据中提取日志正文内容中的关键信息。然而，不同日志源的原始日志数据的数据格式可能并不相同。因此，按照现有方式，日志服务器很可能会无法成功提取到日志正文内容中的关键信息。

发明内容

本申请实施例提供一种日志处理方法、装置、日志服务器及存储介质，用以降低了日志服务器无法提取日志源的日志正文内容中关键信息的发生概率。

第一方面，本申请实施例中提供了一种日志处理方法，包括：

接收处理管理器发送的来源于目标日志源的原始日志数据；确定所述目标日志源的资产标识；根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，其中，所述模板组包括至少一个关键信息提取模板；采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

第二方面，本申请实施例提供了一种日志处理方法，包括：

接收目标日志源发送的原始日志数据；确定所述原始日志数据的优先级；根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；将所述原始日志数据发送给所述目标子处理器，以使所述目标子处理器确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

第三方面，本申请实施例提供了一种日志处理装置，包括：

第一接收模块，用于接收处理管理器发送的来源于目标日志源的原始日志数据；

第一确定模块，用于确定所述目标日志源的资产标识；

查询模块，用于根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，其中，所述模板组包括至少一个关键信息提取模板；

提取模块，用于采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

第四方面，本申请实施例提供了一种日志处理装置，包括：

第二接收模块，用于接收目标日志源发送的原始日志数据；

第二确定模块，用于确定所述原始日志数据的优先级；

选择模块，用于根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；

发送模块，用于将所述原始日志数据发送给所述目标子处理器，以使所述目标子处理器确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

第五方面，本申请实施例提供了一种日志服务器，包括处理管理器以及多个子处理器；所述处理管理器，用于接收目标日志源发送的原始日志数据；确定所述原始日志数据的优先级；根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；将所述原始日志数据发送给所述目标子处理器；所述目标子处理器，用于确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

第六方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被计算机执行时实现上述方法中的步骤。

本申请实施例，依托于包括处理管理器和至少一个子处理器的日志服务器，处理管理器发送的来源于目标日志源的原始日志数据并向目标子处理器发送，目标子处理器接收处理管理器发送的原始日志数据；确定目标日志源的资产标识；根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，其中，模板组包括至少一个关键信息提取模板；采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。由此，实现日志服务器采用与日志源相匹配的模板组从原始日志数据中提取日志正文内容中的关键信息，使得日志服务器有效地应对不同日志源采用不同数据格式记录日志正文内容的情形，降低了日志服务器无法提取日志源的日志正文内容中关键信息的发生概率。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提供的日志服务器一个实施例的结构示意图；

图2示出了本申请提供的日志处理方法一个实施例的流程图；

图3示出了本申请提供的日志处理方法又一个实施例的流程图；

图4示出了本申请提供的日志处理装置一个实施例的结构示意图；

图5示出了本申请提供的日志处理装置又一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了本申请提供的日志服务器一个实施例的结构示意图。参见图1，日志服务器包括处理管理器101和多个子处理器102。其中，不同的子处理器的核心103数量不同，核心103数量越多，子处理器102的处理能力越优越，子处理器102的一个核心103可以理解为一个CPU（中央处理器（central processing unit，CPU）模块，多个核心103组成的子处理器102可以理解为多核CPU。

在本申请实施例中，处理管理器101接收不同日志源发送的原始日志数据，根据原始日志数据的优先级将不同的原始日志数据分配给匹配的目标子处理器进行处理。其中，优先级高的原始日志数据分配核心数量较多的目标子处理器，优先级低的原始日志数据分配核心数量较少的目标子处理器，以提高日志处理效率。

在一种可能实现方式中，可以设置每个子处理器102与原始日志数据的优先级的对应关系，处理管理器101根据上述对应关系确定待分配的原始日志数据的目标子处理器。

具体的，处理管理器101，用于接收目标日志源发送的原始日志数据；确定原始日志数据的优先级；根据原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，原始日志数据的优先级越高，目标子处理器的核心数量越多；将所述原始日志数据发送给所述目标子处理器。

在本申请实施例中，目标子处理器，用于确定目标日志源的资产标识，并根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，以及采用模板组中的至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。

图2示出了本申请提供的日志处理方法一个实施例的流程图。该方法的执行主体为日志服务器中的目标子处理器，目标子处理器是处理管理器从多个子处理器选中的一个子处理器。

参见图2，该日志处理方法可以包括以下步骤：

201：接收处理管理器发送的来源于目标日志源的原始日志数据。

在本申请实施例中，目标日志源可以是日志服务器支持的任一日志源。日志服务器所支持的日志源可以向日志服务器上传原始日志数据，日志服务器所支持的日志源例如为应用程序、数据库、操作系统、或者诸如防火墙、路由器、或交换机等网络设备。日志源与日志服务器可以基于UDP/TCP协议进行通信。在TCP/IP网络体系结构中，TCP（传输控制协议，Transport Control Protocol）、UDP（用户数据报协议，User Data Protocol）是传输层最重要的两种协议，为上层用户提供级别的通信可靠性。

在本申请实施例中，目标日志源可以使用任意采集方式采集自身的原始日志数据并上传至日志服务器任意采集方式例如包括但不限于使用Kafka协议的采集方式、使用Syslog协议的采集方式等。

其中，Kafka协议是基于TCP的二进制协议，该协议定义了所有API的请求及响应消息。所有消息都是通过长度来分隔，并且由后面描述的基本类型组成。Kafka协议更多介绍详见相关技术。

其中，例如Syslog协议广泛应用于系统日志，此外，任何需要记录和发送日志的场景，都可以使用Syslog协议。日志源产生的Syslog日志数据既可以记录在日志源的本地文件中，也可以通过网络发送到接收Syslog日志数据的日志服务器。在诸如网络管理工具、安全管理系统、日志审计系统等较为常见的应用场景中，日志服务器可以接收多个日志源产生的Syslog日志数据并进行统一的存储，或者解析其中的内容做相应的处理。

为了便于理解，本申请实施例以日志源使用Syslog协议采集自身的原始日志数据并上传至日志服务器为例进行说明。

具体的，满足Syslog协议的日志数据包括以下几个部分：PRI部分、HEADER部分、MSG部分。

其中，PRI部分用于记录日志数据的优先级（Priority），PRI部分包括Facility参数和Severity参数。Facility参数表征产生日志数据的程序模块，Severity参数表征日志数据的严重性，基于Facility参数和Severity参数可以计算日志数据的优先级，具体的，Priority=Facility*8+Severity。例如，日志数据的优先级（Priority）按照从低到高的顺序依次为第0级、第1级……第n级等，n为大于1的整数。关于Syslog协议的PRI部分更多介绍详见相关技术。

其中，HEADER部分主要记录日志源产生日志数据的时间、日志源所在的主机名或主机的IP地址等。关于Syslog协议的HEADER部分更多介绍详见相关技术。

其中，MSG部分包括产生日志数据的进程名、进程ID和日志正文内容等。其中，日志正文内容记录的是详细的日志数据，是日志分析的基础数据。关于Syslog协议的MSG部分更多介绍详见相关技术。

需要指出的是，原始日志数据为处理管理器根据原始日志数据的优先级，从多个子处理器中选中目标子处理器之后向该目标子处理器发送的。具体的，由日志服务器中的处理管理器接收目标日志源的原始日志数据，处理管理器根据原始日志数据的优先级从日志服务器中的多个子处理器中选择一个目标子处理器，并向目标子处理器发送目标日志源的原始日志数据。关于处理管理器如何根据原始日志数据的优先级从日志服务器中的多个子处理器中选择一个目标子处理器详见后续介绍，在此不再赘述。

原始日志数据中的日志正文内容就是计算机系统、网络设备、软件等各种重要设备在某种情况下记录的详细信息，具体的内容取决于原始日志数据的来源。例如，操作系统会记录用户登录和注销的消息，防火墙将记录根据访问控制列表对内外网之间通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息。日志正文内容中有大量信息，这些信息可以指示为什么需要生成日志，系统已经发生了什么。通过原始日志数据，IT管理人员可以了解系统的运行状况，安全状况，甚至是运营的状况。可以使用日志正文内容为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志正文内容可以反应出很多的安全攻击行为，比如登录错误，异常访问等。日志正文内容还能告诉很多关于网络中所发生事件的信息，包括性能信息、故障检测和入侵检测。日志正文内容会成为在事故发生后查明“发生了什么”的一个很好的“取证”信息来源。日志正文内容可以为审计进行审计跟踪。

202：确定目标日志源的资产标识。

在本申请实施例中，日志服务器可以查询预先建立的资产信息登记表来确定目标日志源的资产标识，实现自动快速地识别上报的原始日志数据的来源。

其中，资产信息登记表记录的每条资产信息至少包括日志源的资产标识、与资产标识对应的资产信息。

其中，资产标识可以包括但不限于日志源的生产商名称、日志源的产品型号信息、日志源的版本信息。

可以理解的是，同一生产商名称的生产商会开发不同产品型号信息的日志源，同一产品型号信息下有不同版本信息的日志源。因此，综合生产商名称、产品型号信息、版本信息可以唯一标识一个日志源，后续基于综合生产商名称、产品型号信息、版本信息的资产标识可以准确找到该日志源关联的模板组。

其中，资产信息可以包括但不限于日志源的IP地址、日志源的价格信息、日志源的重要性以及日志源的影响范围。

在一种可能实现方式中，确定目标日志源的资产标识可以包括：从原始日志数据中提取目标日志源的IP地址；查询预先建立的资产信息登记表，获取与IP地址匹配的资产标识；其中，资产信息登记表包括日志源的IP地址和资产标识的对应关系。

其中，若原始日志数据记录的是主机名，根据主机名可以查询到目标日志源所在主机的IP地址，目标日志源所在主机的IP地址也即目标日志源的IP地址。若原始日志数据记录的是目标日志源的IP地址，直接提取目标日志源的IP地址即可。

203：根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，其中，模板组包括至少一个关键信息提取模板。

在本申请实施例中，不同日志源的原始日志数据可能采用不同数据格式进行记录。例如，在使用Syslog协议记录原始日志数据的应用场景中，对日志正文内容的数据格式没有强制规定。这样，日志源可以使用通用数据格式记录日志正文内容，也可以使用自定义数据格式即非通用数据格式记录日志正文内容。由此，造成不同日志源的原始日志数据可能采用不同数据格式记录日志正文内容。

在本申请实施例中，为了使得日志服务器能够应对不同日志源采用不同数据格式记录日志正文内容的情形，预先在日志服务器中存储日志服务器所支持的日志源的模板组，以及在日志服务器中建立了资产标识和模板组对应关系，以便在识别出目标日志源的资产标识之后，基于资产标识和模板组对应关系，确定目标日志源对应的模板组。由此，实现采用与日志源相匹配的模板组从原始日志数据中提取日志正文内容中的关键信息，降低了日志服务器无法提取日志源的原始日志数据中的日志正文内容的关键信息的发生概率。

在本申请实施例中，模板组中的关键信息提取模板为用于从原始日志数据中提取日志正文内容中的关键信息的模板。实际应用中，日志源可能记录不同类型的日志数据，为了使得日志服务器能够提取同一日志源的不同类型的日志数据中的日志正文内容的关键信息，在日志服务器中存储同一日志源的至少一个关键信息提取模板，不同的关键信息提取模板用于提取不同类型的日志数据中的日志正文内容的关键信息。

在本申请实施例中，可以基于现有的文本提取技术设计关键信息提取模板。

在一种可能实现方式中，关键信息提取模板包括至少一个字段；采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息具体是：针对任一关键信息提取模板，将原始日志数据与对应的至少一个字段进行匹配；将与至少一个字段匹配成功的日志数据作为原始日志数据中的日志正文内容的关键信息。

实际应用中，日志正文内容一般为结构化的数据，针对结构化的数据利用正则表达式进行提取较为方便、准确。因此，在本申请一些实施例中，为了更为方便、准确提取日志正文内容的关键信息，关键信息提取模板为包括至少一个字段的正则表达式。具体应用时，可以根据日志数据的类型编写相匹配的正则表达式。利用正则表达式提取文本内容更多介绍可以参见相关技术。

204：采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。

在本申请实施例中，在确定目标日志源的模板组之后，采用模板组中的至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。

实际应用中，日志源不同时间节点上传的原始日志数据可能是不同日志类型的日志数据，每种日志类型的原始日志数据需要一种关键信息提取模板，因此，同一日志源的模板组中可能有多个关键信息提取模板。以下介绍几种采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息的方式。

在一种可能实现方式中，采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息具体是：依次利用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息直至提取成功。

其中，依次利用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息直至提取成功具体是：依次将模板组中的一个关键信息提取模板作为当前关键信息提取模板；利用当前关键信息提取模板从原始日志数据中提取日志正文内容中的关键信息；若提取失败，返回执行依次将模板组中的一个关键信息提取模板作为当前关键信息提取模板的步骤，直至提取成功。

为了快速找到合适的关键信息提取模板，提高日志正文内容的提取效率，在本申请的一些实施例中，“依次利用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息直至提取成功”的具体实现方式为：统计至少一个关键信息提取模板各自的命中率，其中，每个关键信息提取模板的命中率根据其提取成功次数和提取总次数计算得到；根据命中率从高到低的顺序对至少一个关键信息提取模板进行排序；依次利用排序后的利用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息直至提取成功。

需要指出的是，每个关键信息提取模板的初始命中率为0。目标子处理器每次在采用模板组对当前上传的原始日志数据执行完提取操作之后，对模板组中的每个关键信息提取模板的命中率进行更新。例如，目标日志源的模板组包括关键信息提取模板1、关键信息提取模板2、关键信息提取模板3等。针对目标日志源第一次上传的原始日志数据，先利用关键信息提取模板1提取日志正文内容，若提取失败，接着利用关键信息提取模板2提取日志正文内容并提取成功。关键信息提取模板1、关键信息提取模板2、关键信息提取模板3的初始命中率为0，则在对目标日志源第一次上传的原始日志数据执行完提取操作之后，关键信息提取模板1和关键信息提取模板2的提取总次数增加一次，关键信息提取模板3提取总次数不增加一次；关键信息提取模板2的提取成功次数增加一次，关键信息提取模板1和关键信息提取模板3的提取成功次数不增加一次；针对每个关键信息提取模板，假设提取成功次数为A，提取总次数为B，命中率为C，则C=A/B，即命中率为提取成功次数与提取总次数的比值。可以理解的是，在对目标日志源上一次上传的原始日志数据执行完提取操作之后，对模板组中的每个关键信息提取模板的命中率进行更新，也即模板组中的每个关键信息提取模板的命中率实时进行调整，以便在对目标日志源下一次上传的原始日志数据执行完提取操作时，基于命中率更新后的关键信息提取模板提取下一次上传的原始日志数据中的日志正文内容

在又一种可能实现方式中，采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息具体是：从至少一个关键信息提取模板中选择任一关键信息提取模板；利用任一个关键信息提取模板从原始日志数据中提取日志正文内容中的关键信息；若提取失败，返回从至少一个关键信息提取模板中选择任一个关键信息提取模板继续执行直至提取成功。

为了快速找到合适的关键信息提取模板，提高日志正文内容的提取效率，在本申请的一些实施例中，从至少一个关键信息提取模板中选择任一关键信息提取模板具体是统计至少一个关键信息提取模板各自的命中率，其中，每个关键信息提取模板的命中率根据其提取成功次数和提取总次数计算得到；从未被选择过的至少一个关键信息提取模板中选择命中率最高的关键信息提取模板。

关于统计至少一个关键信息提取模板各自的命中率可以参见前述介绍。

实际应用中，日志服务器中可能没有存储目标日志源涉及的某个日志类型的关键信息提取模板。因此，针对目标日志源当前上传的原始日志数据，可能会发生无法在模板组中找到匹配的关键信息提取模板的情形。这时，为了提高日志处理的可靠性，在步骤204之后，该方法可以还包括：若没有一个关键信息提取模板成功从原始日志数据中提取到日志正文内容的关键信息，则将原始日志数据存储至无法找到模板的存储区。与此同时，日志服务器可以输出提示信息，以提示专业人员存在无法找到模板的原始日志数据需要进行处理。专业人员可以向日志服务器提供该原始日志数据的关键信息提取模板，以使日志服务器将该关键信息提取模板添加到目标日志源的模板组中。这样，日志服务器可以利用模板组中新增的关键信息提取模板提取“无法找到模板”的原始日志数据的日志正文内容。

本申请实施例提供的日志处理方法，目标子处理器接收处理管理器发送的来源于目标日志源的原始日志数据；确定目标日志源的资产标识；根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，其中，模板组包括至少一个关键信息提取模板；采用至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。由此，实现日志服务器采用与日志源相匹配的模板组从原始日志数据中提取日志正文内容中的关键信息，使得日志服务器有效地应对不同日志源采用不同数据格式记录日志正文内容的情形，降低了日志服务器无法提取日志源的日志正文内容的关键信息的发生概率。

图3示出了本申请提供的日志处理方法又一个实施例的流程图。该方法的执行主体为日志服务器中的处理管理器。

参见图3，该日志处理方法可以包括以下步骤：

301：接收目标日志源发送的原始日志数据。

关于目标日志源向日志服务器上传原始日志数据的相关内容可以参见上述实施例中的介绍，在此不再赘述。

实际应用中，日志服务器可能只支持对特定协议的日志数据进行日志正文内容的关键信息的提取操作。例如，日志服务器支持对Syslog协议的日志数据进行日志正文内容的关键信息的提取操作，而不支持对Kafka协议的日志数据进行日志正文内容的关键信息的提取操作。因此，在本申请一些实施例，在日志服务器中的处理管理器接收到目标日志源的原始日志数据之后，识别目标日志源的原始日志数据是否为满足特定协议的日志数据，若是，处理管理器执行步骤304步骤。若不是，将该原始日志数据存储至“不满足特定协议”的存储区。“不满足特定协议”的存储区中的原始日志数据由专业人员进行处理。例如，专业人员向日志服务器提供“不满足特定协议”的存储区中的原始日志数据的关键信息提取模板，以使日志服务器利用专业人员提供的关键信息提取模板对存储区中的原始日志数据进行日志正文内容的关键信息提取操作。此外，日志服务器可以输出提示信息，以提示专业人员“不满足特定协议”的存储区中的原始日志数据需要进行处理。

其中，在识别目标日志源的是否为支持的特定协议的日志数据，可以判断原始日志数据是否包括特定协议的相关字段，若包括，该原始日志数据为满足特定协议的日志数据，若不包括，该原始日志数据为不满足特定协议的日志数据。

302：确定原始日志数据的优先级。

在本申请实施例中，处理管理器为了将原始日志数据分配给合适的目标子处理器，使得各个子处理器发挥出自身最大的处理能力，提高日志处理效率，在接收目标日志源发送的原始日志数据后，需要确定原始日志数据的优先级，以便后续基于原始日志数据的优先级选择合适的目标子处理器。

在一种可能实现方式中，确定原始日志数据的优先级具体是：提取原始日志数据中记录的初始优先级信息。

在又一种可能实现方式中，确定原始日志数据的优先级具体是：提取原始日志数据中记录的初始优先级信息；获取目标日志源的资产信息；根据初始优先级信息和目标日志源的资产信息确定原始日志数据的优先级。

实际应用中，目标日志源的资产信息可以包括但不限于目标日志源的价格信息、目标日志源的重要性以及目标日志源的影响范围，因此，在本申请一些实施例中，为了更为客观准确地确定原始日志数据的优先级，可以综合初始优先级信息、目标日志源的价格信息、目标日志源的重要性以及目标日志源的影响范围确定原始日志数据的优先级。因此，根据初始优先级信息和目标日志源的资产信息确定原始日志数据的优先级具体是：对初始优先级信息、目标日志源的价格信息、目标日志源的重要性以及目标日志源的影响范围进行加权求和，得到原始日志数据的优先级。

需要指出的是，可以对目标日志源的价格信息、重要性以及影响范围进行量化，以及为初始优先级信息、目标日志源的价格信息、重要性以及影响范围分配合适的权重，对初始优先级信息、目标日志源的价格信息、重要性以及影响范围进行加权求和，得到原始日志数据的优先级。

需要指出的是，日志源的重要性或影响范围可以根据实际业务场景进行设置，其中，日志源的影响范围可根据日志源所承载业务系统、业务功能以及业务数据的影响范围进行设置。日志源的重要性根据日志源所承载业务系统、业务功能以及业务数据的重要程度进行设置。例如日志源的重要性或影响范围均可以设置为离散的值，数值越大，重要程度越高或者影响范围越大。

303：根据原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，原始日志数据的优先级越高，目标子处理器的核心数量越多。

在本申请实施例中，处理管理器接收不同日志源发送的原始日志数据，根据原始日志数据的优先级将不同的原始日志数据分配给匹配的子处理器进行处理。其中，优先级高的原始日志数据分配核心数量较多的子处理器，优先级低的原始日志数据分配核心数量较少的子处理器，以提高日志处理效率。

作为一种示例，可以设置每个子处理器与原始日志数据的优先级的对应关系，处理管理器根据上述对应关系确定待分配的原始日志数据的目标子处理器。

304：将原始日志数据发送给目标子处理器，以使目标子处理器确定目标日志源的资产标识，并根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，以及采用模板组中的至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。

实际应用中，处理管理器可以根据各个子处理器的核心数量，为各个子处理器绑定匹配的工作线程，由子处理器的工作线程确定目标日志源的资产标识，并根据目标日志源的资产标识，查询资产标识和模板组对应关系，确定目标日志源对应的模板组，以及采用模板组中的至少一个关键信息提取模板，从原始日志数据中提取日志正文内容中的关键信息。

本申请实施例提供的日志处理方法，处理管理器接收不同日志源发送的原始日志数据，根据原始日志数据的优先级将不同的原始日志数据分配给匹配的目标子处理器进行处理。由此，优先级高的原始日志数据分配核心数量较多的子处理器，优先级低的原始日志数据分配核心数量较少的子处理器，提高了日志处理效率。

图4示出了本申请提供的日志处理装置一个实施例的结构示意图。参见图4，该日志处理装置可以包括：

第一接收模块401，用于接收处理管理器发送的来源于目标日志源的原始日志数据；

第一确定模块402，用于确定所述目标日志源的资产标识；

查询模块403，用于根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，其中，所述模板组包括至少一个关键信息提取模板；

提取模块404，用于采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

在本申请一些实施例中，提取模块404采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息具体是：

依次利用至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息直至提取成功。

在本申请一些实施例中，提取模块404依次利用至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息直至提取成功具体是：

统计所述至少一个关键信息提取模板各自的命中率，其中，每个关键信息提取模板的命中率根据其提取成功次数和提取总次数计算得到；

根据命中率从高到低的顺序对所述至少一个关键信息提取模板进行排序；

依次利用排序后的所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息直至提取成功。

在本申请一些实施例中，所述关键信息提取模板包括至少一个字段；

提取模块404采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息具体是：

针对任一关键信息提取模板，将所述原始日志数据与对应的至少一个字段进行匹配；

将与至少一个字段匹配成功的日志数据作为所述原始日志数据中的日志正文内容。

在本申请一些实施例中，第一确定模块402确定所述目标日志源的资产标识具体是：

从所述原始日志数据中提取所述目标日志源的IP地址；

查询预先建立的资产信息登记表，获取与所述IP地址匹配的资产标识；其中，所述资产信息登记表包括日志源的IP地址和资产标识的对应关系。

在本申请一些实施例中，所述资产标识至少包括日志源的生产商名称、日志源的产品型号信息、日志源的版本信息。

在本申请一些实施例中，所述装置还包括第一存储模块；

第一存储模块用于若没有一个关键信息提取模板成功提取到所述原始日志数据中的日志正文内容的关键信息，则将所述原始日志数据存储至无法找到模板的存储区。

图4的日志处理装置可以执行图2所示实施例的日志处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的日志处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5示出了本申请提供的日志处理装置又一个实施例的结构示意图。参见图5，该日志处理装置可以包括：

第二接收模块501，用于接收目标日志源发送的原始日志数据；

第二确定模块502，用于确定所述原始日志数据的优先级；

选择模块503，用于根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；

发送模块504，用于将所述原始日志数据发送给所述目标子处理器，以使所述目标子处理器确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

在本申请一些实施例中，第二确定模块502确定所述原始日志数据的优先级具体是：

提取所述原始日志数据中记录的初始优先级信息；

获取所述目标日志源的资产信息；

根据所述初始优先级信息和所述目标日志源的资产信息确定所述原始日志数据的优先级。

在本申请一些实施例中，所述目标日志源的资产信息包括所述目标日志源的价格信息、所述目标日志源的重要性以及所述目标日志源的影响范围；

第二确定模块502根据所述初始优先级信息和所述目标日志源的资产信息确定所述原始日志数据的优先级具体是：

对所述初始优先级信息、所述目标日志源的价格信息、所述目标日志源的重要性以及所述目标日志源的影响范围进行加权求和，得到所述原始日志数据的优先级。

在本申请一些实施例中，所述装置还包括识别模块；

所述识别模块用于识别所述原始日志数据是否为满足特定协议的日志数据；

若是，触发第二确定模块502执行确定所述原始日志数据的优先级的步骤；

若不是，所述识别模块还用于将所述原始日志数据存储至不满足特定协议的存储区。

图5的日志处理装置可以执行图3所示实施例的日志处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的日志处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被计算机执行时可以实现上述图2或图3所示实施例的日志处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种日志处理方法，其特征在于，包括：

接收处理管理器发送的来源于目标日志源的原始日志数据；

确定所述目标日志源的资产标识；

根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，其中，所述模板组包括至少一个关键信息提取模板；

采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容的关键信息。

2.根据权利要求1所述的方法，其特征在于，采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容的关键信息，包括：

依次利用至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息直至提取成功。

3.根据权利要求2所述的方法，其特征在于，依次利用至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息直至提取成功，包括：

统计所述至少一个关键信息提取模板各自的命中率，其中，每个关键信息提取模板的命中率根据其提取成功次数和提取总次数计算得到；

根据命中率从高到低的顺序对所述至少一个关键信息提取模板进行排序；

依次利用排序后的所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息直至提取成功。

4.根据权利要求1或2任一项所述的方法，其特征在于，所述关键信息提取模板包括至少一个字段；

采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息包括：

针对任一关键信息提取模板，将所述原始日志数据与对应的至少一个字段进行匹配；

将与至少一个字段匹配成功的日志数据作为所述原始日志数据中的日志正文内容的关键信息。

5.根据权利要求1或2任一项所述的方法，其特征在于，确定所述目标日志源的资产标识包括：

从所述原始日志数据中提取所述目标日志源的IP地址；

查询预先建立的资产信息登记表，获取与所述IP地址匹配的资产标识；其中，所述资产信息登记表包括日志源的IP地址和资产标识的对应关系。

6.根据权利要求5所述的方法，其特征在于，所述资产标识至少包括日志源的生产商名称、日志源的产品型号信息、日志源的版本信息。

7.根据权利要求1或2任一项所述的方法，其特征在于，在采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息之后，还包括：

若没有一个关键信息提取模板成功从所述原始日志数据中提取到日志正文内容的关键信息，则将所述原始日志数据存储至无法找到模板的存储区。

8.一种日志处理方法，其特征在于，包括：

接收目标日志源发送的原始日志数据；

确定所述原始日志数据的优先级；

根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；

将所述原始日志数据发送给所述目标子处理器，以使所述目标子处理器确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

9.根据权利要求8所述的方法，其特征在于，所述确定所述原始日志数据的优先级包括：

提取所述原始日志数据中记录的初始优先级信息；

获取所述目标日志源的资产信息；

根据所述初始优先级信息和所述目标日志源的资产信息确定所述原始日志数据的优先级。

10.根据权利要求9所述的方法，其特征在于，所述目标日志源的资产信息包括所述目标日志源的价格信息、所述目标日志源的重要性以及所述目标日志源的影响范围；

根据所述初始优先级信息和所述目标日志源的资产信息确定所述原始日志数据的优先级包括：

对所述初始优先级信息、所述目标日志源的价格信息、所述目标日志源的重要性以及所述目标日志源的影响范围进行加权求和，得到所述原始日志数据的优先级。

11.根据权利要求8或9所述的方法，其特征在于，接收目标日志源发送的原始日志数据之后，还包括：

识别所述原始日志数据是否为满足特定协议的日志数据；

若是，执行确定所述原始日志数据的优先级的步骤；

若不是，将所述原始日志数据存储至不满足特定协议的存储区。

12.一种日志处理装置，其特征在于，包括：

第一接收模块，用于接收处理管理器发送的来源于目标日志源的原始日志数据；

第一确定模块，用于确定所述目标日志源的资产标识；

查询模块，用于根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，其中，所述模板组包括至少一个关键信息提取模板；

提取模块，用于采用所述至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

13.一种日志处理装置，其特征在于，包括：

第二接收模块，用于接收目标日志源发送的原始日志数据；

第二确定模块，用于确定所述原始日志数据的优先级；

选择模块，用于根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；

发送模块，用于将所述原始日志数据发送给所述目标子处理器，以使所述目标子处理器确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

14.一种日志服务器，其特征在于，包括处理管理器以及多个子处理器；

所述处理管理器，用于接收目标日志源发送的原始日志数据；确定所述原始日志数据的优先级；根据所述原始日志数据的优先级从多个子处理器中选择目标子处理器，其中，不同的子处理器具有不同的核心数量，所述原始日志数据的优先级越高，所述目标子处理器的核心数量越多；将所述原始日志数据发送给所述目标子处理器；

所述目标子处理器，用于确定所述目标日志源的资产标识，并根据所述目标日志源的资产标识，查询资产标识和模板组对应关系，确定所述目标日志源对应的模板组，以及采用所述模板组中的至少一个关键信息提取模板，从所述原始日志数据中提取日志正文内容中的关键信息。

15.一种计算机可读存储介质，其特征在于，存储有计算机程序，计算机程序被计算机执行时实现权利要求1至7或者8至11中任一项的日志处理方法中的步骤。

Images