CN111324510A - 日志处理方法、装置及电子设备 - Google Patents

Abstract

本申请的实施例提供了一种日志处理方法，方法包括：获取目标日志对应的要素信息，要素信息是对目标日志进行要素提取所生成的，要素信息包括要素字段和从目标日志中提取得到对应于要素字段的要素内容，要素内容用于描述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项；获取目标日志所对应日志源的配置信息，配置信息用于指示指定要素内容和指定操作，指定要素内容是根据日志源中其他日志所对应要素内容确定的；若在要素信息中匹配到配置信息中的指定要素内容，按照配置信息中的指定操作对要素信息进行处理。从而实现了灵活进行日志处理。

Description

日志处理方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种日志处理方法、装置及电子设备。

背景技术

任一计算机系统中，计算机系统会根据自身所执行的操作生成对应的日志，通过日志可以反映计算机系统的工作情况、被访问情况，例如访问用户、访问流量等。现有技术中，通过审计系统来对日志进行分析以确定计算机系统的运行状况，并进行检查与评价。

对于审计系统而言，日志所包含的操作主体、操作客体、操作类型和操作时间是必要的要素，而现有技术中从日志中所提取出审计所需要的要素(例如操作主体、操作客体、操作类型和操作时间)可能包括审计中不需要的要素内容。

由上可知，如何保证从日志中提取到各项要素内容符合实际需要是现有技术中亟待解决的技术问题。

发明内容

本申请的实施例提供了一种日志处理方法、装置及电子设备，进而至少在一定程度上解决现有技术中所存在日志中要素提取中灵活性差的问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种日志处理方法，所述方法包括：

获取目标日志对应的要素信息，所述要素信息是对所述目标日志进行要素提取所生成的，所述要素信息包括要素字段和从所述目标日志中提取得到对应于所述要素字段的要素内容，所述要素内容用于描述所述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项；

获取所述目标日志所对应日志源的配置信息，所述配置信息用于指示指定要素内容和指定操作，所述指定要素内容是根据所述日志源中其他日志所对应要素内容确定的；

若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理。

根据本申请实施例的一个方面，提供了一种日志处理装置，其特征在于，所述装置包括：

要素信息获取模块，用于获取目标日志对应的要素信息，所述要素信息是对所述目标日志进行要素提取所生成的，所述要素信息包括要素字段和从所述目标日志中提取得到对应于所述要素字段的要素内容，所述要素内容用于描述所述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项；

配置信息获取模块，用于获取所述目标日志所对应日志源的配置信息，所述配置信息用于指示指定要素内容和指定操作，所述指定要素内容是根据所述日志源中其他日志所对应要素内容确定的；

处理模块，用于若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理。

根据本申请实施例的一个方面，提供了一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述的方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器执行时，实现上述的方法。

在本申请的一些实施例所提供的技术方案中，在初步对日志进行要素提取得到日志对应的要素信息后，对应按照日志所来源日志源的配置信息对要素信息进行进一步处理，从而，可以根据实际需要进行灵活配置，得到日志源的配置信息。由于日志来源于日志源，从而，该配置信息中的指定要素内容与日志中的要素内容是相适应的，从而，保证了在要素信息中匹配到按照配置信息中的指定要素内容时，按照配置信息中的指定操作对要素信息进行处理后的要素信息符合实际需要，而且，使得所进行要素信息的获得过程具有灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是根据一实施例示出的本公开的实施环境的示意图；

图2是根据一实施例示出的通过插件对日志进行要素提取的示意图；

图3是根据一实施例示出的日志处理方法的流程图；

图4是图3对应实施例的步骤210之前步骤在一实施例中的流程图；

图5是根据一具体实施例示出的日志处理方法的流程图；

图6是根据一实施例示出日志处理装置的框图；

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1是根据一实施例示出的本公开的实施环境的示意图。如图1所示，该实施环境包括审计系统120和与审计系统通信连接的若干系统(图中示例性示出了A系统111，B系统112、C系统113。其中，与审计系统120所通信连接的系统可以作为日志源，从而，与审计系统所通信连接的系统中所产生的日志和/或日志对应的要素信息可以传输到审计系统中，由审计系统按照本公开的方法对要素信息进行处理。

在具体实施例中，如图2所示，对于日志源210中所生成的日志，可以通过日志源插件来对原日志源所生成的日志进行要素提取，来对应得到日志的要素信息。其中，根据实际需要，日志源提取插件的类型可以是Kafka源插件，还可以是DB源插件。进一步的，若日志源210为两个及以上，可以进一步为每一日志源分配对应的日志提取插件。举例来说，若日志源210包括A系统、B系统和C系统，则为A系统分配A系统日志提取插件，为B系统分配B系统日志提取插件，为C系统分配C系统日志提取插件。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图3是根据一实施例示出的日志处理方法的流程图，如图3所示，该方法包括：

步骤310，获取目标日志对应的要素信息，要素信息是对目标日志进行要素提取所生成的，要素信息包括要素字段和从目标日志中提取得到对应于要素字段的要素内容，要素内容用于描述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项。

目标日志并不特指某一日志，而是泛指待按照本公开的方法进行处理的日志。

在作为日志源的系统中，针对系统中所实现的操作，系统对应生成日志。系统所实现的操作例如：管理员查询一用户的信息；用户A登录了业务系统；用户A在B、C、D三台机器上部署了服务S。

针对系统所实现的每一操作，可以理解的是，其中必然涉及到操作主体、操作客体、操作类型和操作时间，其中操作主体是操作的发起方，操作客体是指操作的被作用方，操作类型用于标识该操作，在具体实施例中，可以通过接口名称来表征操作类型。

对应的，为操作所生成的日志对应记录了操作所涉及的操作主体、操作客体、操作类型和操作时间。换言之，操作所对应的日志中涉及操作主体标识、所对应操作客体的操作客体信息、操作类型所对应的操作类型标识和操作对应的操作时间。

要素字段可以包括对应于主操作体的操作主体字段、对应于操作客体的操作客体字段、对应于操作类型的操作类型字段和对应于操作时间的时间字段。

要素内容用于描述日志中的操作主体、操作客体、操作类型以及操作时间中的至少一项，具体来说，要素内容可以是对应于操作主体的操作主体标识、对应于操作客体的操作客体信息(例如操作客体类型、操作客体名称)、对应于操作类型的操作类型标识、操作时间。

对于对信息系统的运行状况进行检查与评价的审计系统而言，审计过程中，日志所对应操作的操作主体、操作客体、操作类型、以及操作时间是至关重要的。因此，在一实施例中，目标日志的要素信息中包括针对的操作主体的要素内容(例如操作主体标识)、针对于操作客体的要素内容(例如操作客体名称、操作客体类型)、针对于操作类型的要素内容(操作类型标识)、针对于操作时间的要素内容(具体时间)。

步骤330，获取目标日志所对应日志源的配置信息，配置信息用于指示指定要素内容和指定操作，指定要素内容是根据日志源中其他日志所对应要素内容确定的。

该配置信息是与日志源相关联的。换言之，不同的日志源，均有与其对应的配置信息。

可以理解的是，该配置信息是根据用户的配置操作生成的，也就是说，用户在配置操作中的输入信息或者选定的内容不同，则对应的配置信息是不同的。

该配置信息一方面指定了指定要素内容，另一方面，该配置信息中指定了待进行的指定处理。指定处理例如对要素信息中的指定要素内容进行标记处理、包含指定要素内容的要素信息进行不保存的处理、对要素信息中的指定要素内容进行拆分的处理、对要素信息中的指定要素内容进行拆分的处理等，在此不进行具体限定。

在本公开的方案中，该日志源所对应配置信息中的指定要素内容是根据日志源中其他日志所对应要素内容确定的，换言之，在本公开的方案中，在步骤330之前，用户可以获取到日志源中其他日志所对应的要素内容，因此，根据日志源中的具体要素内容来进行确定指定要素内容，从而，使得进行配置操作所得到的配置信息与日志源中日志的要素内容相适应。

在一实施例中，为了便于用户进行配置，审计系统向用户提供配置页面，从而，用户可以基于该配置页面进行配置操作，生成对应于日志源的配置信息。在该实施例中，步骤330之前，该方法还包括：

在配置页面中，根据为日志源触发进行的配置操作，生成对应于日志源的配置信息，配置操作包括指定指定要素内容的操作和为指定要素内容配置处理信息的操作，即进行指定操作的指定。

在该配置页面中，用户可以进行指定要素内容的指定，例如输入指定要素内容，或者在所显示的可选择要素内容中选取若干要素内容作为指定要素内容。并且，在该配置页面中，进行处理信息的配置操作，以在步骤350中按照对应的处理信息对目标日志的要素信息进行处理。

在一实施例中，用户还可以在该配置页面中搜索所接入系统中任一系统的要素信息，从而，向用户对应呈现对应系统中日志的要素信息。进一步的，如果作为日志源的系统包括多个接口，还可以按照接口进行日志以及日志所对应要素信息的搜索。举例来说，若系统A包括接口1、接口2和接口3，在该配置页面中，可以搜索接口1中最近的日志，例如最近10条，并对应向用户呈现该10条日志以及所对应的要素信息。

在此基础上，用户可以查看接口1的最近10条日志，以及为该10条日志中每一条日志进行要素提取所得到的要素信息，然后，通过观察所提取的要素是否规范，如果不规范，则针对性地为该接口1中日志的要素信息进行配置，得到对应于接口1对应的配置信息。

步骤350，若在要素信息中匹配到配置信息中的指定要素内容，按照配置信息中的指定操作对要素信息进行处理。

如上所描述，配置信息指示了指定操作和指定要素内容，其中指定要素内容用户在要素信息中进行匹配，而指定操作用于指示所要进行的操作。

值得一提的是，对应于日志源的配置信息可以包括一条或者多条配置信息，例如，针对至少两种指定要素内容配置指定操作。

在初步对日志进行要素提取得到日志对应的要素信息后，对应按照日志所来源日志源的配置信息对要素信息进行进一步处理，从而，可以根据实际需要进行灵活配置，得到日志源的配置信息。由于日志来源于日志源，从而，该配置信息中的指定要素内容与日志中的要素内容是相适应的，保证了在要素信息中匹配到按照配置信息中的指定要素内容时，按照配置信息中的指定操作对要素信息进行处理后的要素信息符合实际需要。

而且，若需要对要素信息进行清洗或者标准化，也可以通过配置信息来实现，使得所进行要素信息的获得过程具有灵活性。

在一实施例中，要素内容包括对应于操作客体的操作客体信息，操作客体信息包括操作客体类型，指定要素内容包括指定操作客体类型，配置信息包括为指定操作客体类型配置的第二客体类型，步骤250包括：

若在要素信息中匹配到配置信息中的指定操作客体类型，将要素信息中的指定操作客体类型标记为第二客体类型。

举例来说，在要素信息中，若操作客体的操作客体类型为“target_ip”，而实际需要将操作客体类型标准化为“ip”，则在配置的过程中，将“target_ip”指定为指定操作客体类型，将“ip”指定为第二客体类型，并指定该配置信息中的指定操作为将“target_ip”标记为“ip”，则在步骤250中，对应根据配置信息在要素信息中匹配指定操作客体类型“target_ip”，若匹配到，则将要素信息中的“target_ip”标记为“ip”这第二客体类型。

在具体实施例中，指定要素内容中的指定操作客体类型可以包括一个或者多个，在包括多个的情况下，在步骤350中，在要素信息中分别匹配指定要素内容中的每一个指定操作客体类型，在匹配到任一个指定操作客体类型时，将要素信息中所匹配到的指定客体类型标记为第二客体类型。

通过本实施例的方法，在要素信息中的操作客体类型与指定的第二客体类型不一致时，则可以根据指定操作客体类型配置得到将指定操作客体类型标记为第二客体类型的配置信息。在此基础上，按照如上的配置信息，将要素信息中所包括的指定操作客体类型标记为对应的第二客体类型。

按照如上的过程，在对目标日志进行要素提取后，如果目标日志的要素信息中的操作客体类型并不是标准化的操作客体类型，则通过将指定操作客体类型标记为第二客体类型的配置信息，可以将目标日志的要素信息中，将该指定操作客体类型添加对应的第二客体类型，实现了对各种操作客体类型进行标准化。

在一实施例中，配置信息包括针对同一要素内容中所包括至少两个操作客体名称之间的分隔符，步骤350，包括：

若在要素信息对应于操作客体名称的要素内容中匹配到分隔符，在要素信息中，按照分隔符将对应于操作客体名称的要素内容中的至少两个操作客体名称拆分为单独的操作客体名称。

在一操作中，若同时涉及多个操作客体，则针对该操作生成的日志中对应包含多个操作客体所分别对应的操作客体名称。而在要素提取过程中，若未按照该日志的格式进行针对性提取，则所提取得到的针对操作客体名称的要素字段下，其所对应的要素内容中包括该多个操作客体名称。

因此，在此情况下，若需要一针对操作客体的要素字段下仅包括一操作客体名称。则在配置过程中，按照要素信息中多个操作客体名称之间的分隔符来进行配置得到进行多个操作客体名称进行拆分的配置信息。基于该配置信息，在步骤350中，按照配置信息中的分隔符来进行操作客体名称的拆分，得到多个独立的操作客体名称。

举例来说，若要素信息中对应于操作客体的操作客体字段为“name”，对应于操作客体名称的要素内容为“10.127.8.4，10.127.8.5”，则在配置信息中配置为臼按，拆分”。按照该配置信息则可以进行操作客体名称拆分，则可得到如下的内容：

“name”：“10.127.8.4”和“name”：“10.127.8.5”。

在具体实施例中，如要素信息中对应于操作客体名称的要素内容为json数组格式[“10.127.8.4，10.127.8.5”]，则可以对应配置从json数组格式中提取操作客体名称的配置信息，以从[“10.127.8.4，10.127.8.5”]提取得到操作客体名称“10.127.8.4”和“10.127.8.5”。对应的，若对应于操作客体名称的要素内容为其他格式，则对应按照要素内容的格式配置解析器，通过解析器来进行对应于操作客体名称的要素内容解析，进而实现操作客体名称的拆分。

在对目标日志的要素信息进行处理过程中，涉及到对要素信息进行解析，而若同一操作客体名称字段下包括两个或者多个操作客体名称，由于进行解析的代码在一要素字段下包括两项及以上要素内容时，并不知道如何进行解析。在本实施例中，通过配置信息中针对同一要素内容中所包括至少两个操作客体名称之间的分隔符，实现了将多个操作操作客体名称拆分成独立的操作客体名称，有效解决了在同一操作客体名称字段下包括两个或者多个操作客体名称时无法进行准确解析的问题。

在一实施例中，配置信息包括需过滤的第一指定要素内容，步骤350包括：

若在要素信息中匹配到需过滤的第一指定要素内容，则不保存第一指定要素内容或者不保存要素信息。

该第一指定要素内容可以是对应于操作客体的要素内容(操作客体信息(例如操作客体名称、操作客体类型))、对应于操作主体的要素内容(操作主体标识)、对应于操作类型的要素内容(操作类型标识)中的一项或者多项，例如同时包括操作主体标识和操作类型标识，同时包括操作主体标识和操作客体信息，或者同时包括操作类型标识和操作客体信息，当然，也可以是包括多个操作主体标识、或多个操作客体信息、多个操作类型标识。

举例来说，若在实际应用中，由系统或者脚本发起的操作对应的日志对于日志分析作用不大，可以不保存由系统或者脚本所发起的操作对应的日志。在此基础上，可以通过配置对应的配置信息，以此来过滤由系统或者脚本所发起的操作对应的日志以及对应的要素信息。若分析该日志源中的要素信息发现，操作主体标识为臼admin”或者“systemB”为系统或者脚本发起，而不是由某一真实存在的用户发起，则可以将第一指定要素内容设为操作主体标识为“admin”、操作主体标识为“systemB”，并进一步将指定操作配置为删除要素信息。基于该配置信息，在步骤250中，若要素信息中匹配到“admin”的操作主体标识或者“systemB”的操作主体标识，则不保存该要素信息。

实际应用中，对于非用户发起的操作，例如客户端或者浏览器的定时刷新操作，对于此类操作的日志在日志分析中并不需要，因此，需要将此类日志所对应的要素信息过滤掉，即不保存此类要素信息。因此，在配置过程中，将非用户发起的操作所对应操作类型标识作为第一指定要素内容，并配置指定操作为不保存，则在步骤350中，若在要素信息中的操作类型标识为第一指定要素内容所包括的操作类型标识，则不保存该要素信息。

在一实施例中，要素内容包括操作类型的操作类型标识，配置信息包括为指定操作类型标识配置的第二操作类型标识和为第二操作类型标识配置的第二类型字段，步骤350包括：

若在要素信息中匹配到指定操作类型标识，则在要素信息中，为指定操作类型标识配置第二操作类型标识，并为第二操作类型标识添加第二类型字段。

其中，该为指定操作类型标识配置的第二操作类型标识可以是基于要素信息的可读性来配置，例如若一般用户根据要素信息中的操作类型标识无法准确确定对应的操作类型，而该操作类型被大众所熟知的名称为第二操作类型标识，则可以通过如上的过程在要素信息中新增第二类型标识和第二类型字段，以便于用户根据该第二类型标识确定对应的操作类型。

举例来说，要素信息中对应于操作类型的要素信息为：

″operation_type＂：＂/api/get_ip_information＂，其中，“operation_type”为对应于操作类型的要素字段，“/api/get_ip_information”为该操作类型的操作类型标识。

由于用户根据“/api/get_ip_information”不容易确定对应的操作类型，而该操作类型的中文名称“获取ip地址信息”更便于用户理解，则可以将“获取ip地址信息”配置为第二操作类型标识，将“/api/get_ip_information”配置为指定操作类型标识，则按照该配置信息，则可以得到如下的要素信息：

＂operation_type＂：＂/api/get_ip_information＂，

＂operation_type_name＂：＂获取ip地址信息＂，其中，“operation_type_name”是新增的第二类型字段。

在其他实施例中，若要素信息中的操作主体标识和/或操作客体信息不便于用户确定对应的操作主体和/或操作客体，还可以针对指定操作主体标识配置第二主体标识、针对指定操作客体名称配置第二客体名称，然后对应配置第二主体字段和第二客体名称字段，以按照类似的方法在要素信息中新增第二主体字段和第二主体标识，和/或在要素信息中新增第二客体字段和第二客体名称，便于日志分析人员通过第二主体标识，和/或，第二客体名称明确对应操作主体和/或操作客体。

在本实施例中，通过配置信息实现了为要素信息中的指定操作类型标识配置第二操作类型标识。在要素信息中的操作类型标识不便于用户理解或者对于用户来说并不是所熟知的名称时，可以通过此类配置信息为要素信息中的该操作类型标识配置第二操作类型标识，从而，提高要素信息的可读性。

在一实施例中，配置信息包括为指定要素内容配置的标记符，步骤350包括：

若在要素信息中匹配到指定要素内容，在要素信息中，为指定要素内容添加标记符。

对于系统或者脚本发起的操作所对应日志的要素信息，还可以通过为表征系统或者脚本发起的操作主体添加标记符，以便于通过该标记符确定该要素信息为系统或者脚本所发起操作对应的要素信息。

对于非用户主动发起操作所对应日志的要素信息，还可以通过为表征非用户主动发起的操作类型添加标记符，以便于通过该标记符确定该要素信息为非用户主动发起操作所对应的要素信息。

进一步的，针对不同的操作类型，还可以添加表征不同敏感级别的标记符，以便于通过表征敏感级别的标记符确定该要素信息中操作类型的敏感级别。

通过为要素信息中的指定要素内容添加标记符，便于在要素信息中进行指定要素内容的快速识别和定位。

在一实施例中，如图4所示，步骤310之前，该方法还包括：

步骤410，获取目标日志。

步骤430，从目标日志中提取得到目标日志所记录的操作主体标识、操作类型标识和操作时间。以及

步骤450，从目标日志所记录的请求报文或者响应报文中提取得到目标日志所对应操作的操作客体信息。

其中，从目标日志中提取操作主体标识、操作类型标识、操作时间、操作客体信息可以按照目标日志的格式，对目标日志进行解析来对应提取得到。

具体来说，目标日志的格式不同，则对应的提取方式存在差异。举例来说，若目标日志的日志格式为json或者xml等结构化格式，则可以进行结构解析来提取得到日志中的操作主体标识、操作类型标识、操作时间、操作客体信息；若目标日志的日志格式为sql语句，可以通过druid库对该sql语句进行解析来提取得到目标日志中的操作主体标识、操作类型标识、操作时间、操作客体信息；若目标日志的日志格式为纯文本，则可以采用正则表达式来提取得到目标日志中的操作主体标识、操作类型标识、操作时间、操作客体信息。

若目标日志中所记录的操作客体信息不明确，或者难以确定，还可以从目标日志所记录的请求报文或者响应报文中进行操作客体信息的提取。例如，系统管理员通过用户ID查询用户信息，那么可以从请求报文的参数中提取该用户ID，该用户ID即为操作客体信息。又例如，若系统管理员发起了一个范围查询，响应报文中返回了10个用户的信息列表，则该信息列表中10个用户的用户ID即为操作客体信息。

步骤470，将所提取得到的操作主体标识、操作类型标识、操作时间、操作客体信息添加至预设模板中，得到目标日志对应的要素信息。

可以理解的是，预设模板中包括与操作主体标识相关联的要素字段、与操作客体信息相关联的要素字段、与操作时间相关联的要素字段、与操作类型标识相关联的要素字段。

在提取得到目标日志中的操作主体标识、操作类型标识、操作时间、操作客体信息后，将操作主体标识、操作类型标识、操作时间、操作客体信息添加至预设模板中对应的位置，即得到目标日志对应的要素信息。

在一具体实施例中，预设模板为：

在如上的代码中，″user″为对应于操作主体的要素字段，＂operation_type＂为对应于操作类型的要素字段，＂timestamp＂为对应于操作时间的要素字段，＂object＂为对应于操作客体的要素字段，＂type″是对应于操作客体类型的要素字段；″name″是对应于操作客体名称的要素。

基于如上的预设模板，将所提取到的操作主体标识添加至上述预设模板中[user]处，将所提取的操作类型标识添加至上述预设模板中的[operation_type]处，将所提取的操作时间添加至上述预设模板中的[yyyy-MM-dd\′T\′HH：mm：ss.SSS+0800]处；如果提取到多个操作客体，则将所提取的操作客体I的操作客体类型添加至上述预设模板中的[object_type1]处，将所提取操作客体类型I的操作客体名称添加至上述预设模块中的[object_name1]处，对应的，将操作客体II的操作客体类型、操作客体II的操作客体名称、操作客体III的操作客体类型、操作客体III的操作客体名称对应添加至上述预设模板中的[object_type2]、[object_name2]、[object_type3]、[object_name3]处。

在一具体实施中，按照如上的预设模板和所提取得到的操作主体标识、操作时间、操作客体信息(其中包括操作客体的类型和操作客体的名称)所得到处理后的要素信息(为便于区分，将此处的要素信息称为第一要素信息)为：

在如上的代码中，″user＂作为对应于操作主体的要素字段，其下所指示操作主体的要素内容为“用户A”；″operation_type＂作为对应于操作类型的要素字段，其下所指示操作类型的要素内容为“/api/get_ip_information”；“object”作为对应于操作客体的要素字段，其下的要素内容包括三种类型的操作客体所对应的操作客体信息，具体包括：类型为“target_ip”的操作客体；类型为“page”的操作客体；类型为“page_size”的操作客体。

具体在上述的代码中，类型为“target_ip”的操作客体包括名称为“10.127.8.4”和“10.127.8.5”的两操作客体；类型为“page”的操作客体包括名称为“1”的操作客体；类型为“page_size”的操作客体包括名称为“10”的操作客体。进一步的，在得到处理后的要素信息后，还可以对该处理后的要素信息进行进一步加工处理。例如，对处理后的要素信息进行标记扩展，例如，通过接入人力系统或者组织架构系统对处理后的要素信息中的操作主体标识、操作客体信息进行多维度扩展。所进行的扩展，例如操作主体标识所对应的实际用户、该实际用户所在的工作组或者所在的部分等。

在一实施例中，将上述所得到处理后的要素信息进行扩展后，得到如下的要素信息(为便于区分，将此处的要素信息称为第二要素信息)：

相较于第一要素信息，在上述的第二要素信息的代码中：

1、为作为指定操作类型标识的“/api/get_ip_information”配置了第二操作类型标识“获取ip地址信息”，并为所述第二操作类型标识“获取ip地址信息”添加第二类型字段“operation_type_name”。

2、为指定操作客体类型“target_ip”进行了标记，将该指定操作客体类型标记为第二客体类型“ip”。

3、将在以逗号分隔开的两操作客体名称″10.127.8.4，10.127.8.5″拆分成独立的操作客体名称，即拆分成“10.127.8.4”和“10.127.8.5”，并为对应所拆分出的操作客体名称配置对应于操作客体名称的要素字段“name”；

4、对操作客体名称为“10.127.8.4”和“10.127.8.5”操作客体进行了扩展。

对于操作客体名称为“10.127.8.4”的操作客体，其扩展了：该操作客体的部署位置“敏感机房”，用于指示操作客体部署位置的要素字段“area”；该操作客体的负责人“binhua”，用于指示操作客体的负责人的要素字段“owner”；该操作客体的负责人所负责组别“运维开发组”，用于指示操作客体的负责人所负责组别的要素字段“team”。

同理，对于操作客体名称为“10.127.8.5”的操作客体，其扩展了：该操作客体的部署位置“非敏感机房”，用于指示操作客体部署位置的要素字段“area”；该操作客体的负责人“xiaoli”，用于指示操作客体的负责人的要素字段“owner”；该操作客体的负责人所负责组别“DB运维组”，用于指示操作客体的负责人所负责组别的要素字段“team”。

5、过滤掉了第一要素信息中操作客体类型为“page”和“page_size”的操作客体所对应的操作客体信息。

如上的第二要素信息，在所得到的处理后的要素信息的基础上，对操作客体进行了扩展。通过在按照配置信息进行处理的过程中，将操作客体类型标记为标准化的操作客体类型“ip”，进而，在扩展的过程中，可以通过标准化的操作客体类型“ip”进行操作客体的扩展。

图5是根据一具体实施例示出的日志处理方法的流程图，如图5所示，包括如下步骤：

步骤510：源插件读取日志。

步骤520：日志提取插件提取四要素(操作主体标识、操作客体信息、操作类型、操作时间)，得到日志的要素信息。

步骤530：按照配置信息对日志的要素信息进行处理，得到处理后的要素信息。

其中，在步骤510中，可以通过Kafka源插件或者DB源插件读取日志源中的日志到队列中。该队列可以是采用内存无锁队列方案disruptor实现，还可以是通过redis方式实现，在此不进行具体限定。

在步骤520中，通过日志提取插件进行日志中的四要素提取。并把四要素标记在原始日志上，并对应按照预设模板得到日志的要素信息，然后把日志重新放回队列中。

其中，针对不同的日志源可以配置不同的日志提取插件，从而，使得日志中四要素的提取更具有针对性。例如，针对系统A配置A系统提取插件，针对系统B配置B系统提取插件，针对系统C配置C系统提取插件，则A系统提取插件仅用于提取系统A中日志的四要素。

在步骤530中，按照对应的配置信息进行处理。在一实施例中，按照配置信息对图4对应实施例中所举例的要素信息进行处理后，得到处理后的要素信息为：

与上述图4对应实施例中所举例的第一要素信息相比，该配置信息对第一要素信息所进行的处理包括：

(1)将操作客体类型＂target_ip″标记为第二操作客体类型”ip”；

(2)将操作客体名称中的两个操作客体名称＂10.127.8.4，10.127.8.5＂进行了拆分；

(3)不保存操作客体类型为“page”以及“page_size”的操作客体所对应操作客体信息。

(4)为操作类型(接口名)配置中文名称，例如，上述中，为操作类型＂/api/get_ip_information＂标记了作为第二操作类型名称的中文名称＂获取ip地址信息＂。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的方法实施例。

本公开提供了一种日志处理装置600，如图6所示，该装置包括：

要素信息获取模块610，用于获取目标日志对应的要素信息，要素信息是对目标日志进行要素提取所生成的，要素信息包括要素字段和从目标日志中提取得到对应于要素字段的要素内容，要素内容用于描述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项。

配置信息获取模块630，用于获取目标日志所对应日志源的配置信息，配置信息用于指示指定要素内容和指定操作，指定要素内容是根据日志源中其他日志所对应要素内容确定的。

处理模块650，用于若在要素信息中匹配到配置信息中的指定要素内容，按照配置信息中的指定操作对要素信息进行处理。

在一实施例中，要素内容包括对应于操作客体的操作客体信息，操作客体信息包括操作客体类型，指定要素内容包括指定操作客体类型，配置信息包括为指定操作客体类型配置的第二客体类型，处理模块650包括：

第一处理单元，用于若在要素信息中匹配到配置信息中的指定操作客体类型，将要素信息中的指定操作客体类型标记为第二客体类型。

在一实施例中，配置信息包括针对同一要素内容中所包括至少两个操作客体名称之间的分隔符，处理模块650包括：

第二处理单元，用于若在要素信息对应于操作客体名称的要素内容中匹配到分隔符，在要素信息中，按照分隔符将对应于操作客体名称的要素内容中的至少两个操作客体名称拆分为单独的操作客体名称。

在一实施例中，配置信息包括需过滤的第一指定要素内容，处理模块650包括：

第三处理单元，用于若在要素信息中匹配到需过滤的第一指定要素内容，则不保存第一指定要素内容或者不保存要素信息。

在一实施例中，要素内容包括操作类型的操作类型标识，配置信息包括为指定操作类型标识配置的第二操作类型标识和为第二操作类型标识配置的第二类型字段，处理模块650包括：

第四处理单元，用于若在要素信息中匹配到指定操作类型标识，则在要素信息中，为指定操作类型标识配置第二操作类型标识，并为第二操作类型标识添加第二类型字段。

在一实施例中，配置信息包括为指定要素内容配置的标记符，处理模块650包括：

第五处理单元，用于若在要素信息中匹配到指定要素内容，在要素信息中，为指定要素内容添加标记符。

在一实施例中，该装置还包括：

配置信息生成模块，用于在配置页面中，根据为日志源触发进行的配置操作，生成对应于日志源的配置信息，配置操作包括指定指定要素内容的操作和为指定要素内容配置处理信息的操作。

在一实施例中，该装置还包括：

目标日志获取模块，用于获取目标日志；

第一提取模块，用于从目标日志中提取得到目标日志所记录的操作主体标识、操作类型标识和操作时间；以及

第二提取模块，用于从目标日志所记录的请求报文或者响应报文中提取得到目标日志所对应操作的操作客体信息；

要素信息获得模块，用于将所提取得到的操作主体标识、操作类型标识、操作时间、操作客体信息添加至预设模板中，得到目标日志对应的要素信息。

上述装置中各个模块/单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序。

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(Central Processing Unit，CPU)701，其可以根据存储在只读存储器(Read-Only Memory，ROM)702中的程序或者从存储部分708加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output，I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分706：包括硬盘等的存储部分708；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质存储有计算机可读指令，当上述计算机可读指令被处理器执行时，例如上述电子设备中的处理器执行时，实现上述任一实施例中的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种日志处理方法，其特征在于，所述方法包括：

获取目标日志对应的要素信息，所述要素信息是对所述目标日志进行要素提取所生成的，所述要素信息包括要素字段和从所述目标日志中提取得到对应于所述要素字段的要素内容，所述要素内容用于描述所述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项；

获取所述目标日志所对应日志源的配置信息，所述配置信息用于指示指定要素内容和指定操作，所述指定要素内容是根据所述日志源中其他日志所对应要素内容确定的；

若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理。

2.根据权利要求1所述的方法，其特征在于，所述要素内容包括对应于操作客体的操作客体信息，所述操作客体信息包括操作客体类型，所述指定要素内容包括指定操作客体类型，所述配置信息包括为所述指定操作客体类型配置的第二客体类型，所述若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理，包括：

若在所述要素信息中匹配到所述配置信息中的所述指定操作客体类型，将所述要素信息中的所述指定操作客体类型标记为所述第二客体类型。

3.根据权利要求1所述的方法，其特征在于，所述配置信息包括针对同一要素内容中所包括至少两个操作客体名称之间的分隔符；

所述若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理，包括：

若在所述要素信息对应于操作客体名称的要素内容中匹配到所述分隔符，在所述要素信息中，按照所述分隔符将对应于操作客体名称的要素内容中的至少两个操作客体名称拆分为单独的操作客体名称。

4.根据权利要求1所述的方法，其特征在于，所述配置信息包括需过滤的第一指定要素内容，所述若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理，包括：

若在所述要素信息中匹配到所述需过滤的第一指定要素内容，则不保存所述第一指定要素内容或者不保存所述要素信息。

5.根据权利要求1所述的方法，其特征在于，所述要素内容包括所述操作类型的操作类型标识，所述配置信息包括为指定操作类型标识配置的第二操作类型标识和为所述第二操作类型标识配置的第二类型字段，所述若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理，包括：

若在所述要素信息中匹配到所述指定操作类型标识，则在所述要素信息中，为所述指定操作类型标识配置所述第二操作类型标识，并为所述第二操作类型标识添加所述第二类型字段。

6.根据权利要求1所述的方法，其特征在于，所述配置信息包括为指定要素内容配置的标记符，所述若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理，包括：

若在所述要素信息中匹配到所述指定要素内容，在所述要素信息中，为所述指定要素内容添加所述标记符。

7.根据权利要求1所述的方法，其特征在于，所述获取所述日志所对应日志源的配置信息之前，所述方法还包括：

在配置页面中，根据为所述日志源触发进行的配置操作，生成对应于所述日志源的配置信息，所述配置操作包括指定所述指定要素内容的操作和为所述指定要素内容配置处理信息的操作。

8.根据权利要求1所述的方法，其特征在于，所述获取目标日志对应的要素信息之前，所述方法还包括：

获取所述目标日志；

从所述目标日志中提取得到所述目标日志所记录的操作主体标识、操作类型标识和操作时间；以及

从所述目标日志所记录的请求报文或者响应报文中提取得到所述目标日志所对应操作的操作客体信息；

将所提取得到的所述操作主体标识、所述操作类型标识、所述操作时间、所述操作客体信息添加至预设模板中，得到所述目标日志对应的要素信息。

9.一种日志处理装置，其特征在于，所述装置包括：

要素信息获取模块，用于获取目标日志对应的要素信息，所述要素信息是对所述目标日志进行要素提取所生成的，所述要素信息包括要素字段和从所述目标日志中提取得到对应于所述要素字段的要素内容，所述要素内容用于描述所述目标日志所对应操作的操作主体、操作客体、操作类型和操作时间中的至少一项；

配置信息获取模块，用于获取所述目标日志所对应日志源的配置信息，所述配置信息用于指示指定要素内容和指定操作，所述指定要素内容是根据所述日志源中其他日志所对应要素内容确定的；

处理模块，用于若在所述要素信息中匹配到所述配置信息中的指定要素内容，按照所述配置信息中的所述指定操作对所述要素信息进行处理。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1-8中任一项所述的方法。

Images