CN105183625A - 一种日志数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种日志数据处理方法和装置，其中方法包括：提供可视化的规则编辑界面；接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。本发明的技术方案，通过提供可视化的规则编辑界面使用户更容易地输入日志数据处理的规则并保存至规则库中，不需用户自行编写代码进行日志数据的处理。当用户需要对日志数据处理只需从规则库中调取于日志数据对应的规则即可，具有简化用户操作，批量高效处理日志数据的有益效果。

Description

一种日志数据处理方法和装置

技术领域

本发明涉及数据处理领域，特别涉及一种日志数据处理方法和装置。

背景技术

计算机设备、操作系统和应用程序在运行过程中都会产生许多日志数据，每一行日志可能会记载着日期、时间、使用者及动作等相关操作的描述，用户可以通过查看并处理日志数据得知计算机设备、操作系统和应用程序的具体运行状况。然而日志数据数量大、处理方式多样，对不同类型、不同内容的数据需要采用不同的方式进行处理，比较繁琐。

例如，某网站的管理员需要处理一批包含服务器主机日志、网站运行日志的日志数据，其中服务器主机日志包含多个服务器主机各自生成的日志，需要按主机名称进行分类处理；网站运行日志又包括用户登录日志和用户登出日志等。如何高效地对日志数据进行分类，并根据每个分类按不同的规则进行日志数据的处理是需要解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的日志数据处理方法和装置。

依据本发明的一个方面，提供了一种日志数据处理方法，包括：提供可视化的规则编辑界面；接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

可选地，所述依据规则编辑命令形成相应的规则包括如下中一种或多种：生成新规则；修改原有的规则；删除原有的规则。

可选地，该方法进一步包括：在所述规则编辑界面上提供日志分类选择项；接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息；所述将该规则保存到规则库中包括：将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

可选地，所述将日志数据与规则库中的规则进行匹配包括：将该日志数据进行分类；将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

可选地，该方法进一步包括：在所述规则编辑界面上提供报警级别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息；所述将该规则保存到规则库中包括：将该规则与对应报警级别信息一同保存到规则库中。

可选地，所述如果存在匹配项则生成相应的报警信息包括：根据匹配项中的报警级别信息生成相应级别的报警的信息。

可选地，该方法进一步包括：预设不同级别的报警渠道；将所述报警信息依据其报警级别，通过相应级别的报警渠道发送出去。

可选地，所述规则为针对JSON格式数据的指定一个或多个字段的规则；该方法在将日志数据与规则库中的规则进行匹配之前进一步包括：将日志数据转换为JSON格式数据；所述将日志数据与规则库中的规则进行匹配包括：将日志数据对应的JSON格式数据的指定一个或多个字段与规则库中的规则进行匹配。

可选地，该方法进一步包括：在所述规则编辑界面上提供规则类别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的规则类别选项信息；其中，所述规则类别选项中包括第一类别规则和第二类别规则；所述规则库包括：第一类规则库和第二类规则库。

所述将该规则保存到规则库中包括：将该规则依据其对应的规则类别选项信息保存到第一类规则库或第二类规则库中。

可选地，所述将日志数据与规则库中的规则进行匹配包括：实时获取产生的日志数据，将实时获取的所述日志数据与第一类规则库中的规则进行匹配；将实时获取的所述日志数据存入日志数据库中；分析日志数据库中的日志数据，判断是否存在与第二类规则库中的规则匹配的情况。

依据本发明的另一方面，提供了一种日志数据处理装置，包括：

编辑界面提供单元，适于提供可视化的规则编辑界面；接收单元，适于接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；存储单元，适于保存规则库；匹配处理单元，适于将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

可选地，所述接收单元，适于依据规则编辑命令执行如下中一种或多种操作：生成新规则；修改原有的规则；删除原有的规则。

可选地，所述编辑界面提供单元，还适于在所述规则编辑界面上提供日志分类选择项；所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息，并将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

可选地，所述匹配处理单元，适于将该日志数据进行分类，将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

可选地，所述编辑界面提供单元，还适于在所述规则编辑界面上提供报警级别选项；所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息，并将该规则与对应报警级别信息一同保存到规则库中。

可选地，所述匹配处理单元，适于根据匹配项中的报警级别信息生成相应级别的报警的信息。

可选地，该装置进一步包括：

报警发送单元，适于预设不同级别的报警渠道，将所述报警信息依据其报警级别，通过相应级别的报警渠道发送出去。

可选地，所述规则为针对JSON格式数据的指定一个或多个字段的规则；该装置进一步包括：转换单元，适于将日志数据转换为JSON格式数据；所述匹配处理单元，适于将日志数据对应的JSON格式数据的指定一个或多个字段与规则库中的规则进行匹配。

可选地，所述编辑界面提供单元，还适于在所述规则编辑界面上提供规则类别选项；其中，所述规则类别选项中包括第一类别规则和第二类别规则；所述规则库包括：第一类规则库和第二类规则库；所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的规则类别选项信息，将该规则依据其对应的规则类别选项信息保存到第一类规则库或第二类规则库中。

可选地，所述匹配处理单元，适于实时获取产生的日志数据，将实时获取的所述日志数据与第一类规则库中的规则进行匹配；将实时获取的所述日志数据存入日志数据库中；分析日志数据库中的日志数据，判断是否存在与第二类规则库中的规则匹配的情况。

本发明的技术方案，通过向用户提供一种可视化的规则编辑界面，接收用户通过所述规则编辑界面输入的规则编辑命令，并依据规则编辑命令形成相应的规则，再将该规则保存到规则库中，当需要进行日志数据的处理时，将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。通过可视化的规则编辑界面使用户更容易地输入日志数据处理的规则，并保存至规则库中，不需用户自行编写代码进行日志数据的处理。当用户需要对日志数据处理只需从规则库中调取于日志数据对应的规则即可，具有简化用户操作，批量高效处理日志数据的有益效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的一种日志数据处理方法的流程图；

图2为本发明实施例提供的一种日志数据处理装置的结构图；

图3为本发明一个具体实施例提供的一种日志数据处理装置的可视化规则编辑界面示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1为本发明实施例提供的一种日志数据处理方法的流程图，如图1所示，该方法包括：

步骤S110，提供可视化的规则编辑界面。

在本步骤中，用户可以通过提供的可视化的规则编辑界面输入一条或多条规则编辑命令。

步骤S120，接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中。

在本步骤中，规则编辑命令可以是生成新规则的命令，也可以是删除或修改规则的命令。依次所述依据规则编辑命令形成相应的规则包括如下中一种或多种：生成新规则；修改原有的规则；删除原有的规则。例如，通过用户输入的规则编辑命令如字符串匹配命令，形成相应的字符串匹配规则，并保存至规则库中。一种应用性较好的规则为，对日志数据中的某些字段的数值进行正则匹配，例如设立字段“磁盘使用率”的数值大于90的规则。

步骤S130，将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

本步骤中，日志数据反映了操作系统、计算机设备或应用程序等的运行状况或人为操作行为，将日志数据与规则库中的规则进行匹配，实际上是为了查看生成该日志数据的计算机设备/操作系统/应用程序或操作人员是否存在异常或违规操作。如果存在匹配项，例如管理员登录行为日志数据中的ip字段与管理员登录行为规则中的ip字段匹配，则生成与该规则相应的报警信息。

如图1所示的方法，通过提供可视化的规则编辑界面使用户更容易地输入日志数据处理的规则并保存至规则库中，不需用户自行编写代码进行日志数据的处理。当用户需要对日志数据处理只需从规则库中调取于日志数据对应的规则即可，具有简化用户操作，批量高效处理日志数据的有益效果。

前面提到，图1所示的方法中，所述依据规则编辑命令形成相应的规则包括如下中一种或多种：生成新规则；修改原有的规则；删除原有的规则。

例如，用户新添了服务器或新设置了管理员，则需要对原规则进行修改，增加该服务器或管理员的名称到相应的规则中；又如，用户不再使用某一设备，则需要删除与该设备生成的日志数据对应的规则；再如，用户新增某一设备，则需要生成与该设备生成的日志数据对应的规则。

在本发明的一个实施例中，图1所示的方法进一步包括：在所述规则编辑界面上提供日志分类选择项；接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息；所述将该规则保存到规则库中包括：将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

如前文所述，日志数据可能由操作系统、计算机设备或应用程序产生，针对不同类型的日志数据所设定的规则不一定相同，需要根据日志的分类设定相应的规则。如操作系统和计算机设备都可能存在响应时间规则，然而在具体数值的设置上是不同的，需要在分类上加以区别。在一批不同类型的日志数据需要进行数据处理时，规则编辑界面可以提供输入选择日志数据类型的窗口。具体实施方式中，可以在用户选择某一类型的日志数据时，将该日志数据中的不同字段加以展示，以便用户快速识别该日志数据的类型。

在本发明的一个实施例中，上述方法中，所述将日志数据与规则库中的规则进行匹配包括：将该日志数据进行分类；将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

由于在该实施例中规则是依据日志数据的分类而分类设置的，则在日志数据的处理时将日志数据进行分类处理，具体可以通过日志数据的名称，或分析日志数据的某一字段加以分类。在将日志数据分类完成后便可以通过将某一类别的日志数据与相应日志类别规则库中的规则进行匹配。

在本发明的一个实施例中，上述方法进一步包括：在所述规则编辑界面上提供报警级别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息；所述将该规则保存到规则库中包括：将该规则与对应报警级别信息一同保存到规则库中。

如前文所述，从日志数据中进行规则的匹配实际上是为了查看生成该日志数据的计算机设备/操作系统/应用程序或操作人员是否存在异常或违规行为，而不同的异常或违规操作所产生的实际影响也不相同。例如，通过新建某一规则，与该规则匹配的日志数据意味着网站遭到入侵，影响非常严重，需要立即通知网站管理员，则此时可以将该规则的报警级别设为高，将该新建的规则与该规则对应的报警级别信息一同保存到规则库中。

在本发明的一个实施例中，上述方法中，所述如果存在匹配项则生成相应的报警信息包括：根据匹配项中的报警级别信息生成相应级别的报警的信息。

报警级别信息是用户在可视化的规则编辑界面中选择并保存在规则库中的，而当规则匹配需要报警时，还需要根据报警级别信息生成与其相应级别的报警的信息来进行报警，如控制根据不同级别的报警的信息控制不同的设备进行报警。

在本发明的一个实施例中，上述方法进一步包括：预设不同级别的报警渠道；将所述报警信息依据其报警级别，通过相应级别的报警渠道发送出去。

例如，较高级别的报警渠道是向管理员发送短信，而低级别的报警渠道是向管理员发送邮件。具体可以根据管理员查看信息的频率进行设定，例如管理员设定了邮件提醒功能，也可以将邮件设定为较高级别的报警渠道。

在本发明的一个实施例中，上述方法中，所述规则为针对JSON格式数据的指定一个或多个字段的规则；该方法在将日志数据与规则库中的规则进行匹配之前进一步包括：将日志数据转换为JSON格式数据；所述将日志数据与规则库中的规则进行匹配包括：将日志数据对应的JSON格式数据的指定一个或多个字段与规则库中的规则进行匹配。

JSON格式是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。JSON数据的书写格式是：名称/值对，例如：“磁盘使用率”/“50”，这样很容易针对其中的某一字段制定规则。很多日志数据在生成时即为JSON格式，故将日志数据转换为JSON格式数据有利于本发明技术方案的实施。则根据JSON格式数据制定的规则可以定义为rule＝rule0,rule1,……,rulen，每条规则最终执行的结果为true或者false,即日志数据与规则匹配则结果为true，不匹配则为false。若针对一条日志数据有多个规则，则不同规则之间是or的关系。下面给出了几条规则的实例：

rulen＝{time_window,conditions}

time_window＝{'time_window':{'timew':m,'times':n,'merge_fields':merge_fields}}

这是一条时间窗口的规则，限定条件发生的时间频率，m单位为秒，n单位为次数,merge_fields以某一个或者多个JSON文档的字段作为归并属性。

又例如：conditions＝{'conditions':[[cond1,cond2],[cond3,cond4]....[condn]]}

这是一条运行情况的规则，其中，同一[]中条件逻辑关系是and,不同[]中条件的逻辑关系是or。

再例如：condn＝{'field':field,'op':op,'value':value}

field＝JSON文档的某一字段。当field为字符串时：op＝["＝＝","！＝","include","notinclude","match","notmatch","相同"]

当操作数为datetime时：op＝["in","notin"]

当操作数为数字时：op＝["＝＝","！＝",">",">＝","<","<＝","相同"]value＝事件的某一字段或者用户输入的某一个值。这条规则中包含了正则表达式，可以有效地处理日志数据。

随着互联网的不断发展，互联网数据中心(IDC,InternetDataCenter)应运而生，成为新世纪互联网产业中不可或缺的重要一环。IDC为互联网内容供应商、企业、媒体和各类网站提供大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络带宽、应用服务供应(ASP,ApplicationServiceProvider)以及电子商务(EC,ElectronicCommerce)等业务。

对于有监控需求的系统来说，将待监控的系统在IDC中进行公有云监控部署、私有云监控部署或混合云监控部署，即可获得云监控提供的多种监控服务，其中包括对系统内部所发生的运维操作的监控。在IDC上的云监控部署背景下，本发明的技术方案可以应用于对运维操作产生的日志数据的处理。

在本发明的一个实施例中，上述方法进一步包括：

在所述规则编辑界面上提供规则类别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的规则类别选项信息；其中，所述规则类别选项中包括第一类别规则和第二类别规则；所述规则库包括：第一类规则库和第二类规则库；所述将该规则保存到规则库中包括：将该规则依据其对应的规则类别选项信息保存到第一类规则库或第二类规则库中。

其中，第一类规则库中的第一类规则描述了判定实时不合理运维操作行为的充分条件；第二类规则库中的第二类规则描述了判定一个时间段内不合理运维操作综合行为的充分条件。。

在本发明的一个实施例中，上述方法中，所述将日志数据与规则库中的规则进行匹配包括：实时获取产生的日志数据，将实时获取的所述日志数据与第一类规则库中的规则进行匹配；将实时获取的所述日志数据存入日志数据库中；分析日志数据库中的日志数据，判断是否存在与第二类规则库中的规则匹配的情况。

将实时获取的所述日志数据与第一类规则库中的规则进行匹配，可以判定当前时刻系统所发生的运维操作行为是否为不合理运维操作行为，是则确定存在系统被入侵情况或违规运维操作的情况；在此基础上，由于一些实施例中，不合理运维操作行为是由多项合理运维操作行为综合而成，无法通过实时匹配第一类规则而判定，因此，将实时获取的所述日志数据存入日志数据库中，对日志数据库中的一个时间段内的操作日志进行离线分析,判断是否存在与第二类规则库中的第二类规则匹配的情况，是则确定存在系统被入侵情况和违规运维操作的情况。上述方法中的实时分析方案与离线分析方案能够对运维操作产生的日志数据进行针对性的规则匹配，在运维操作审计过程中相互补充和支持，进一步扩大审计范围，提高审计准确性，及时有效地发现系统中存在的入侵情况和违规运维操作情况，符合系统管理需求。

例如，根据系统管理需求，对指定系统A进行运维操作审计，采用上述方法中的日志数据处理方法，一方面进行实时分析：预先在第一类规则库中保存多条第一类规则，在本例中，每条第一类规则即为一项不合理运维操作行为。实时获取指定系统A产生的操作日志数据，当前的操作日志数据反映了指定系统A所发生的运维操作行为，如果该运维操作行为匹配上述多条第一类规则中的一条，即第一类规则库中存在与当前运维操作行为相匹配的匹配项，确定存在指定系统A被入侵情况或违规运维操作的情况。另一方面进行离线分析：预先在第二类规则库中保存多条第二类规则，在本例中，每条第二类规则是一个时间段内多项运维操作行为的组合。分析指定系统A的日志数据库中的操作日志数据，该操作日志数据是对一个时间段内指定系统所发生的运维操作行为的回溯，如果一个时间段内指定系统A所发生的运维操作行为的组合匹配上述多条第二类风险规则中的一条，即存在第二类规则库中的第二类规则匹配的情况，则确定存在指定系统A被入侵情况和违规运维操作的情况。在一个具体的实施例中，指定系统A在当前时刻所发生的运维操作行为为X，如果某条第一类规则也是X，则确定存在指定系统A被入侵情况和违规运维操作的情况；否则继续收集操作日志，在发生运维操作行为X一定时间后，指定系统A中又发生了运维操作行为Y，则该一定时间段内，指定系统A所发生的运维操作行为组合是X+Y，如果某条第二类规则是在一定时间段内运维操作行为X和运维操作行为Y的组合，则确定存在指定系统A被入侵情况和违规运维操作的情况。

在本发明的一个实施例中，上述第一类规则库中对应保存有第一类规则和风险名称；上述第二类规则库中对应保存有第二类规则和风险名称。其中，风险名称是指：系统被入侵的各种情况的描述名称，或各类违规运维操作的名称。

在对指定系统进行运营维护的过程中，对于运维人员来说，一些登录操作的地点是固定的，以及一些指定文件是没有权限修改的，登录地点异常、指定文件被修改等行为是可以直接确定的不合理运维操作行为，表示该类行为是由外部入侵人员或内部违规人员所实施的。因此，在本发明的一个实施例中，上述第一类规则包括如下中的一项或多项：在异常地点进行登录操作；修改指定文件的操作。

此外，在对指定系统进行运营维护的过程中，对于运维人员来说，虽然一些登录操作的地点是变化的，但变化范围和变化频率都是有限制的；以及有些运维操作行为是互斥的，在同一个时间段内发生是不合理的；因此，在本发明的一个实施例中，上述第二类规则包括如下中的一项或多项：在预设长度的时间内，在不同地点进行登录操作；在预设长度时间内，进行了互斥的两种或以上操作。

在本发明的一个实施例中，上述方法进一步包括：

对判断出的系统被入侵情况和违规运维操作的情况进行统计分析，学习关于系统被入侵和违规运维操作的规律，以及根据学习到的所述规律，确定应对策略。

本步骤中，所述学习关于系统被入侵和违规运维操作的规律包括如下中的一种或多种：哪些系统被入侵情况频繁发生；哪些违规运维操作频繁发生；系统被入侵情况的高发时间段；运维违规操作的高发时间段。所述根据学习到的所述规律，确定应对策略包括如下中的一种或多种：针对频繁发生的系统入侵情况，针对性地设置的拦截操作或者提高验证力度；针对频繁发生的违规运维操作，提高运维操作权限门槛或者禁封频繁出现违规运维操作的操作者的操作账户；在系统被入侵情况的高发时间段，针对性地设置拦截操作和提高验证力度；在运维违规操作的高发时间段，提高运维操作权限门槛或者禁封频繁出现违规运维操作的操作者的操作账户。

需要说明的是，在本发明的一个实施例中，前述的第一类规则库中可以包括多个日志类别规则库，第二类规则库中也可以包括多个日志类别规则库。即在所述规则编辑界面上同时提供规则类别选项和日志分类选择项，用户可以定义当前输入的规则是属于第一类规则库还是属于第二类规则库，并进一步定义属于哪个日志类别规则库。

图2为本发明实施例提供的一种日志数据处理装置的结构图，如图2所示，日志数据处理装置200包括：

编辑界面提供单元210，适于提供可视化的规则编辑界面；用户可以通过提供的可视化的规则编辑界面输入一条或多条规则编辑命令。

接收单元220，适于接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；例如接收用户输入的字符串匹配命令，形成相应的字符串匹配规则，并保存至规则库中

存储单元230，适于保存规则库；

匹配处理单元240，适于将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。日志数据反映了操作系统、计算机设备或应用程序等的运行状况或人为操作行为，将日志数据与规则库中的规则进行匹配，实际上是为了查看生成该日志数据的计算机设备/操作系统/应用程序或操作人员是否存在异常或违规操作。如果存在匹配项，例如管理员登录行为日志数据中的ip字段与管理员登录行为规则中的ip字段匹配，则生成与该规则相应的报警信息。

在本发明的一个实施例中，图2所示的装置中，接收单元220，适于依据规则编辑命令执行如下中一种或多种操作：生成新规则；修改原有的规则；删除原有的规则。

在本发明的一个实施例中，图2所示的装置中，编辑界面提供单元210，还适于在所述规则编辑界面上提供日志分类选择项；

在本发明的一个实施例中，上述装置中，匹配处理单元240，适于将该日志数据进行分类，将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

在本发明的一个实施例中，图2所示的装置中，编辑界面提供单元210，还适于在所述规则编辑界面上提供报警级别选项；

在本发明的一个实施例中，上述装置中，匹配处理单元240，适于根据匹配项中的报警级别信息生成相应级别的报警的信息。

在本发明的一个实施例中，上述装置进一步包括：

报警发送单元250，适于预设不同级别的报警渠道，将所述报警信息依据其报警级别，通过相应级别的报警渠道发送出去。

在本发明的一个实施例中，上述装置中，所述规则为针对JSON格式数据的指定一个或多个字段的规则；该装置进一步包括：转换单元260，适于将日志数据转换为JSON格式数据；

匹配处理单元240，适于将日志数据对应的JSON格式数据的指定一个或多个字段与规则库中的规则进行匹配。

在本发明的一个实施例中，上述装置中，编辑界面提供单元210，还适于在所述规则编辑界面上提供规则类别选项；其中，所述规则类别选项中包括第一类别规则和第二类别规则；所述规则库包括：第一类规则库和第二类规则库；

接收单元220，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的规则类别选项信息，将该规则依据其对应的规则类别选项信息保存到第一类规则库或第二类规则库中。

在本发明的一个实施例中，上述装置中，匹配处理单元240，适于实时获取产生的日志数据，将实时获取的所述日志数据与第一类规则库中的规则进行匹配；将实时获取的所述日志数据存入日志数据库中；分析日志数据库中的日志数据，判断是否存在与第二类规则库中的规则匹配的情况。

上述装置的各实施例与图1所示方法的各实施例对应相同，上文中已详细说明，在此不再赘述

图3为本发明一个具体实施例提供的一种日志数据处理装置的可视化规则编辑界面示意图。如图3所示，该可视化编辑界面包括如下可选项：名称、告警设置、描述、事件等级、事件类型、归并属性、时间粒度、发生次数以及具体规则字段名称和规则的编辑输入项。其中可根据情况设定某些项为必选项，某些项为可选项。在名称项，用户可为该规则命名，如图中的“内存使用率报警2”；在告警设置项，用户可以选择报警渠道，如通知管理员、上报云端等，还提供了测试项。描述项为可选项，用户可添加对该规则的描述性信息，如“该规则对2号计算机内存日志数据进行检测”；事件等级项可以设定报警级别；事件类型项可以设定该规则针对的日志数据类型，如内存使用率；归并属性项可以提高算法效率；时间粒度项和发生次数项设置在该时间粒度内日志数据与规则匹配几次；这是针对资源使用率等日志数据，因为其具有波动性。最后在具体规则字段名称和规则编辑输入中，可以针对日志数据如JSON数据中的字段名称如“内存使用率”进行设定，并设定与其对应的规则，如图中所示的“等于”，最后是与字段名称对应的数值，如“50”。在具体实施过程中，例如当一个进程启动，系统日志数据中会包含该进程启动的用户名数据、启动进程的名称数据、启动进程的父进程名称数据，具体可以为系统日志数据中的相应字段，当处理系统日志数据时用户在可视化的规则编辑界面中查看到上述字段，可以对应编辑与上述字段相关的规则，还可以对某些需要预防的行为如修改启动项编辑相应的规则，利用本具体实施例提供的可视化的规则编辑界面中输入相应的规则编辑命令。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的日志数据处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种日志数据处理方法，其中，该方法包括：

提供可视化的规则编辑界面；

接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；

将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

A2、如A1所述的方法，其中，所述依据规则编辑命令形成相应的规则包括如下中一种或多种：

生成新规则；

修改原有的规则；

删除原有的规则。

A3、如A1所述的方法，其中，

该方法进一步包括：在所述规则编辑界面上提供日志分类选择项；接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息；

所述将该规则保存到规则库中包括：将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

A4、如A3所述的方法，其中，所述将日志数据与规则库中的规则进行匹配包括：

将该日志数据进行分类；

将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

A5、如A1所述的方法，其中，

该方法进一步包括：在所述规则编辑界面上提供报警级别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息；

所述将该规则保存到规则库中包括：将该规则与对应报警级别信息一同保存到规则库中。

A6、如A5所述的方法，其中，所述如果存在匹配项则生成相应的报警信息包括：根据匹配项中的报警级别信息生成相应级别的报警的信息。

A7、如A6所述的方法，其中，该方法进一步包括：

预设不同级别的报警渠道；

将所述报警信息依据其报警级别，通过相应级别的报警渠道发送出去。

A8、如A1所述的方法，其中，

所述规则为针对JSON格式数据的指定一个或多个字段的规则；

该方法在将日志数据与规则库中的规则进行匹配之前进一步包括：将日志数据转换为JSON格式数据；

所述将日志数据与规则库中的规则进行匹配包括：将日志数据对应的JSON格式数据的指定一个或多个字段与规则库中的规则进行匹配。

A9、如A1-A8中任一项所述的方法，其中，该方法进一步包括：

在所述规则编辑界面上提供规则类别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的规则类别选项信息；其中，所述规则类别选项中包括第一类别规则和第二类别规则；

所述规则库包括：第一类规则库和第二类规则库；

所述将该规则保存到规则库中包括：将该规则依据其对应的规则类别选项信息保存到第一类规则库或第二类规则库中。

A10、如A9所述的方法，其中，所述将日志数据与规则库中的规则进行匹配包括：

实时获取产生的日志数据，将实时获取的所述日志数据与第一类规则库中的规则进行匹配；

将实时获取的所述日志数据存入日志数据库中；分析日志数据库中的日志数据，判断是否存在与第二类规则库中的规则匹配的情况。

本发明还公开了B11、一种日志数据处理装置，其中，该装置包括：

编辑界面提供单元，适于提供可视化的规则编辑界面；

接收单元，适于接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；

存储单元，适于保存规则库；

匹配处理单元，适于将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

B12、如B11所述的装置，其中，

所述接收单元，适于依据规则编辑命令执行如下中一种或多种操作：

生成新规则；

修改原有的规则；

删除原有的规则。

B13、如B11所述的装置，其中，

所述编辑界面提供单元，还适于在所述规则编辑界面上提供日志分类选择项；

所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息，并将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

B14、如B13所述的装置，其中，

所述匹配处理单元，适于将该日志数据进行分类，将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

B15、如B11所述的装置，其中，

所述编辑界面提供单元，还适于在所述规则编辑界面上提供报警级别选项；

所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息，并将该规则与对应报警级别信息一同保存到规则库中。

B16、如B15所述的装置，其中，

所述匹配处理单元，适于根据匹配项中的报警级别信息生成相应级别的报警的信息。

B17、如B16所述的装置，其中，该装置进一步包括：

报警发送单元，适于预设不同级别的报警渠道，将所述报警信息依据其报警级别，通过相应级别的报警渠道发送出去。

B18、如B11所述的装置，其中，所述规则为针对JSON格式数据的指定一个或多个字段的规则；

该装置进一步包括：转换单元，适于将日志数据转换为JSON格式数据；

所述匹配处理单元，适于将日志数据对应的JSON格式数据的指定一个或多个字段与规则库中的规则进行匹配。

B19、如B11-B18中任一项所述的装置，其中，

所述编辑界面提供单元，还适于在所述规则编辑界面上提供规则类别选项；其中，所述规则类别选项中包括第一类别规则和第二类别规则；所述规则库包括：第一类规则库和第二类规则库；

所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的规则类别选项信息，将该规则依据其对应的规则类别选项信息保存到第一类规则库或第二类规则库中。

B20、如B19所述的装置，其中，

所述匹配处理单元，适于实时获取产生的日志数据，将实时获取的所述日志数据与第一类规则库中的规则进行匹配；将实时获取的所述日志数据存入日志数据库中；分析日志数据库中的日志数据，判断是否存在与第二类规则库中的规则匹配的情况。

Claims (10)

1.一种日志数据处理方法，其中，该方法包括：

提供可视化的规则编辑界面；

接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；

将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

2.如权利要求1所述的方法，其中，所述依据规则编辑命令形成相应的规则包括如下中一种或多种：

生成新规则；

修改原有的规则；

删除原有的规则。

3.如权利要求1所述的方法，其中，

该方法进一步包括：在所述规则编辑界面上提供日志分类选择项；接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息；

所述将该规则保存到规则库中包括：将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

4.如权利要求3所述的方法，其中，所述将日志数据与规则库中的规则进行匹配包括：

将该日志数据进行分类；

将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

5.如权利要求1所述的方法，其中，

该方法进一步包括：在所述规则编辑界面上提供报警级别选项，接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息；

所述将该规则保存到规则库中包括：将该规则与对应报警级别信息一同保存到规则库中。

6.一种日志数据处理装置，其中，该装置包括：

编辑界面提供单元，适于提供可视化的规则编辑界面；

接收单元，适于接收用户通过所述规则编辑界面输入的规则编辑命令，依据规则编辑命令形成相应的规则，将该规则保存到规则库中；

存储单元，适于保存规则库；

匹配处理单元，适于将日志数据与规则库中的规则进行匹配，如果存在匹配项则生成相应的报警信息。

7.如权利要求6所述的装置，其中，

所述接收单元，适于依据规则编辑命令执行如下中一种或多种操作：

生成新规则；

修改原有的规则；

删除原有的规则。

8.如权利要求6所述的装置，其中，

所述编辑界面提供单元，还适于在所述规则编辑界面上提供日志分类选择项；

所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的日志分类信息，并将该规则按照该对应的日志分类信息保存的规则库中的相应的日志类别规则库中。

9.如权利要求8所述的装置，其中，

所述匹配处理单元，适于将该日志数据进行分类，将该日志数据与规则库中的相应日志类别规则库中的规则进行匹配。

10.如权利要求6所述的装置，其中，

所述编辑界面提供单元，还适于在所述规则编辑界面上提供报警级别选项；

所述接收单元，适于在接收用户通过所述规则编辑界面输入的规则编辑命令的同时，接收用户在所述规则编辑界面上选择的报警级别信息，并将该规则与对应报警级别信息一同保存到规则库中。