CN107992490A - 一种数据处理方法以及数据处理设备 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法以及数据处理设备，用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。本申请实施例方法包括：数据处理设备获取日志集合；所述数据处理设备确定所述日志集合中N条日志属于第一类型，所述N为正整数；所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

Description

一种数据处理方法以及数据处理设备

技术领域

本申请涉及计算机领域，尤其涉及一种数据处理方法以及数据处理设备。

背景技术

日志数据是系统运维中的重要数据之一。日志数据的分析在网站用户行为分析、系统运维统计等方面都是必不可少的。而直接从海量的文本日志中，分析一种日志类型的变量是非常困难的。比如在海量文本中分析其中一种协议日志中记录的状态变化；一种传输问题引起端口震荡的日志中记录的端口有哪些等。通过日志的结构化处理后，可以按报表格式输出日志(例如，生成Excel格式)，就比较容易统计分析各个日志变量。因此在日志的分析和处理中常常有日志结构化的需求。

目前日志结构化信息提取方法中，通常是在上游系统配置数据库模式定义语言(英文全称：Data Description Language，简称：DDL)文件，DDL文件中定义好了结构化信息的解析规则和字段定义。然后该上游系统向下游系统提供日志和日志DDL文件，这样下游系统可根据日志DDL文件自动提取日志的结构化数据，后续可加载到目标数据库供后续分析。

这种方法中，DDL文件为事先配置好且固定不变。而在实际应用中，不同的产品或不同的版本对应的日志是不同的，即导致DDL文件需要根据产品和版本的改变进行修改，进而导致日志结构化信息提取的过程中维护困难。

申请内容

本申请实施例提供了一种数据处理方法以及数据处理设备，用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

第一方面，本申请实施例提供一种数据处理方法，包括：

该数据处理设备在获取到日志集合之后，确定该日志集合中N条日志属于类型作为第一类型，其中该N为正整数；然后该数据处理设备根据该N条日志确定该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置，即该N条日志的解析规则；最后该数据处理设备根据该变量位置提取该N条日志中的一条或多条日志的变量生成结构化日志文件。

本申请实施例中，该第一类型对应的日志模板除了指示该变量位置之外，还可以指示变量数量，也可以指示该第一类型对应的日志模板对应的其他信息，包括但不限于模块名称、严重性、进程ID等信息。

本申请实施例中，该数据处理设备根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志文件。即该数据处理设备在运行的过程可以即时的获取和更新日志对应的解析规则，不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

可选的，该数据处理设备在根据该N条日志确定该第一类型对应的日志模板时，可以采用如下方式：

该数据处理设备获取该N条日志中的第M条日志，其中该M为正整数；

若该M等于1，则该数据处理设备可以将该第M条日志作为该第一类型对应的日志模板；或者，该数据处理设备根据该第M条日志更新与该N条日志类型相同的其他日志确定的第一目标模板作为该第一类型对应的日志模板。

若该M大于或等于2，则该数据处理设备可以根据该第M条日志更新该第M-1条日志确定的第二目标模板作为该第一类型对应的日志模板。

其中，该数据处理设备根据该第M条日志更新与该N条日志类型相同的其他日志确定的第一目标模板作为该第一类型对应的日志模板的具体做法如下：

该数据处理设备将第M条日志与该第一目标模板进行比对；

若该数据处理设备确定该第一目标模板相对该第M条日志存在变量，则该数据处理设备将该第一目标模板相对该第M条日志的变量用通配符表示作为该第一类型对应的日志模板，该通配符为预先设置的字符或字符串；

若该数据处理设备确定该第一目标模板相对该第M条日志不存在变量，则该数据处理设备将该第一目标模板作为该第一类型对应的日志模板。

该数据处理设备可以根据该第M条日志更新该第M-1条日志确定的第二目标模板作为该第一类型对应的日志模板的具体做法如下：

该数据处理设备将第M条日志与该第二目标模板进行比对；

若该数据处理设备确定该第二目标模板相对该第M条日志存在变量，则该数据处理设备将该第二目标模板相对该第M条日志的变量用通配符表示作为该第一类型对应的日志模板，该通配符为预先设置的字符或字符串，该变量为该第二目标模板相对该第M条日志不同的地方；

若该数据处理设备确定该第二目标模板相对该第M条日志不存在变量，则该数据处理设备将该第二目标模板作为该第一类型对应的日志模板。

本申请实施例提供的技术方案中，该数据处理设备将该N条日志通过循环比对更新的方式确定最后的日志模板，这样可以保证同一批次的日志采用相同的日志模板，且在日志出现新的类型时，同样出现新日志模板，可以即时获取和更新日志模板，提高日志数据分析的准确度。

可选的，该数据处理设备在根据该第一类型对应的日志模板中的变量位置提取该N条日志中的一条或多条日志中的变量生成结构化日志时可以采用如下方式：

一种可能实现方式中，该数据处理设备将该N条日志中的一条或多条日志逐一与该第一类型对应的日志模板进行比对，进而确定该N条日志中的一条或多条日志相对该第一类型对应的日志模板不同的地方并将该不同的地方识别为变量；然后该数据处理设备提取该变量生成该结构化日志。

另一种可能实现方式中，该数据处理设备从该第一类型对应的日志模板中获取该变量位置；然后该数据处理设备根据该变量位置逐一从该N条日志中的一条或多条日志中提取该变量位置对应的变量生成该结构化日志。

本申请实施例提供的技术方案中，该数据处理设备可以根据该第一类型对应的日志模板采用多种方式提取变量生成结构化日志，即可以灵活快速的处理日志。

可选的，该数据处理设备可以根据分类算法或聚类算法确定该日志集合中该N条日志属于该第一类型。在实际应用中，该数据处理设备可以采用的分类算法包括但不限于应用决策树分类算法、贝叶斯分类算法、BP神经网络算法和K-Means算法等；聚类算法包括但不限于SOM聚类算法、FCM聚类算法等。其中也有一些其他的算法，比如通过测量日志之间的距离或者相关度，对日志进行分类等。

本申请实施例提供的技术方案中，该数据处理设备可以灵活快速的进行日志的分类，有效的加快日志的处理速度。

可选的，该数据处理设备为该第一类型对应的日志模板与该N条日志通过该索引建立映射关系，即一个模板可以对应多条日志，在此基础上该数据处理设备在结构化该N条日志时，该数据处理设备可以通过该映射关系和该索引查询该N条日志对应的该第一类型对应的日志模板，然后该数据处理设备再根据该第一类型对应的日志模板中的该变量位置提取该N条日志中的变量生成该结构化日志。

本申请实施例提供的技术方案中，该数据处理设备建立了该第一类型对应的日志模板与该N条日志之间的索引映射关系之后，可以有效的加快该数据处理设备生成该结构化日志的速度，提高日志处理效率。

可选的，该数据处理设备在生成结构化日志之后，还可以将该结构化日志与该第一类型对应的日志模板一起发送给下游系统。

本申请实施例提供的技术方案中，该数据处理设备将结构化日志和与该结构日志相对应的日志模板一起发送给下游系统可以使得该下游系统可以正确的分析该结构化日志。

可选的，该数据处理设备生成的结构化日志中还包括但不限于时间、主机名、模板名、严重性和进程标识ID中任意一个或多个。

本申请实施例提供的技术方案中，该结构化日志包含的信息越多，该下游系统进行分析该结构化日志时的结果越正确。

第二方面，本申请实施例提供一种数据处理设备，该数据处理设备具有实现上述方法中数据处理设备的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

一种可能实现方式中，该数据处理设备包括：

获取模块，用于获取日志集合；

处理模块，用于确定该日志集合中N条日志属于第一类型，该N为正整数；根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置；根据该变量位置从该N条日志中的一条或多条日志提取变量生成结构化日志。

另一种可能实现方式中，该数据处理设备包括：

收发器，处理器和总线；

该收发器与该处理器通过该总线相连；

该收发器，执行如下步骤：

获取日志集合；

该处理器，执行如下步骤：

确定该日志集合中N条日志属于第一类型，该N大于或等于1；

根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置；

该变量位置从该N条日志中的一条或多条日志提取变量生成结构化日志。

第三方面，本申请实施例提供一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码用于指示执行上述第一方面的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：该数据处理设备根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

附图说明

图1为本申请实施例中日志结构化的系统框架图；

图2为本申请实施例中数据处理方法的一个实施例示意图；

图3为本申请实施例中数据处理设备的一个实施例示意图；

图4为本申请实施例中数据处理设备的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种本申请实施例提供了一种数据处理方法以及数据处理设备，用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

日志数据是系统运维中的重要数据之一。日志数据的分析在网站用户行为分析、系统运维统计等方面都是必不可少的。而直接从海量的文本日志中，分析一种日志类型的变量是非常困难的。请参阅图1所示，目前通常是通过日志的结构化处理后，将该结构化日志按报表格式输出，就比较容易统计分析各个日志变量。因此在日志的分析和处理中常常有日志结构化的需求。目前日志结构化信息提取方法中，通常是在上游系统配置DDL文件，DDL文件中定义好了结构化信息的解析规则和字段定义。然后该上游系统向下游系统提供日志和日志DDL文件，这样下游系统可根据日志DDL文件自动提取日志的结构化数据，后续可加载到目标数据库供后续分析。这种方法中，DDL文件为事先配置好且固定不变。而在实际应用中，不同的产品或不同的版本对应的日志是不同的，即导致DDL文件需要根据产品或版本的改变进行修改，进而导致日志结构化信息提取的过程中维护困难。

为解决这一问题，本申请实施例中提供了如下方案：该数据处理设备在获取到日志集合之后，确定该日志集合中N条日志属于类型作为第一类型，其中该N为正整数；然后该数据处理设备根据该N条日志确定该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置，即该N条日志的解析规则；最后该数据处理设备根据该变量位置提取该N条日志中的一条或多条日志的变量生成结构化日志文件。

具体请参阅图2所示，本申请实施例中数据处理方法中的一个实施例，包括：

201、数据处理设备获取日志集合。

该数据处理设备获取日志集合。

在实际应用中，该数据处理设备可以采用多种方式获取该第一日志文件，包含但不限于通过界面导入、接口传输等，具体的方式此处不做限定。其中该日志集合包括但不限定于系统日志(英文全称：System Log，简称：Syslog)。同时该数据处理设备获取到的日志通常会是大量的，这时，该数据处理设备在进行日志结构化的过程中通常是将日志进行批量处理。即该数据处理设备获取日志的时长满足预设时长或该数据处理设备获取的日志的数量满足预设阈值时，该数据处理设备才将获取到的日志归类为一个日志集合，然后将该日志集合中的各日志按照类型分类并确定该各日志对应的日志类型的模板，即解析规则。其中，该预设时长和该预设阈值为事先确定，具体数值此处不做限定。

202、数据处理设备确定该日志集合中N条日志属于第一类型。

该数据处理设备将该日志集合中的各日志进行解析，并将相同类型的N条日志归属于一类，即该第一类型。

在实际应用中，该数据处理设备可以通过多种方式来确定该日志集合中各日志的类型。比如，该数据处理设备可以通过分类算法或聚类算法确定该第一日志文件的类型也可以通过获取该第一日志文件的源代码确定该第一日志文件的类型。其中该数据处理设备可以采用的分类算法包括但不限于应用决策树分类算法、贝叶斯分类算法、BP神经网络算法和K-Means算法等；聚类算法包括但不限于SOM聚类算法、FCM聚类算法等。其中也有一些其他的算法，比如通过测量日志之间的距离或者相关度，对日志进行分类等。

203、数据处理设备根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置。

该数据处理设备根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置。

在实际应用中，该数据处理设备根据该N条日志确定与该第一类型对应的日志模板时，可以采用如下方式：

该数据处理设备获取该N条日志中的第M条日志，其中该M为正整数；

若该M等于1，则该数据处理设备可以将该第M条日志作为该日志模板；或者，该数据处理设备根据该第M条日志更新与该N条日志类型相同的其他日志确定的第一目标模板作为该日志模板。若该M大于或等于2，则该数据处理设备可以根据该第M条日志更新该第M-1条日志确定的第二目标模板作为该日志模板。其中，该数据处理设备根据该第M条日志更新与该N条日志类型相同的其他日志确定的第一目标模板作为该日志模板的具体做法如下：该数据处理设备将第M条日志与该第一目标模板进行比对；若该数据处理设备确定该第一目标模板相对该第M条日志存在变量，则该数据处理设备将该第一目标模板相对该第M条日志的变量用通配符表示作为该日志模板，该通配符为预先设置的字符或字符串；若该数据处理设备确定该第一目标模板相对该第M条日志不存在变量，则该数据处理设备将该第一目标模板作为该日志模板。该数据处理设备可以根据该第M条日志更新该第M-1条日志确定的第二目标模板作为该日志模板的具体做法如下：该数据处理设备将第M条日志与该第二目标模板进行比对；若该数据处理设备确定该第二目标模板相对该第M条日志存在变量，则该数据处理设备将该第二目标模板相对该第M条日志的变量用通配符表示作为该日志模板，该通配符为预先设置的字符或字符串；若该数据处理设备确定该第二目标模板相对该第M条日志不存在变量，则该数据处理设备将该第二目标模板作为该日志模板。其中该通配符可以为字符，也可以为字符串，比如星号“*”、感叹号“！”、井号“#”、多星号“***”等，本申请实施例中以星号“*”为例。

比如，该日志集合包括四条日志，具体情况如表1所示，其中根据算法得知该第二行与该第三行所示的日志为同一类型的日志，该第四行与该第五行所示的日志为同一类型的日志，本申请实施例中将该第二行与该第三行所示的日志为例。

表1

则该数据处理设备确定该2条日志的类型对应的日志模板的具体的方式如下：该数据处理设备从该2条日志中获取第一条日志，即该表1中第二行所示的日志时，该数据处理设备可以将该第一日志作为该日志模板，即此时的日志模板如表2所示：

模板
	The BFD session went Down.SessName is 26585-tdm,Interface is GE1/1/0

表2

该数据处理设备从该2条日志中获取第二条日志，即该表1中第三行所示的日志时，该数据处理设备需要根据该第二条日志更新该第一条日志确定的日志模板，即表2所示的日志模板。这时该数据处理设备将该第二条日志与表2所示的日志模板进行比对，将该表2所示的日志模板相对该第二条日志不同的地方用通配符*进行表示，进而生成表3所示的日志模板，这时该2条日志对应的第一类型的日志模板为表3所示的日志模板。

模板
	The BFD session went Down.SessName is*,Interface is*

表3

而在实际应用中，该数据处理设备在获取到该第一条日志时，该数据处理设备还可以采用如下方式生成该日志模板，具体如下：该数据处理设备获取在上一批次的日志处理中根据与本申请实施例中第一类型相同的日志确定的第一目标模板，该第一目标模板如表3所示，则该数据处理设备可以将该第一条日志与该第一目标模板进行比对确定该第一目标模板相对该第一条日志是否存在变量，若存在变量，则该数据处理设备将该第一目标模板中相对该第一条日为变量的单词用通配符*表示生成该日志模板，如表4所示；若不存在变量，则该数据处理设备将该第一目标模板即表3作为该日志模板。然后该数据处理设备在获取到该第二条日志时，该数据处理设备则将该第二条日志与该表4所示的日志模板进行比对，若存在变量，则该数据处理设备将该第一目标模板中相对该第一条日志为变量的单词用通配符*表示生成该日志模板，如表4所示；若不存在变量，则该数据处理设备将该第一目标模板即表3作为该日志模板。在实际应用中，若该第一条日志为“The BFD sessionwent Up.SessName is 26585-tdm,Interface is GE1/1/0”，则该数据处理设备根据该第一条日志更新该表3所示的第一目标模板，则该数据处理设备得到的该第一类型的日志模板如表5所示。

模板
	The BFD session went Down.SessName is*,Interface is*

表4

模板
	The BFD session went*.SessName is*,Interface is*

表5

在实际应用中，该数据处理设备还可以为该N条日志与该第一类型对应的日志模板建立映射关系。这样在该数据处理设备根据该第一类型对应的日志模板将该N条日志中的一条或多条日志进行结构化生成该结构化日志时，该数据处理设备可以根据该映射关系迅速的查询到该N条日志中的日志。

本申请实施例中，该数据处理设备在根据该N条日志确定该N条日志确定的第一类型对应的该日志模板时，一种可能实现方式中，该数据处理设备可以直接遍历该日志集合根据类型标注一一将所有的日志同时进行生成日志模板的过程。比如，该日志集合中包含五条日志，其中日志1，日志3与日志4为第一类型的日志，日志2与日志5为第二类型的日志，则该数据处理设备在遍历该日志集合时，可能会有如下情况：该数据处理设备获取到的第一条日志为日志1，这时该数据处理设备将该日志1作为第一类型的日志模板；然后该数据处理设备获取到的第二条日志为日志2，这时该数据处理设备根据类型标注得知该第二条日志与该第一条日志为不同类型，则该数据处理设备则将该日志2作为该第二类型的第一条日志，这时该数据处理设备将该日志2作为第二类型的日志模板；再次，该数据处理设备获取到的第三条日志为日志3，这时该数据处理设备根据类型标注得知该第三条日志与该第一条日志为同一类型，则该数据处理设备根据该第三条日志将该第一条日志确定的日志模板进行更新从而得到的日志模板作为该第一类型的日志模板；该数据处理设备获取到的第四条日志为日志4，这时该数据处理设备根据类型标注得知该第四条日志与该第三条日志和该第一条日志为同一类型，则该数据处理设备根据该第四条日志将该第三条日志确定的日志模板进行更新从而得到最终的日志模板作为该第一类型的日志模板；最后，该数据处理设备获取到的第五条日志为该日志5，这时该数据处理设备根据类型标注得知该第五条日志与该第二条日志为同一类型，则该数据处理设备根据该第五条日志将该第一条日志确定的日志模板进行更新从而得到最终的日志模板作为该第二类型的日志模板。当然，本申请实施例中举例的情况仅是其中一种可能情况，具体的情况此处不做限定。另一种可能实现方式中，该数据处理设备可以将每个类型中的日志分别进行遍历先后得到各类型的日志对应的日志模板。比如，该日志集合如表1所示，则该数据处理设备在分别遍历不同的日志类型时，可能会有如下情况：该数据处理设备先遍历该表1中第二行与第三行所示的日志，然后遍历该表1中第四行与第五行所示的日志，其中，该表1中的第二行所示的日志与该第三行所示的日志为第一类型，该表1中的第四行所示的日志与该第五行所示的日志为第二类型。具体情况如下：该数据处理设备获取该第一类型的第一条日志，即该表1中的第二行所示的日志，则该数据处理设备将该第一条日志作为该第一类型的日志模板；然后该数据处理设备获取该第一类型的第二条日志，即该表1中的第三行所示的日志，则该数据处理设备根据该第二条日志更新该第一条日志确定的日志模板生成该第一类型的最终日志模板；再次该数据处理设备获取该第二类型中的第一条日志，即该表1中第四行所示的日志，则该数据处理设备将该第二类型中的第一条日志作为该第二类型的日志模板；最后，该数据处理设备获取到该第二类型的第二条日志，即该表1中第五行所示的日志，则该数据处理设备根据该第二类型的第二条日志更新该第二类型的第一条日志确定的日志模板生成该第二类型的最终日志模板。当然，本申请实施例中举例的情况仅是其中一种可能情况，具体的情况此处不做限定。

在本申请实施例中，该数据处理设备在根据该N条日志确定该第一类型对应的日志模板时，该数据处理设备还可以将该N条日志分别用语句分隔符进行分隔生成单词向量。这里的语句分隔符为预设的字符或预设的字符串，比如星号“*”、空格“”、逗号“，”等，具体的选择此处不做限定。

204、数据处理设备根据该变量位置提取该N条日志中一条或多条日志的变量生成结构化日志。

数据处理设备根据该变量位置提取该N条日志的变量生成结构化日志。

在实际应用中，该数据处理设备可以采用如下方式对该N条日志进行结构化：

一种可能实现方式中，该数据处理设备直接将该N日志逐一与该日志模板进行比对，然后该数据处理设备逐一该N条日志相对该日志模板不同的地坟识别为变量，并将该变量提取出来生成该结构化日志。比如，本申请实施例中，该数据处理设备将该表3所示的日志模板与该表1中的该2条日志进行比对，即可以确定该2条日志与该日志模板的不同的地方，然后该数据处理设备将该不同的地方提取出来生成如表6所示的结构化日志。

另一种可能实现方式中，该数据处理设备解析该日志模板得到该日志模板中变量位置的信息；然后该数据处理设备逐一从该N条日志中将该变量位置对应的变量提取出来生成该结构化日志。比如本申请实施例表3所示的模板，若该数据处理设备将该标点符号与单词作为一个单位，则该数据处理设备可以得知该日志模板的变量位置为第8个单词位置和第11个单词位置为变量，则该数据处理设备在遍历表1所示的该2条日志时，可以直接从该2条日志的第8个单词位置与该11个单词位置提取变量生成如表5所示的结构化日志。

变量1	变量2
		26585-tdm	GE1/1/0
26586-tdm	GE1/2/0

表6

在实际应用中，该结构化日志中还可以包括如时间、主机名、模块等信息，若以表6所示的结构化日志为例，该结构化日志如表7所示：

表7

该数据处理设备在生成结构化日志之后，还可以将该结构化日志与该日志模板一起发送给下游系统，进而使得该下游系统可以根据该日志模板将该结构化日志进行解析。

本申请实施例中，本申请实施例中，该数据处理设备根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即该数据处理设备在运行的过程可以即时的获取和更新日志对应的解析规则，不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。上面对本申请实施例中的数据处理方法进行了描述，下面对本申请实施例中的数据处理设备进行描述。

具体请参阅图3所示，本申请实施例中，该数据处理设备包括：

获取模块301，用于获取日志集合；

处理模块302，用于确定该日志集合中N条日志属于第一类型，该N为正整数；根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位置；根据该变量位置从该N条日志中的一条或多条日志中提取变量生成结构化日志。

可选的，该处理模块302，具体用于获取该N条日志中的第M条日志，该M为正整数；

当该M等于1时，将该第M条日志作为该第一类型对应的日志模板；

或，

根据该第M条日志更新第一目标模板作为该第一类型对应的日志模板，该第一目标模板为与该N条日志类型相同的其他日志确定的日志模板。

可选的，当该M大于或等于2时，该处理模块302，具体用于，根据该第M条日志更新第二目标模板作为该第一类型对应的日志模板，该第二目标模板为该数据处理设备根据第M-1条日志确定的日志模板。

可选的，该处理模块302，具体用于，将第M条日志与该第二目标模板进行比对；

若确定该第二目标模板相对该第M条日志存在变量，则将该第二目标模板相对该第M条日志的变量用通配符表示作为该第一类型对应的日志模板，该通配符为预先设置的字符或字符串；

若确定该第二目标模板相对该第M条日志不存在变量，则将该第二目标模板作为该第一类型对应的日志模板。

可选的，该处理模块302，具体用于，将通过比对获取到的该N条日志中的一条或多条日志相对该第一类型对应的日志模板不同的地方识别为变量；提取该变量生成该结构化日志。

可选的，该处理模块302，具体用于，获取该第一类型对应的日志模板所记录的该变量位置；从该N条日志中的一条或多条日志中提取该变量位置对应的变量生成该结构化日志。

可选的，该处理模块302，具体用于，根据分类算法或聚类算法确定该日志集合中该N条日志属于该第一类型。

可选的，该处理模块302，还用于，为该第一类型对应的日志模板与该N条日志建立映射关系；

该处理模块302，具体用于，根据该映射关系查询该第一类型对应的日志模板对应的该N条日志中的一条或多条日志；

根据该第一类型对应的日志模板中的该变量位置从该N条日志提取变量生成该结构化日志。

可选的，该数据处理设备还包括发送模块303，用于将该结构化日志和该第一类型对应的日志模板发送给下游系统。

可选的，该结构化日志还包括时间、主机名、模块名、严重性和进程ID中的任意一个或多个。

进一步的，图3中的数据处理设备还可以用于执行图2中的数据处理设备执行的任何步骤，实现图2中的数据处理设备可以实现的任何功能。

本申请实施例中，该处理模块302根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后该处理模块302根据该日志模板提取该多条日志的变量生成结构化日志。即该数据处理设备在运行的过程可以即时的获取和更新日志对应的解析规则，不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

具体请参阅图4所示，本申请实施例中数据处理设备的另一个实施例中，该数据处理设备包括：

收发器401，处理器402，总线403；该收发器401与该处理器402通过该总线403相连。

总线403可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器402可以是中央处理器(central processing unit，简称CPU)，网络处理器(network processor，简称NP)或者CPU和NP的组合。

处理器402还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。

参见图4所示，该数据处理设备还可以包括存储器404；该存储器404还可以用于存储日志集合；该存储器404可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称HDD)或固态硬盘(solid-state drive，简称SSD)；存储器404还可以包括上述种类的存储器的组合。

可选地，存储器404还可以用于存储程序指令，处理器402调用该存储器404中存储的程序指令，可以执行图2所示实施例中的一个或多个步骤，或其中可选的实施方式，实现上述方法中数据处理设备行为的功能。本申请实施例中，该收发器401，执行图2所示的步骤201；

该处理器，执行图2所示的步骤202至步骤204。

本申请实施例中，该处理器402根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后该处理器402根据该日志模板提取该多条日志的变量生成结构化日志。即该数据处理设备在运行的过程可以即时的获取和更新日志对应的解析规则，不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (21)

1.一种数据处理方法，其特征在于，包括：

数据处理设备获取日志集合；

所述数据处理设备确定所述日志集合中N条日志属于第一类型，所述N为正整数；

所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；

所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

2.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板包括：

所述数据处理设备获取所述N条日志中的第M条日志，所述M为正整数；

当所述M等于1时，所述数据处理设备将所述第M条日志作为所述第一类型对应的日志模板；

或，

所述数据处理设备根据所述第M条日志更新第一目标模板作为所述第一类型对应的日志模板，所述第一目标模板为与所述N条日志类型相同的其他日志确定的日志模板。

3.根据权利要求2所述的方法，其特征在于，当所述M大于或等于2时，所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板包括：

所述数据处理设备根据所述第M条日志更新第二目标模板作为所述第一类型对应的日志模板，所述第二目标模板为所述数据处理设备根据第M-1条日志确定的日志模板。

4.根据权利要求3所述的方法，其特征在于，所述数据处理设备根据所述第M条日志更新第二目标模板作为所述第一类型对应的日志模板包括：

所述数据处理设备将第M条日志与所述第二目标模板进行比对；

若所述数据处理设备确定所述第二目标模板相对所述第M条日志存在变量，则所述数据处理设备将所述第二目标模板相对所述第M条日志的变量用通配符表示作为所述第一类型对应的日志模板，所述通配符为预先设置的字符或字符串；

若所述数据处理设备确定所述第二目标模板相对所述第M条日志不存在变量，则所述数据处理设备将所述第二目标模板作为所述第一类型对应的日志模板。

5.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志包括：

所述数据处理设备将通过比对获取到的所述N条日志中的一条或多条日志相对所述第一类型对应的日志模板不同的地方识别为变量；

所述数据处理设备提取所述变量生成所述结构化日志。

6.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述变量位置从所述N条日志提取变量生成结构化日志包括：

所述数据处理设备获取所述第一类型对应的日志模板所记录的所述变量位置；

所述数据处理设备从所述N条日志中的一条或多条日志中提取所述变量位置对应的变量生成所述结构化日志。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述数据处理设备确定所述日志集合中N条日志属于第一类型包括：

所述数据处理设备根据分类算法或聚类算法确定所述日志集合中所述N条日志属于所述第一类型。

8.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

所述数据处理设备为所述第一类型对应的日志模板与所述N条日志建立映射关系；

所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志包括：

所述数据处理设备根据所述映射关系查询所述第一类型对应的日志模板对应的所述N条日志中的一条或多条日志；

所述数据处理设备根据所述第一类型对应的日志模板中的所述变量位置从所述N条日志中的一条或多条日志提取变量生成所述结构化日志。

9.根据权利要求1至6中任一项所述的方法，其特征在于，所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志之后，所述方法还包括：

所述数据处理设备将所述结构化日志和所述第一类型对应的日志模板发送给下游系统。

10.根据权利要求1至6中任一项所述的方法，其特征在于，所述结构化日志还包括时间、主机名、模块名、严重性和进程标识ID中任意一个或多个。

11.一种数据处理设备，其特征在于，包括：

获取模块，用于获取日志集合；

处理模块，用于确定所述日志集合中N条日志属于第一类型，所述N为正整数；根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

12.根据权利要求11所述的数据处理设备，其特征在于，所述处理模块，具体用于获取所述N条日志中的第M条日志，所述M为正整数；

当所述M等于1时，将所述第M条日志作为所述第一类型对应的日志模板；

或，

根据所述第M条日志更新第一目标模板作为所述第一类型对应的日志模板，所述第一目标模板为与所述N条日志类型相同的其他日志确定的日志模板。

13.根据权利要求12所述的数据处理设备，其特征在于，当所述M大于或等于2时，所述处理模块，具体用于，根据所述第M条日志更新第二目标模板作为所述第一类型对应的日志模板，所述第二目标模板为所述数据处理设备根据第M-1条日志确定的日志模板。

14.根据权利要求13所述的数据处理设备，其特征在于，所述处理模块，具体用于，将第M条日志与所述第二目标模板进行比对；

若确定所述第二目标模板相对所述第M条日志存在变量，则将所述第二目标模板相对所述第M条日志的变量用通配符表示作为所述第一类型对应的日志模板，所述通配符为预先设置的字符或字符串；

若确定所述第二目标模板相对所述第M条日志不存在变量，则将所述第二目标模板作为所述第一类型对应的日志模板。

15.根据权利要求11所述的数据处理设备，其特征在于，所述处理模块，具体用于，将通过比对获取到的所述N条日志中的一条或多条日志相对所述第一类型对应的日志模板不同的地方识别为变量；提取所述变量生成所述结构化日志。

16.根据权利要求11所述的数据处理设备，其特征在于，所述处理模块，具体用于，获取所述第一类型对应的日志模板所记录的所述变量位置；从所述N条日志中的一条或多条日志中提取所述变量位置对应的变量生成所述结构化日志。

17.根据权利要求11至16中任一项所述的数据处理设备，其特征在于，所述处理模块，具体用于，根据分类算法或聚类算法确定所述日志集合中所述N条日志属于所述第一类型。

18.根据权利要求11至16中任一项所述的数据处理设备，其特征在于，所述处理模块，还用于，为所述第一类型对应的日志模板建立索引；利用所述索引为所述第一类型对应的日志模板与所述N条日志建立映射关系；

所述处理模块，具体用于，根据所述映射关系查询所述第一类型对应的日志模板对应的所述N条日志中的一条或多条日志；

根据所述第一类型对应的日志模板中的所述变量位置从所述N条日志中的一条或多条日志提取变量生成所述结构化日志。

19.根据权利要求11至16中任一项所述的数据处理设备，其特征在于，所述数据处理设备还包括发送模块，用于将所述结构化日志和所述第一类型对应的日志模板发送给下游系统。

20.根据权利要求11至16中任一项所述的数据处理设备，其特征在于，所述结构化日志还包括时间、主机名、模块名、严重性和进程ID中的任意一个或多个。

21.一种数据处理设备，其特征在于，包括：

收发器，处理器和总线；

所述收发器与所述处理器通过所述总线相连；

所述收发器，执行如下步骤：

获取日志集合；

所述处理器，执行如下步骤：

确定所述日志集合中N条日志属于第一类型，所述N大于或等于1；

根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；

所述变量位置从所述N条日志提取变量生成结构化日志。