CN112256651B - 一种多源异构日志采集的方法、装置 - Google Patents

Abstract

本发明提供一种多源异构日志采集的方法、装置，所述方法包括如下步骤：采集日志数据；对采集的日志数据进行压缩处理；根据去噪规则将压缩处理后的日志数据进行解压缩去躁处理；根据标准化知识库的定义对处理后的日志数据进行标准化；根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析；根据解析后的结果将日志数据进行存储。基于创新的数据压缩算法进行日志数据的压缩，大大减小了数据传输的数据量级，同时基于去噪装置，减少无效数据量，减少数据存储，基于标准化数据结构，选择合适的存储装置，保证后续对于日志数据分析的速度及处理的复杂度。

Description

一种多源异构日志采集的方法、装置

技术领域

本发明涉及多元异构日志采集技术领域，具体涉及一种多源异构日志采集的方法、装置。

背景技术

在云计算时代，数据中心的规模越来越大，设备拥有大量的日志数据，如服务器所产生的日志包含：带外设备运行日志，黑盒、白盒日志，带内操作系统日志，RAID卡日志、MCE日志、SEL日志等等，不同的日志拥有不同的数据结构，同时传输协议也根据日志类型通过不同的协议传输，以服务器为例，带内操作系统日志可通过syslog协议,BMC SEL日志基于IPMI协议抓取。由于数据结构不同或者传输协议不同造成数据解析的协议、数据存储的格式不同，数据采集不能有效的对数据进行去噪、标准化、统一化处理，那基于海量数据分析而提出的资源优化方案更加无从谈起。

现有技术方案是针对不同的日志数据制定不同的数据采集方案，客户有日志采集需求时，临时提供日志采集方案，日志数据未格式化存储。存在的问题是：日志数据采集方案没有统一管理，针对临时提出的日志采集方案，数据未能有效存储，且存在数据丢失的情况。

发明内容

针对现有的日志数据的采集方案没有统一管理，针对临时提出的日志采集方案，数据未能有效存储，且存在数据丢失的问题。本发明提供一种多源异构日志采集的方法、装置。

本发明的技术方案是：

一方面，本发明技术方案提供一种多源异构日志采集的方法，包括如下步骤：

采集日志数据；

对采集的日志数据进行压缩处理；

根据去噪规则将压缩处理后的日志数据进行解压缩去躁处理；

根据标准化知识库的定义对处理后的日志数据进行标准化；

根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析；

根据解析后的结果将日志数据进行存储。

进一步的，所述的采集日志数据的步骤包括：

记录上次日志采集的行偏移量；

根据行偏移量进行日志数据读取采集；

根据异构数据格式及相应的数据传输协议将采集到的日志数据上传。根据行偏移量进行日志读取，进而提高日志数据采集效率。

进一步的，对采集的日志数据进行压缩处理的步骤包括：

接收采集的日志数据；

将接受的日志数据进行重复词汇的提取，并将提取的重复词汇记作预制词汇；

将预制词汇及所出现的位置作为消息头，将剩余的日志数据执行Brotli算法进行压缩。最大限度的保证了数据的完整性。

进一步的，根据标准化知识库的定义对处理后的日志数据进行标准化的步骤包括：

接收到处理后的日志数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理；

判断标准化是否成功，若是，则继续执行步骤：根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析；

若否，则根据该数据特征，更新标准化知识库，更新完成后继续执行步骤：根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析。保证数据的结构化。

进一步的，根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析的步骤包括：

根据不同数据的数据类型，提取该类型数据的特征；

基于特征的取值，定义目标变量；

将已分类数据作为算法的训练集输入归类模型进行训练，实现对日志数据的归类。

另一方面，本发明技术方案提供一种多源异构日志采集的装置，包括采集模块、压缩处理模块、去躁模块、标准化模块、归类模块和存储模块；

采集模块，用于采集日志数据；

压缩处理模块，用于对采集模块采集的日志数据进行压缩处理；

去躁模块，用于根据去噪规则将压缩处理模块压缩处理后的日志数据进行解压缩去躁处理；

标准化模块，用于根据标准化知识库的定义对去躁模块处理后的日志数据进行标准化；

归类模块，用于根据归类知识库的定义，将标准化模块处理后的日志数据根据数据结构、数据定义进行归类解析；

存储模块，用于根据归类模块解析后的结果将日志数据进行存储。

进一步的，采集模块包括记录单元、数据采集单元、上传单元；

记录单元，用于记录上次日志采集的行偏移量；

数据采集单元，用于根据行偏移量进行日志数据读取采集；

上传单元，用于根据异构数据格式及相应的数据传输协议将采集到的日志数据上传。

进一步的，压缩处理模块包括接收单元、数据处理单元、压缩单元；

接收单元，用于接收采集的日志数据；

数据处理单元，用于将接受的日志数据进行重复词汇的提取，并将提取的重复词汇记作预制词汇；

压缩单元，用于将预制词汇及所出现的位置作为消息头，将剩余的日志数据执行Brotli算法进行压缩。

进一步的，标准化模块包括标准化处理单元、判断单元、更新单元；

标准化处理单元，用于接收到处理后的日志数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理；

判断单元，用于判断标准化是否成功，若成功输出信息到归类模块，若不成功，输出信息到更新单元；

更新单元，用于根据该数据特征，更新标准化知识库，更新完成后输出信息到归类模块。

进一步的，归类模块包括归类模型、特征提取单元、定义单元、训练单元；

特征提取单元，用于根据不同数据的数据类型，提取该类型数据的特征；

定义单元，用于基于特征的取值，定义目标变量；

训练单元，用于将已分类数据作为算法的训练集输入归类模型进行训练，实现对日志数据的归类。

从以上技术方案可以看出，本发明具有以下优点：在日志采集时，基于创新的数据压缩算法进行日志数据的压缩，大大减小了数据传输的数据量级，同时基于去噪装置，减少无效数据量，减少数据存储，基于标准化数据结构，选择合适的存储装置，保证后续对于日志数据分析的速度及处理的复杂度。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的装置的示意性框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1所示，本发明实施例提供一种多源异构日志采集的方法，包括如下步骤：

S1：采集日志数据；

S2：对采集的日志数据进行压缩处理；

S3：根据去噪规则将压缩处理后的日志数据进行解压缩去躁处理；

S4：根据标准化知识库的定义对处理后的日志数据进行标准化；

S5：根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析；

S6：根据解析后的结果将日志数据进行存储。

在有些实施例中，步骤S1中，所述的采集日志数据的步骤包括：

S11：记录上次日志采集的行偏移量；

S12：根据行偏移量进行日志数据读取采集；

S13：根据异构数据格式及相应的数据传输协议将采集到的日志数据上传。根据行偏移量进行日志读取，进而提高日志数据采集效率。

针对不同的日志采集源部署相应的采集模块，在采集模块中定义了各种各样日志采集所使用的协议及日志采集方式如表1所示。

表1

对于增量的数据，需要在日志采集端记忆上次日志采集的行偏移量，如MCE日志，通过命令采集到的数据是全量的，我们需要记录上次的采集的行偏移量，在下次上报时，根据行偏移量进行日志读取，进而提高日志数据采集效率；根据异构数据格式及相应的数据传输协议将采集到的日志发送上传。

在有些实施例中，步骤S2中，对采集的日志数据进行压缩处理的步骤包括：

S21：接收采集的日志数据；

S22：将接受的日志数据进行重复词汇的提取，并将提取的重复词汇记作预制词汇；

S23：将预制词汇及所出现的位置作为消息头，将剩余的日志数据执行Brotli算法进行压缩。最大限度的保证了数据的完整性。

启动日志接收服务，支持syslog、自研数据传输协议。此处需要重点提出的是自研数据传输协议，日志是文本数据，对于文本数据正常的压缩算法为Brotli，对于日志数据根据所处的业务文件大小不一样，其数据结构也不一样，因此选择合适的压缩算法尤为重要，对于日志中的数据特点，会有很多重复的文本，因此在提出了一种针对大数据的数据压缩算法，来减少数据传输数据量。Brotli是针对小数据的无损压缩算法，此算法最大限度的保证了数据的完整性，但是针对大量重复单词的日志数据不太适用，因此在该算法做了改造：在执行Brotli算法之前，先进行重复词汇的提取，在报文发送之前，先发送预制词汇及所出现的位置，然后剩余的数据再执行Brotli算法进行压缩；

经过词汇提取单元进行提取，发现多次出现的词汇，因此将其加入预制词汇装置，同时增加该文本出现的位置，作为消息头，剩余的文本再执行Brotli算法进行压缩。

需要说明的是，步骤S3中，接收到日志数据后，执行日志解压缩算法进行解压，然后基于去噪规则进行去噪梳理，进而减小无效数据；去噪规则库包含各种日志的有效规则，根据去噪规则库能够分析出该日志数据是否有效。

在有些实施例中，步骤S4中，根据标准化知识库的定义对处理后的日志数据进行标准化的步骤包括：

S41：接收到处理后的日志数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理；

S42：判断标准化是否成功，若是，则继续执行步骤S5；若否，执行步骤S43：

S43：则根据该数据特征，更新标准化知识库，更新完成后继续执行步骤S5。保证数据的结构化。

接收到数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理，保证数据的结构化，如标准化成功，则继续执行步骤S5，如标准化数据失败，则根据该数据特征，更新标准化知识库，更新完成后继续执行步骤S5；

本步骤主要针对不同的数据进行标准化处理，如日志时间时区有UTC+8、UTC+0,且有不同的格式化方法，如星期用英文用Wed，中文用星期三，此时需要对此类数据进行归一化处理，处理完成后进行数据存储。

在有些实施例中，步骤S5：根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析的步骤包括：

S51：根据不同数据的数据类型，提取该类型数据的特征；

S52：基于特征的取值，定义目标变量；

S53：将已分类数据作为算法的训练集输入归类模型进行训练，实现对日志数据的归类。

接收到标准化处理后的数据，根据归类知识库的定义，将日志数据进行归类，并对数据打上标签，根据不同数据的数据类型，提取该类型数据的特征，基于这些特征的取值，定义目标变量，根据现有的实际结果，为归类模型输入大量的已分类数据，作为算法的训练集，基于归类模型实现对日志数据的归类。

步骤S6中，街火速解析后的的数据，并根据数据的标签，将该数据存储到响应的介质上。该介质包含关系型数据库、非关系型数据库、检索数据库等。

如图2所示，本发明实施例提供一种多源异构日志采集的装置，包括采集模块、压缩处理模块、去躁模块、标准化模块、归类模块和存储模块；

采集模块，用于采集日志数据；

压缩处理模块，用于对采集模块采集的日志数据进行压缩处理；

去躁模块，用于根据去噪规则将压缩处理模块压缩处理后的日志数据进行解压缩去躁处理；

标准化模块，用于根据标准化知识库的定义对去躁模块处理后的日志数据进行标准化；

归类模块，用于根据归类知识库的定义，将标准化模块处理后的日志数据根据数据结构、数据定义进行归类解析；

存储模块，用于根据归类模块解析后的结果将日志数据进行存储。

在有些实施例中，采集模块包括记录单元、数据采集单元、上传单元；

记录单元，用于记录上次日志采集的行偏移量；

数据采集单元，用于根据行偏移量进行日志数据读取采集；

上传单元，用于根据异构数据格式及相应的数据传输协议将采集到的日志数据上传。对于增量的数据，需要在日志采集端记忆上次日志采集的行偏移量，如MCE日志，通过命令采集到的数据是全量的，我们需要记录上次的采集的行偏移量，在下次上报时，根据行偏移量进行日志读取，进而提高日志数据采集效率；采集模块根据异构数据格式及相应的数据传输协议将采集到的日志发送给压缩处理模块。

在有些实施例中，压缩处理模块包括接收单元、数据处理单元、压缩单元；

接收单元，用于接收采集的日志数据；

数据处理单元，用于将接受的日志数据进行重复词汇的提取，并将提取的重复词汇记作预制词汇；

压缩单元，用于将预制词汇及所出现的位置作为消息头，将剩余的日志数据执行Brotli算法进行压缩。

经过词汇提取单元进行提取，发现词汇多次出现，因此将其加入预制词汇装置，同时增加该文本出现的位置，作为消息头，剩余的文本再执行Brotli算法进行压缩。执行完上述压缩后，压缩处理模块将压缩后的数据发送给去噪模块。去噪模块接收到日志数据后，执行日志解压缩算法进行解压，然后基于去噪规则进行去噪梳理，进而减小无效数据；去噪装置将处理后的数据发送给标准化模块。

在有些实施例中，标准化模块包括标准化处理单元、判断单元、更新单元；

标准化处理单元，用于接收到处理后的日志数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理；

判断单元，用于判断标准化是否成功，若成功输出信息到归类模块，若不成功，输出信息到更新单元；

更新单元，用于根据该数据特征，更新标准化知识库，更新完成后输出信息到归类模块。

在有些实施例中，归类模块包括归类模型、特征提取单元、定义单元、训练单元；

特征提取单元，用于根据不同数据的数据类型，提取该类型数据的特征；

定义单元，用于基于特征的取值，定义目标变量；

训练单元，用于将已分类数据作为算法的训练集输入归类模型进行训练，实现对日志数据的归类。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (2)

1.一种多源异构日志采集的方法，其特征在于，包括如下步骤：

采集日志数据；

对采集的日志数据进行压缩处理；

根据去噪规则将压缩处理后的日志数据进行解压缩去躁处理；

根据标准化知识库的定义对处理后的日志数据进行标准化；

根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析；

根据解析后的结果将日志数据进行存储;

所述的采集日志数据的步骤包括：

记录上次日志采集的行偏移量；

根据行偏移量进行日志数据读取采集；

根据异构数据格式及相应的数据传输协议将采集到的日志数据上传;

对采集的日志数据进行压缩处理的步骤包括：

接收采集的日志数据；

将接受的日志数据进行重复词汇的提取，并将提取的重复词汇记作预制词汇；

将预制词汇及所出现的位置作为消息头，将剩余的日志数据执行Brotli算法进行压缩;

根据标准化知识库的定义对处理后的日志数据进行标准化的步骤包括：

接收到处理后的日志数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理；

判断标准化是否成功，若是，则继续执行步骤：根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析；

若否，则根据该数据特征，更新标准化知识库，更新完成后继续执行步骤：根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析;

根据归类知识库的定义，将标准化处理后的日志数据根据数据结构、数据定义进行归类解析的步骤包括：

根据不同数据的数据类型，提取该类型数据的特征；

基于特征的取值，定义目标变量；

将已分类数据作为算法的训练集输入归类模型进行训练，实现对日志数据的归类。

2.一种多源异构日志采集的装置，其特征在于，包括采集模块、压缩处理模块、去躁模块、标准化模块、归类模块和存储模块；

采集模块，用于采集日志数据；

压缩处理模块，用于对采集模块采集的日志数据进行压缩处理；

去躁模块，用于根据去噪规则将压缩处理模块压缩处理后的日志数据进行解压缩去躁处理；

标准化模块，用于根据标准化知识库的定义对去躁模块处理后的日志数据进行标准化；

归类模块，用于根据归类知识库的定义，将标准化模块处理后的日志数据根据数据结构、数据定义进行归类解析；

存储模块，用于根据归类模块解析后的结果将日志数据进行存储;

采集模块包括记录单元、数据采集单元、上传单元；

记录单元，用于记录上次日志采集的行偏移量；

数据采集单元，用于根据行偏移量进行日志数据读取采集；

上传单元，用于根据异构数据格式及相应的数据传输协议将采集到的日志数据上传;

压缩处理模块包括接收单元、数据处理单元、压缩单元；

接收单元，用于接收采集的日志数据；

数据处理单元，用于将接受的日志数据进行重复词汇的提取，并将提取的重复词汇记作预制词汇；

压缩单元，用于将预制词汇及所出现的位置作为消息头，将剩余的日志数据执行Brotli算法进行压缩;

标准化模块包括标准化处理单元、判断单元、更新单元；

标准化处理单元，用于接收到处理后的日志数据后，根据数据结构及标准化知识库的定义，对数据进行标准化处理；

判断单元，用于判断标准化是否成功，若成功输出信息到归类模块，若不成功，输出信息到更新单元；

更新单元，用于根据该数据特征，更新标准化知识库，更新完成后输出信息到归类模块;

归类模块包括归类模型、特征提取单元、定义单元、训练单元；

特征提取单元，用于根据不同数据的数据类型，提取该类型数据的特征；

定义单元，用于基于特征的取值，定义目标变量；

训练单元，用于将已分类数据作为算法的训练集输入归类模型进行训练，实现对日志数据的归类。

Images