CN113391973A - 一种物联网云容器日志收集方法及装置 - Google Patents

Abstract

本发明公开了一种物联网云容器日志收集方法及装置，该方法包括监听消息队列模块中应用的第一主题获取应用的日志数据，将日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据，确定内存中是否存储应用的日志规则，若是，则依据日志规则对标准格式的日志数据进行处理。通过每种应用单独配置的日志规则来对标准格式的日志进行清洗处理，能够降低日志存储的错误率，提高日志清洗的效率。

Description

一种物联网云容器日志收集方法及装置

技术领域

本发明涉及物联网技术领域，尤其涉及一种物联网云容器日志收集方法及装置。

背景技术

随着容器技术的推广，Kubernetes(K8s)目前已经成为容器云的代名词，越来越多的公司也选择将自己的微服务运行在购买的公有云容器服务或私有容器云上。业务应用借助Kubernetes实现了动态扩缩容、灰度升级等高级特性，但由于容器的轻量化，同一个应用在多台物理节点上可能同时存在成千上万的容器，其产生的海量日志文件如何及时收集，成为一个难题；另外目前商业机会瞬息万变，线上实时用户画像和用户行为预测不但要求对海量日志分析实时化，同时要求每种应用能有实时根据用户分析规则的变化而实时对应起效的日志清洗规则，以支撑商业决策的快速调整。

目前市面上有很多容器切分清洗处理系统，对于不同应用可能由于业务不同导致对于日志清洗规则不同的场景(不同应用日志一般会有不同的字段，且对字段的筛选要求一般不会全局统一。如某IOT(Internet of Things，物联网)应用只接收分析空调在气温20℃-40℃时上传的温度变化数据，对应规则要求temperature(温度)字段大于20且小于40；而另一款IOT应用只接收分析几种冰箱用户的每天开门次数，对应的规则会要求type(类型)必须为那几种冰箱)，业内普遍的做法是将不同日志清洗规则硬编码写死在流式引擎或写入Logstash(日志收集引擎)等日志转换清洗工具的配置文件中，一旦业务发生变化需要修改日志清洗规则时，就必须修改配置文件或修改流计算处理代码，部署后重启相应服务才能生效，导致日志处理业务中断且存在手工修改错配文件导致日志服务宕机的风险。

发明内容

本发明实施例提供一种物联网云容器日志收集方法及装置，用以实现动态清洗日志数据。

第一方面，本发明实施例提供一种物联网云容器日志收集方法，包括：

监听消息队列模块中应用的第一主题获取应用的日志数据；

将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据；

确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

上述技术方案中，通过每种应用单独配置的日志规则来对标准格式的日志进行清洗处理，能够降低日志存储的错误率，提高日志清洗的效率。

可选的，依据所述日志规则对所述标准格式的日志数据进行处理，包括：

若所述标准格式的日志数据符合所述日志规则，则将所述标准格式的日志数据进行落盘，否则不处理所述标准格式的日志数据。

可选的，所述方法还包括：

若确定所述内存中未存储所述应用的日志规则，则不对所述标准格式的日志数据进行落盘。

可选的，所述方法还包括：

监听所述消息队列模块中所述应用的第二主题获取所述应用的日志规则；

确定所述内存中是否存储所述应用的日志规则，若是，则在确定所述应用的日志规则的ID小于监听到的日志规则的ID时，将所述监听到的日志规则的ID更新到所述内存中。

可选的，每个应用对应一个日志规则，所述日志规则由应用的标准格式和字段的值或字符配置的。

第二方面，本发明实施例提供一种物联网云容器日志收集装置，包括：

获取单元，用于监听消息队列模块中应用的第一主题获取应用的日志数据；

处理单元，用于将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据；确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

可选的，所述处理单元具体用于：

若所述标准格式的日志数据符合所述日志规则，则将所述标准格式的日志数据进行落盘，否则不处理所述标准格式的日志数据。

可选的，所述处理单元还用于：

若确定所述内存中未存储所述应用的日志规则，则不对所述标准格式的日志数据进行落盘。

可选的，所述处理单元还用于：

监听所述消息队列模块中所述应用的第二主题获取所述应用的日志规则；

确定所述内存中是否存储所述应用的日志规则，若是，则在确定所述应用的日志规则的ID小于监听到的日志规则的ID时，将所述监听到的日志规则的ID更新到所述内存中。

可选的，每个应用对应一个日志规则，所述日志规则由应用的标准格式和字段的值或字符配置的。

第三方面，本发明实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述物联网云容器日志收集方法。

第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述物联网云容器日志收集方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种日志处理系统的示意图；

图3为本发明实施例提供的一种物联网云容器日志收集方法的流程示意图；

图4为本发明实施例提供的一种物联网云容器日志收集方法的流程示意图；

图5为本发明实施例提供的一种物联网云容器日志收集装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例所适用的一种日志处理系统的系统架构，该系统架构可以为日志清洗规则配置模块100、物理节点日志收集模块200、消息队列模块300、日志流式清洗模块400和日志存储系统500。

结合图1和图2所示，日志清洗规则配置模块100可以配置应用的消息动态清洗规则并实时写入消息队列模块300。该规则可以决定某种应用的日志是否需要被处理，避免落盘无效日志。

物理节点日志收集模块200负责将本物理节点配置日志挂载的应用日志发送给消息队列模块300。

消息队列模块300是本日志处理系统的消息缓冲通道，不同应用的日志会被物理节点日志收集模块200写入不同的Topic(主题)。

日志流式清洗模块400同时监听消息队列模块中针对某种应用的日志动态清洗规则和应用日志，将应用日志转化为标准化格式，并实时根据日志清洗规则决定该日志是否落盘，并将可落盘的标准格式日志写回消息队列模块300。

日志存储系统500监听消息队列模块300并将标准格式日志按应用分表落盘数据仓库。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图3详细的示出了本发明实施例提供的一种物联网云容器日志收集方法的流程，该流程可以由物联网云容器日志收集装置执行。

如图3所示，该流程具体包括：

步骤301，监听消息队列模块中应用的第一主题获取应用的日志数据。

在本发明实施例中，在监听消息队列模块中某一应用的第一主题之前，需要先确认日志数据输出标准，来确保应用输出的日志格式是一致且可以被日志清洗系统识别处理的。然后所有应用进行业务分析，确认日志数据清洗后的标准格式和字段。

每个应用会单独将日志目录挂载到物理节点的不同目录，用Fluent bit(日志收集工具)将这些目录下的日志文件异步传输给基于Kafka(卡夫卡)集群的消息队列模块，每种应用对应一个属于自己的Topic1(第一主题)。

此外还需要为每一个应用配置一套日志规则，每个应用对应一个日志规则，所述日志规则由应用的标准格式和字段的值或字符配置的。

在确认每种应用的日志清洗格式后，用户可以在日志清洗规则配置模块的提供的页面对不同应用的标准格式字段进行值大小或字符匹配配置，配置后实际会输出一条规则(如temperature<40&&temperature>20||temperature＝＝15对应温度大于20小于40或等于15)，且会有一个递增的ID，越新配置的规则的ID越大，该规则会用户页面点击确认后写入消息队列模块针对该应用的Topic2(第二主题)。

步骤302，将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据。

在本发明实施例中，该预设的标准格式和字段是上述预配置的日志数据输出的标准格式和字段。当日志流式清洗模块监听Topic1(第一主题)得到应用的原始的日志数据，就可以使用该应用预设的日志标准格式和字段将原始的日志数据处理转化为标准格式。

步骤303，确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

当得到标准格式的日志数据之后，在确认内存中有应用的日志规则时，可以依据内存中的日志规则对标准格式的日志数据进行处理。若标准格式的日志数据符合日志规则，则将标准格式的日志数据进行落盘，否则不处理标准格式的日志数据，进行下一条日志数据的处理。

若确定内存中未存储该应用的日志规则，则不对该标准格式的日志数据进行落盘。

也就是说，从内存全局变量中获取该应用的日志规则，与转化为标准格式的日志数据进行对比，如不符合存储条件，就立刻结束处理下一条日志数据；如果内存中并没有该应用的日志规则的全局变量，默认不筛选存储。

此外，该日志流式清洗模块还可以监听消息队列模块中应用的第二主题获取应用的日志规则，确定内存中是否存储所述应用的日志规则，若是，则在确定应用的日志规则的ID小于监听到的日志规则的ID时，将监听到的日志规则的ID更新到内存中。

通过应用的Topic2(第二主题)监听最新的应用的日志规则，一旦获取到最新的日志规则，先检查内存中是否已有该应用的日志规则，如果没有就将其写入内存中，如果有就检查内存中已存在的该应用的日志规则的ID是否大于最新接收到的日志规则的ID，如果小于就将接收到的日志规则更新至内存中作为全局变量。

本发明实施例在对日志数据进行落盘时，选用基于Clickhouse集群的数据仓库，提供了读写高吞吐、数据分表、支持SQL查询的特性。数据由Gohangout从消息队列模块监听并异步写入数据仓库。

为了更好的解释本发明实施例下面，将在具体的实施场景下来描述上述日志清洗的过程。

具体的，如图4所示，包括：

步骤401，容器日志通过物理节点日志收集模块写入消息队列模块。

物理节点日志收集模块负责将本物理节点配置日志挂载的应用日志发送给消息队列模块。

步骤402，对每种应用配置动态日志清洗规则。

日志清洗规则配置模块配置应用的消息动态清洗规则并实时写入消息队列模块。该规则可以决定某种应用的日志是否需要被处理，避免落盘无效日志。

步骤403，日志流式清洗模块处理日志成标准格式，并实时监听日志规则决定是否落盘，将满足条件的落盘日志写回消息队列模块。

日志流式清洗模块同时监听消息队列模块中针对某种应用的日志动态清洗规则和应用日志，将应用日志转化为标准化格式，并实时根据日志清洗规则决定该日志是否落盘，并将可落盘的标准格式日志写回消息队列模块。

步骤404，将标准格式日志写入数据仓库。

日志存储系统监听消息队列模块并将标准格式日志按应用分表落盘数据仓库。

本发明实施例实现了一套针对应用的日志清洗规则配置模块，实现了动态日志规则写入，避免了无效日志落盘。

通过流计算编程实现了对日志清洗规则和应用日志的同时监听，实现了日志清洗实时变更。

选用性能更强的Clickhouse而不是ElasticSearch作为日志存储库，不但提供了更高的压缩比，减少了资源占用，而且提供了SQL对日志的查询支持。

在本发明实施例中，监听消息队列模块中应用的第一主题获取应用的日志数据，将日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据，确定内存中是否存储应用的日志规则，若是，则依据日志规则对标准格式的日志数据进行处理。通过每种应用单独配置的日志规则来对标准格式的日志进行清洗处理，能够降低日志存储的错误率，提高日志清洗的效率。

基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种物联网云容器日志收集装置的结构，该装置可以执行物联网云容器日志收集流程。

如图5所示，该装置具体包括：

获取单元501，用于监听消息队列模块中应用的第一主题获取应用的日志数据；

处理单元502，用于将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据；确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

可选的，所述处理单元502具体用于：

若所述标准格式的日志数据符合所述日志规则，则将所述标准格式的日志数据进行落盘，否则不处理所述标准格式的日志数据。

可选的，所述处理单元502还用于：

若确定所述内存中未存储所述应用的日志规则，则不对所述标准格式的日志数据进行落盘。

可选的，所述处理单元502还用于：

监听所述消息队列模块中所述应用的第二主题获取所述应用的日志规则；

确定所述内存中是否存储所述应用的日志规则，若是，则在确定所述应用的日志规则的ID小于监听到的日志规则的ID时，将所述监听到的日志规则的ID更新到所述内存中。

可选的，每个应用对应一个日志规则，所述日志规则由应用的标准格式和字段的值或字符配置的。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述物联网云容器日志收集方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述物联网云容器日志收集方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种物联网云容器日志收集方法，其特征在于，包括：

监听消息队列模块中应用的第一主题获取应用的日志数据；

将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据；

确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

2.如权利要求1所述的方法，其特征在于，依据所述日志规则对所述标准格式的日志数据进行处理，包括：

若所述标准格式的日志数据符合所述日志规则，则将所述标准格式的日志数据进行落盘，否则不处理所述标准格式的日志数据。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

若确定所述内存中未存储所述应用的日志规则，则不对所述标准格式的日志数据进行落盘。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

监听所述消息队列模块中所述应用的第二主题获取所述应用的日志规则；

确定所述内存中是否存储所述应用的日志规则，若是，则在确定所述应用的日志规则的ID小于监听到的日志规则的ID时，将所述监听到的日志规则的ID更新到所述内存中。

5.如权利要求1至4任一项所述的方法，其特征在于，每个应用对应一个日志规则，所述日志规则由应用的标准格式和字段的值或字符配置的。

6.一种物联网云容器日志收集装置，其特征在于，包括：

获取单元，用于监听消息队列模块中应用的第一主题获取应用的日志数据；

处理单元，用于将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据；确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

7.如权利要求6所述的装置，其特征在于，所述处理单元具体用于：

若所述标准格式的日志数据符合所述日志规则，则将所述标准格式的日志数据进行落盘，否则不处理所述标准格式的日志数据。

8.如权利要求6所述的装置，其特征在于，所述处理单元还用于：

若确定所述内存中未存储所述应用的日志规则，则不对所述标准格式的日志数据进行落盘。

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至5任一项所述的方法。

10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至5任一项所述的方法。

Images