CN107544888A - 一种日志处理方法及系统 - Google Patents

Abstract

本发明提供一种日志处理方法及系统，该方法包括：控制模块确定缓存队列的缓存比例，所述缓存比例为缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，所述日志被所述日志处理系统中的容器从所述缓存队列中拉取并处理；当所述缓存比例满足容器启动条件时，通知所述日志处理系统中的容器管理模块启动新的容器参与日志处理。本发明通过监测缓存队列的状态，来动态调节日志处理系统的日志处理能力，整个处理过程中，无需轮询每一个容器的资源状态，简化了处理流程。

Description

一种日志处理方法及系统

技术领域

本发明涉及网络通信技术领域，尤其涉及一种日志处理方法及系统。

背景技术

日志处理系统在处理日志时，如果处理效率不高，会出现丢包等情况。目前，日志处理系统普遍通过监测容器(容器中运行处理日志的进程)的资源利用率(例如，CPU、内存的利用率等)，在容器的资源利用率达到预设的利用率阈值时，增加新的容器，以提升日志处理系统的日志处理效率，降低丢包率。但是，该处理方式需要实时监测每一个容器的资源利用率，实现起来比较复杂。

发明内容

本发明的目的在于提供一种日志处理方法及系统，用以在提升日志处理效率的同时，简化日志处理流程。

为实现上述发明目的，本发明提供了如下技术方案：

本发明提供一种日志处理方法，应用于日志处理系统中的控制模块，所述方法包括：

确定缓存队列的缓存比例，所述缓存比例为缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，所述日志被所述日志处理系统中的容器从所述缓存队列中拉取并处理；

当所述缓存比例满足容器启动条件时，通知所述日志处理系统中的容器管理模块启动新的容器参与日志处理。

本发明还提供一种日志处理系统，所述系统包括：

控制模块，用于确定缓存队列的缓存比例，所述缓存比例为缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，所述日志被所述日志处理系统中的容器从所述缓存队列中拉取并处理，当所述缓存比例满足容器启动条件时，通知容器管理模块启动新的容器参与日志处理；

所述容器管理模块，用于在接收到所述控制模块发送的启动容器的通知后，启动新的容器。

由以上描述可以看出，本发明中控制模块通过监测缓存队列的缓存比例，即缓存的日志的数量占缓存队列允许缓存的日志的最大数量的比例，在缓存比例满足容器启动条件时，通知容器管理模块启动新的容器参与日志处理，以提升日志处理效率，降低丢包率。其中，由于本发明仅针对缓存队列进行监测，无需轮询每一个已启动容器的资源状况(例如，CPU、内存的利用率等)，因此，简化了日志处理流程。

附图说明

图1是本发明实施例示出的一种日志处理系统框架图；

图2是本发明实施例示出的一种日志处理方法流程图；

图3是本发明实施例示出的一种日志处理系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明实施例提出一种日志处理方法，该方法由日志处理系统中的控制模块监测缓存队列的缓存比例，在缓存比例满足容器启动条件时，通知容器管理模块启动新的容器参与日志处理。

参见图1，为本发明示出的一种日志处理系统框架图。其中，缓存队列用于缓存日志，该缓存队列可采用分布式消息队列，以充分利用日志处理系统资源，增强日志处理系统的日志吞吐量；容器(容器1～容器3，本发明不对容器数量进行限定)利用运行在容器中的日志处理进程处理缓存队列中的日志，需要说明的是，本发明中容器采用主动拉取(Pull)的方式从缓存队列中拉取日志进行处理，即容器中的日志处理进程每处理完一个日志，再从缓存队列中拉取下一个日志进行处理；控制模块用于执行图2所示日志处理流程，在此暂不赘述；容器管理模块用于启动或关闭容器，其中，控制模块和容器管理模块可位于日志处理系统中的同一日志服务器上，也可位于不同的日志服务器上，本发明对此不作限定。

参见图2，为本发明日志处理方法的一个实施例流程图，该实施例从控制模块侧对日志处理过程进行描述。

步骤201，确定缓存队列的缓存比例。

缓存队列的缓存比例是指缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，例如，当前缓存队列中缓存的日志的数量为10万条，缓存队列允许缓存的日志的最大数量为20万条，则该缓存队列当前的缓存比例为50％。

步骤202，当所述缓存比例满足容器启动条件时，通知所述日志处理系统中的容器管理模块启动新的容器参与日志处理。

在一种实施方式中，当缓存队列的缓存比例大于预设的比例阈值时，例如，预设的比例阈值为75％，当缓存队列的缓存比例超过75％时，说明当前已启动容器处理日志的速度可能低于缓存队列中写入日志的速度，如果不提升日志处理速度会出现丢包等情况，因此，控制模块通知容器管理模块启动新的容器参与日志处理，以提升日志处理速度，降低缓存队列的缓存比例，降低丢包率。

但是，如果缓存队列的缓存比例大于比例阈值是由于网络设备在某一时刻集中上报日志所致，而后上报日志的速度明显变缓，那么仅基于单次确定的缓存比例大于比例阈值就启动新的容器，可能会造成后续日志处理速度明显高于缓存队列中写入日志的速度，甚至导致缓存队列中无可取日志，部分容器处于空闲状态，造成资源浪费。既使马上关闭空闲容器，也已造成不必要的容器启/停操作。

为此，本发明周期性监测缓存队列的缓存比例，统计缓存比例持续大于预设的比例阈值的时长(记为第一时长)，当统计的第一时长大于预设的第一时长阈值时，说明缓存队列在一段较长时间内始终维持较高的缓存比例，而非短时间的集中写入导致缓存比例居高不下，此时，控制模块可通知容器管理模块启动新的容器参与日志处理，以达到提升日志处理效率、降低丢包率的目的，同时，可降低容器的启停频率，节约系统资源。

当然，本发明也可通过统计缓存比例连续大于预设的比例阈值的次数(记为第一次数)，当统计的第一次数大于预设的第一次数阈值时，说明缓存队列在连续的多次监测过程中始终维持较高的缓存比例，非突发性的集中写入，此时，控制模块可通知容器管理模块启动新的容器参与日志处理，达到提升日志处理效率、降低丢包率的目的，同时，降低容器的启停频率，节约系统资源。

这里需要补充说明的是，本发明基于缓存队列的缓存比例和比例阈值来确定是否启动新的容器，相较于直接利用日志数量和相对应的数量阈值来确定是否启动新的容器，其可扩展性更好，例如，当日志处理系统的缓存队列的容量增大时，本发明无需更改比例阈值，而如果基于日志数量去处理，则需要手动更改对应的数量阈值。此外，通常缓存队列中可缓存的日志数量巨大，基于日志数量执行比较、记录等操作相较于基于比例执行上述操作，占用的系统资源较多。

在另一种实施方式中，周期性监测缓存队列的缓存比例，统计缓存比例持续增长的时长(记为第二时长)，当第二时长大于预设的第二时长阈值时，说明缓存队列的缓存比例处于持续增长状态，日志的处理速度已低于日志写入缓存队列的速度，因此，控制模块通知容器管理模块启动新的容器参与日志处理。

当然，也可通过统计缓存比例连续增长的次数(记为第二次数)，当第二次数大于预设的第二次数阈值时，同样说明缓存队列的缓存比例处于持续增长状态，日志的处理速度已低于日志写入缓存队列的速度，因此，控制模块通知容器管理模块启动新的容器参与日志处理。

从上述描述可以看出，第二种实施方式相较于第一种实施方式，由于不受预设的比例阈值的限制，能够更早的预测缓存队列中日志数量的变化趋势，从而提前启动新的容器，最大限度地降低丢包率。

此外，本发明在预设的第三时长内统计缓存队列为空(缓存比例为0％)的次数(第三次数)，当第三次数大于预设的第三次数阈值时，说明缓存队列在一段时间内频繁为空，日志处理速度明显高于日志写入缓存队列的速度，因此，控制模块通知容器管理模块按照预设的关闭比例(可在通知中携带关闭比例信息或在容器管理模块中预设关闭比例)关闭一部分处于空闲状态的容器，以降低日志处理速度，减少不必要的资源浪费。

容器管理模块根据接收到的控制模块发送的通知(启动或关闭容器的通知)，启动或关闭容器，以调节日志处理系统的日志处理能力，在此不再赘述。

综上所述可知，由于本发明中容器主动从缓存队列中拉取日志，因此，控制模块不需要轮询每一个容器的资源状态，仅通过监测缓存队列的状态，即可感知已启动容器的日志处理能力，从而在日志处理能力不能满足要求时，通知容器管理模块启动新的容器参与日志处理，提高日志处理效率的同时，简化了日志处理流程。

现以具体实施例，详细介绍日志处理过程。

实施例一：

预设缓存队列的比例阈值为75％，当前已启动的用于处理日志的容器的数量为3个，容器采用主动拉取方式从缓存队列中拉取日志进行处理。

控制模块周期性(固定周期或非固定周期)监测缓存队列的缓存比例。以非固定周期(例如，随着缓存比例的增加逐渐缩短监测周期)为例，当首次监测到缓存队列的缓存比例大于75％时，作为此次统计的起始时间点，例如，如表1所示，当首次监测到大于75％的缓存比例78％时，记为此次统计的起始时间点(第0秒)；若此时的监测周期为5秒，则下一统计时间点为距离起始时间点的第5秒，监测第5秒时的缓存比例为85％，大于75％，则当前统计的缓存比例持续大于75％的时长为5秒；若随着缓存比例的增加当前监测周期变为3秒，则下一统计时间点为距离起始时间点的第8秒(或距离上一统计时间点的第3秒)，监测距离起始时间点第8秒时的缓存比例为80％，大于75％，则当前统计的缓存比例持续大于75％的时长为8秒；以此类推。

表1

若预设的时长阈值为15秒，则当统计的时长(17秒)大于时长阈值(15秒)时，说明缓存队列的缓存比例一直处于较高状态，有丢包风险，因此，通知容器管理模块启动新的容器，即通过增加容器数量提升日志处理速度，降低缓存队列的缓存比例，降低丢包风险。

实施例二：

预设缓存队列的比例阈值为75％，当前已启动的用于处理日志的容器的数量为3个，容器采用主动拉取方式从缓存队列中拉取日志进行处理。

控制模块周期性监测缓存队列的缓存比例。以固定周期(例如，监测周期为5秒)为例，当缓存队列的缓存比例大于75％时，统计缓存比例连续大于75％的次数，如表2所示。

缓存比例	统计的次数
		78％	1
85％	2
		80％	3
78％	4
		82％	5
86％	6

表2

若预设的次数阈值为5次，则当前统计的次数(6次)已大于次数阈值(5次)，缓存队列的缓存比例一直处于较高状态，有丢包风险，因此，通知容器管理模块启动新的容器，通过增加容器数量提升日志处理速度，降低缓存队列的缓存比例，降低丢包风险。

实施例三：

当前已启动的用于处理日志的容器的数量为3个，容器采用主动拉取方式从缓存队列中拉取日志进行处理。

控制模块周期性监测缓存队列的缓存比例。以非固定周期为例，统计缓存比例持续增长的时长，如表3所示。将某一监测时间点作为此次统计的起始时间点，例如，表3所示，监测到缓存比例为50％的时间点作为此次统计的起始时间点，记为第0秒；若此时的监测周期为5秒，则下一统计时间点为距离起始时间点的第5秒，监测第5秒时的缓存比例为52％，大于上一统计时间点(第0秒)时的缓存比例50％，因此，当前统计的缓存比例持续增长的时长为5秒；若随着缓存比例的增加当前监测周期变为3秒，则下一统计时间点为距离起始时间点的第8秒(或距离上一统计时间点的第3秒)，监测距离起始时间点第8秒时的缓存比例为56％，大于上一统计时间点(第5秒)时的缓存比例52％，因此，当前统计的缓存比例持续增长的时长为8秒；以此类推。

表3

当缓存比例从50％持续增长到70％时，统计的时长为17秒，若预设时长阈值为15秒，则当前统计的时长(17秒)大于时长阈值(15秒)，通知容器管理模块启动新的容器，提升日志处理速度，提前预防缓存队列有可能出现的溢出情况，降低丢包风险。

实施例四：

当前已启动的用于处理日志的容器的数量为3个，容器采用主动拉取方式从缓存队列中拉取日志进行处理。

控制模块周期性监测缓存队列的缓存比例。以固定周期为例，统计缓存比例连续增长的次数，参见表4。

缓存比例	统计的次数
		50％	1
52％	2
		56％	3
62％	4
		70％	5
80％	6

表4

表4中，缓存比例从50％连续增长到80％，此时，统计的次数为6次，若预设的次数阈值为5次，则当前统计的次数(6次)大于次数阈值(5次)，通知容器管理模块启动新的容器，提升日志处理速度，提前预防缓存队列有可能出现的溢出情况，降低丢包风险。

实施例五：

在上述任一实施例的基础上，控制模块监测缓存队列在预设时长(例如，60秒)内为空的次数，参见表5。

缓存比例
	40％
20％
	0
0
	0
30％
	10％
0
	0

表5

表5所示为60秒内监测到的缓存比例，其中，有5次缓存比例为0，即缓存队列为空。若针对缓存队列为空的次数设置的次数阈值为3次，则当前统计的缓存队列为空的次数(5次)大于预设的次数阈值(3次)，因此，通知容器管理模块关闭一定数量的空闲容器，例如，预设关闭比例为50％，当前存在2个处于空闲状态的容器时，可关闭其中一个空闲容器，以降低日志处理速度，同时，节约系统资源。

与前述日志处理方法的实施例相对应，本发明还提供了日志处理系统的实施例。

请参考图3，为本发明一个实施例中的日志处理系统的结构示意图。该日志处理系统包括控制模块31和容器管理模块32，其中：

控制模块31，用于确定缓存队列的缓存比例，所述缓存比例为缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，所述日志被所述日志处理系统中的容器从所述缓存队列中拉取并处理，当所述缓存比例满足容器启动条件时，通知容器管理模块32启动新的容器参与日志处理；

所述容器管理模块32，用于在接收到所述控制模块发送的启动容器的通知后，启动新的容器。

进一步地，所述控制模块31当所述缓存比例满足容器启动条件时，通知容器管理模块32启动新的容器参与日志处理，包括：

当所述缓存比例大于预设的比例阈值时，通知所述容器管理模块32启动新的容器参与日志处理。

进一步地，所述控制模块31当所述缓存比例大于预设的比例阈值时，通知所述容器管理模块32启动新的容器参与日志处理，包括：

统计缓存比例持续大于预设的比例阈值的第一时长；当统计的第一时长大于预设的第一时长阈值时，通知所述容器管理模块32启动新的容器参与日志处理；

或者，统计缓存比例连续大于预设的比例阈值的第一次数；当统计的第一次数大于预设的第一次数阈值时，通知所述容器管理模块32启动新的容器参与日志处理。

进一步地，所述控制模块31当所述缓存比例满足容器启动条件时，通知容器管理模块32启动新的容器参与日志处理，包括：

统计缓存比例持续增长的第二时长；当所述第二时长大于预设的第二时长阈值时，通知所述容器管理模块32启动新的容器参与日志处理；

或者，统计缓存比例连续增长的第二次数；当所述第二次数大于预设的第二次数阈值时，通知所述容器管理模块32启动新的容器参与日志处理。

进一步地，

所述控制模块31，还用于在预设的第三时长内统计所述缓存队列为空的第三次数；当所述第三次数大于预设的第三次数阈值时，通知所述容器管理模块32按照预设的关闭比例关闭处于空闲状态的容器；

所述容器管理模块32，还用于在接收到所述控制模块31发送的关闭容器的通知后，按照预设的关闭比例关闭处于空闲状态的容器。

上述系统中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种日志处理方法，应用于日志处理系统中的控制模块，其特征在于，所述方法包括：

确定缓存队列的缓存比例，所述缓存比例为缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，所述日志被所述日志处理系统中的容器从所述缓存队列中拉取并处理；

当所述缓存比例满足容器启动条件时，通知所述日志处理系统中的容器管理模块启动新的容器参与日志处理。

2.如权利要求1所述的方法，其特征在于，所述当所述缓存比例满足容器启动条件时，通知所述日志处理系统中的容器管理模块启动新的容器参与日志处理，包括：

当所述缓存比例大于预设的比例阈值时，通知所述容器管理模块启动新的容器参与日志处理。

3.如权利要求2所述的方法，其特征在于，所述当所述缓存比例大于预设的比例阈值时，通知所述容器管理模块启动新的容器参与日志处理，包括：

统计缓存比例持续大于预设的比例阈值的第一时长；当统计的第一时长大于预设的第一时长阈值时，通知所述容器管理模块启动新的容器参与日志处理；

或者，

统计缓存比例连续大于预设的比例阈值的第一次数；当统计的第一次数大于预设的第一次数阈值时，通知所述容器管理模块启动新的容器参与日志处理。

4.如权利要求1所述的方法，其特征在于，所述当所述缓存比例满足容器启动条件时，通知所述日志处理系统中的容器管理模块启动新的容器参与日志处理，包括：

统计缓存比例持续增长的第二时长；当所述第二时长大于预设的第二时长阈值时，通知所述容器管理模块启动新的容器参与日志处理；

或者，

统计缓存比例连续增长的第二次数；当所述第二次数大于预设的第二次数阈值时，通知所述容器管理模块启动新的容器参与日志处理。

5.如权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

在预设的第三时长内统计所述缓存队列为空的第三次数；

当所述第三次数大于预设的第三次数阈值时，通知所述容器管理模块按照预设的关闭比例关闭处于空闲状态的容器。

6.一种日志处理系统，其特征在于，所述系统包括：

控制模块，用于确定缓存队列的缓存比例，所述缓存比例为缓存队列中缓存的日志的数量占该缓存队列允许缓存的日志的最大数量的比例，所述日志被所述日志处理系统中的容器从所述缓存队列中拉取并处理，当所述缓存比例满足容器启动条件时，通知容器管理模块启动新的容器参与日志处理；

所述容器管理模块，用于在接收到所述控制模块发送的启动容器的通知后，启动新的容器。

7.如权利要求6所述的系统，其特征在于，所述控制模块当所述缓存比例满足容器启动条件时，通知容器管理模块启动新的容器参与日志处理，包括：

当所述缓存比例大于预设的比例阈值时，通知所述容器管理模块启动新的容器参与日志处理。

8.如权利要求7所述的系统，其特征在于，所述控制模块当所述缓存比例大于预设的比例阈值时，通知所述容器管理模块启动新的容器参与日志处理，包括：

统计缓存比例持续大于预设的比例阈值的第一时长；当统计的第一时长大于预设的第一时长阈值时，通知所述容器管理模块启动新的容器参与日志处理；

或者，统计缓存比例连续大于预设的比例阈值的第一次数；当统计的第一次数大于预设的第一次数阈值时，通知所述容器管理模块启动新的容器参与日志处理。

9.如权利要求6所述的系统，其特征在于，所述控制模块当所述缓存比例满足容器启动条件时，通知容器管理模块启动新的容器参与日志处理，包括：

统计缓存比例持续增长的第二时长；当所述第二时长大于预设的第二时长阈值时，通知所述容器管理模块启动新的容器参与日志处理；

或者，统计缓存比例连续增长的第二次数；当所述第二次数大于预设的第二次数阈值时，通知所述容器管理模块启动新的容器参与日志处理。

10.如权利要求6至9任一所述的系统，其特征在于：

所述控制模块，还用于在预设的第三时长内统计所述缓存队列为空的第三次数；当所述第三次数大于预设的第三次数阈值时，通知所述容器管理模块按照预设的关闭比例关闭处于空闲状态的容器；

所述容器管理模块，还用于在接收到所述控制模块发送的关闭容器的通知后，按照预设的关闭比例关闭处于空闲状态的容器。