CN108322319B - 一种基于增量日志的日志管理方法及管理装置 - Google Patents

Abstract

本发明公开了一种基于增量日志的日志管理方法及装置，包括：在配置存储中心建立用于存储日志的记录根节点；获知服务器的配置信息更新后，所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；各服务器监测到所述记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。本发明将现有技术中全量服务器配置更新为增量的配置数据更新，将配置同步的带宽消耗从O(n²)降低到O(n)。

Description

一种基于增量日志的日志管理方法及管理装置

技术领域

本发明涉及互联网数据处理技术领域，尤其涉及一种基于增量日志的日志管理方法及管理装置。

背景技术

云计算领域的兴起带来了服务器管理的挑战，一整套IT服务设施往往包含上千到上万台服务器，传统的服务器管理方案和管理软件已经不能满足大规模服务器集群的管理需求，面向整个服务器集群的标准化的管理方案和管理软件的需求越来越迫切。

目前在开源社区出现了不少成熟的服务器集群管理软件，如ansible,saltstack,puppet等。这些软件侧重于将集群中服务器的配置下发并执行到每个服务器上，以及静态的服务器配置管理。

而另一方面，在服务器集群运行过程中，也需要动态更改一个或多个服务器的配置以适应互联网应用中的快速业务变化。

在服务器的动态配置更改方面，目前也有很多软件系统支持配置存储: 集中式存储可以使用MySQL，Redis等。分布式存储集群可以使用etcd, ZooKeeper等。

这些集中式或分布式的配置存储软件，在不同的场合很好的解决了配置的存储问题，但现有技术中基于etcd的CoreOS的动态配置管理方案,只能让作为客户端的Docker实例监视属于自己的配置信息node,无法得知整个集群内其他Docker实例的配置信息变化,因此这种机制只能用于实现无状态的 Docker实例之间的配置管理,不能用于Docker实例之间有逻辑上的依赖的场合。对于将整个集群内所有服务器的配置都保存到1个etcd的节点的机制, 也同样不适用。这样虽然可以通过让每个客户端通过监测这个节点来接受整个集群内所有服务器的配置变化,但任何一个服务器的配置变化都会造成所有服务器通过配置中心etcd来拉取配置信息。这样会导致O(n²)级别的数据传输。如果1个服务器的配置信息是256字节,1个1000台服务器的集群,每次任何一个服务器的配置信息发生变化,都会在短时间内产生256兆比特的数据传输。

现有的执行方法，在整个分布式系统中，一服务器的配置信息更新时，与其相关联的其它服务器在本地需对此服务器所有的配置信息进行记录，服务器间同步配置信息时占用的带宽较高。

发明内容

为了解决上述技术问题，本发明提供了一种基于增量日志的日志管理方法及管理装置。

本发明提供了一种基于增量日志的日志管理方法，包括：

在配置存储中心建立用于存储日志的记录根节点；

获知服务器的配置信息更新后，在所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；

通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；

各服务器监测到所述记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。

上述基于增量日志的日志管理方法还包括以下特点：

所述方法还包括：

在配置存储中心建立用于存储服务器配置信息的快照的节点根节点；

通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述节点根节点下建立新的叶子节点，存储所述记录根节点中增加的新的叶子节点的日志内容。

上述基于增量日志的日志管理方法还包括以下特点：

所述方法还包括：

在所述协调线程中存储所述新的叶子节点中的日志内容后，将所述协调线程中最后处理的日志的标识更新为所述协调线程处理的最后一个日志的标识。

上述基于增量日志的日志管理方法还包括以下特点：

在所述协调线程中存储所述新的叶子节点中的日志内容包括：在所述协调线程中建立与所述记录根节点中增加的叶子节点的个数相同的叶子节点，在增加的叶子节点中分别记录所述新的叶子节点中的日志内容。

上述基于增量日志的日志管理方法还包括以下特点：

在所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志包括：确定服务器中被更新的配置信息的个数，在所述记录根节点下建立与此配置信息个数相同的叶子节点，在每个叶子节点处分别记录一个配置信息中被更新的日志标识和日志内容。

本发明还提供了一种基于增量日志的日志管理装置，包括：

配置存储中心管理模块，用于在配置存储中心建立用于存储日志的记录根节点；还用于获知服务器的配置信息更新后，在所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；

协调线程管理模块，用于通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；

服务器，用于监测到所述记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。

上述基于增量日志的日志管理装置还包括以下特点：

所述协调线程管理模块，还用于在配置存储中心建立用于存储服务器配置信息的快照的节点根节点；还用于在通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述节点根节点下建立新的叶子节点，存储所述记录根节点中增加的新的叶子节点的日志内容。

上述基于增量日志的日志管理装置还包括以下特点：

所述协调线程管理模块，还用于在所述协调线程中存储所述新的叶子节点中的日志内容后，将所述协调线程中最后处理的日志的标识更新为所述协调线程处理的最后一个日志的标识。

上述基于增量日志的日志管理装置还包括以下特点：

所述协调线程管理模块，还用于在所述协调线程中建立与所述记录根节点中增加的叶子节点的个数相同的叶子节点，在增加的叶子节点中分别记录所述新的叶子节点中的日志内容。

上述基于增量日志的日志管理装置还包括以下特点：

所述配置存储中心管理模块，还用于确定服务器中被更新的配置信息的个数，在所述记录根节点下建立与此配置信息个数相同的叶子节点，在每个叶子节点处分别记录一个配置信息中被更新的日志标识和日志内容。

本发明将现有技术中全量服务器配置更新为增量的配置数据更新，将配置同步的带宽消耗从O(n²)降低到O(n)。本发明支持对一个系统内所有的服务器配置的同时更新，在本地保留全量配置数据的副本，使服务器之间的互相的依赖和调用成为可能。此方案对外提供强一致性的配置数据存储，避免了并发修改配置数据时的数据丢失风险。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明中基于增量日志的日志管理方法的流程图；

图2是本发明中基于增量日志的日志管理装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是本发明中基于增量日志的日志管理方法的流程图；此基于增量日志的日志管理方法包括：

步骤101，在配置存储中心建立用于存储日志的记录根节点；

步骤102，获知服务器的配置信息更新后，在记录根节点下建立至少一个叶子节点，在叶子节点下记录相应的日志，日志包括日志标识和日志内容，日志内容包括服务器标识和更新后的配置信息；

步骤103，通过协调线程监测到记录根节点中增加了新的叶子节点后，在协调线程中存储所述新的叶子节点中的日志内容；各服务器监测到记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。

其中，

此方法还包括：在配置存储中心建立用于存储服务器配置信息的快照的节点根节点；通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在上述节点根节点下建立新的叶子节点，存储记录根节点中增加的新的叶子节点的日志内容。

此方法还包括：在协调线程中存储上述新的叶子节点中的日志内容后，将上述协调线程中最后处理的日志的标识更新为协调线程处理的最后一个日志的标识。

在步骤102 中，在记录根节点下建立至少一个叶子节点，在叶子节点下记录相应的日志包括：确定服务器中被更新的配置信息的个数，在所述记录根节点下建立与此配置信息个数相同的叶子节点，在每个叶子节点处分别记录一个配置信息中被更新的日志标识和日志内容。

在步骤101中，使用ZooKeeper构建配置存储中心。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。ZooKeeper是Hadoop的一个子项目，其发展历程无需赘述。ZooKeeper可以提供可靠的、可扩展的、分布式的、可配置的协调机制。

步骤103中，通过协调线程监测到记录根节点中增加了新的叶子节点后，确定协调线程未处理过的各节点，此时协调线程未处理过的各节点即为根节点中增加了新的叶子节点。在协调线程中存储所述新的叶子节点中的日志内容包括：在协调线程中建立与记录根节点中增加的叶子节点的个数相同的叶子节点，在增加的叶子节点中分别记录所述新的叶子节点中的日志内容。

步骤103中，各服务器监测到记录根节点中增加了新的叶子节点后，确定协调线程未处理过的各节点，此时协调线程未处理过的各节点即为根节点中增加了新的叶子节点。在服务器中缓存所述新的叶子节点中的日志内容包括：在缓存区记录所述新的叶子节点中的日志内容。

图2是本发明中基于增量日志的日志管理装置的结构图。此基于增量日志的日志管理装置包括：配置存储中心管理模块、协调线程管理模块、服务器。

配置存储中心管理模块用于在配置存储中心建立用于存储日志的记录根节点；还用于获知服务器的配置信息更新后，在所述记录根节点下建立至少一个叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；

协调线程管理模块用于通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；

服务器用于监测到所述记录根节点中增加了新的叶子节点后，在服务器中缓存所述新的叶子节点中的日志内容。

其中，

配置存储中心管理模块，用于确定服务器中被更新的配置信息的个数，在所述记录根节点下建立与此配置信息个数相同的叶子节点，在每个叶子节点处分别记录一个配置信息中被更新的日志标识和日志内容。

协调线程管理模块还用于在配置存储中心建立用于存储服务器配置信息的快照的节点根节点；还用于在通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述节点根节点下建立新的叶子节点，存储所述记录根节点中增加的新的叶子节点的日志内容。

协调线程管理模块还用于在所述协调线程中存储所述新的叶子节点中的日志内容后，将所述协调线程中最后处理的日志的标识更新为所述协调线程处理的最后一个日志的标识。

协调线程管理模块还用于在所述协调线程中建立与所述记录根节点中增加的叶子节点的个数相同的叶子节点，在增加的叶子节点中分别记录所述新的叶子节点中的日志内容。

具体实施例

步骤1，使用ZooKeeper作为配置存储中心,

步骤2，在ZooKeeper中建立用于存储日志的每个记录的记录根节点即“/records”。在ZooKeeper中建立用于存储服务器配置信息的快照的节点根节点即“/nodes”。

如下表所示：

步骤3，系统中每个服务器监听记录根节点即“/records”的变化，协调线程coordinator监听记录根节点即“/records”的变化。

步骤4，标识为aa的服务器的新的配置信息提交到ZooKeeper中，配置信息为{x:3}。在ZooKeeper中建立叶子节点，用于存储一服务器中被修改配置信息所对应的日志。此叶子节点的名称使用此日志的标识，例如此日志的标识为j_0001。系统的状态更新如下：

步骤5，coordinator监听到记录根节点即“/records”中增加了1个新的节点，确定coordinator没有处理过的节点，对每个节点提取其中的日志内容的服务器标识和配置信息，在/nodes/下建立一个叶子节点，将服务器标识的名称作为此新的节点的名称，即/nodes/<id>，在此节点内存储此日志内容。每个服务器监听到记录根节点即“/records”中增加了1个新的节点，确定 coordinator没有处理过的节点，对每个节点提取其中的日志内容的服务器标识和配置信息，在服务器的本地存储此日志内容。系统的状态更新如下：

步骤6，coordinator和各服务器更新自己最后处理过的日志的标识。系统的状态更新如下：

步骤7，标识为bb的服务器的新的配置信息提交到ZooKeeper中，配置信息为{y:4}。在ZooKeeper中建立叶子节点，用于存储一服务器中被修改配置信息所对应的日志。系统的状态更新如下：

步骤8，coordinator更新snapshot。

步骤9，各服务器更新本地缓存的配置信息。

步骤10，coordinator和各服务器更新最后更新日志的标识。

本发明将现有技术中全量服务器配置更新为增量的配置数据更新，将配置同步的带宽消耗从O(n²)降低到O(n)。本发明支持对一个系统内所有的服务器配置的同时更新，在本地保留全量配置数据的副本，使服务器之间的互相的依赖和调用成为可能。此方案对外提供强一致性的配置数据存储，避免了并发修改配置数据时的数据丢失风险。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于增量日志的日志管理方法，其特征在于，包括：

在配置存储中心建立用于存储日志的记录根节点；

获知服务器的配置信息更新后，在所述记录根节点下建立至少一个有序的叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；

通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；

各服务器监测到所述记录根节点中增加了新的叶子节点后，在服务器中按照新的叶子节点的序号依次缓存所述新的叶子节点中的日志内容。

2.如权利要求1所述的基于增量日志的日志管理方法，其特征在于，

所述方法还包括：

在配置存储中心建立用于存储服务器配置信息的快照的节点根节点；

通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述节点根节点下建立新的叶子节点，存储所述记录根节点中增加的新的叶子节点的日志内容。

3.如权利要求1所述的基于增量日志的日志管理方法，其特征在于，

所述方法还包括：

在所述协调线程中存储所述新的叶子节点中的日志内容后，将所述协调线程中最后处理的日志的标识更新为所述协调线程处理的最后一个日志的标识。

4.如权利要求1所述的基于增量日志的日志管理方法，其特征在于，

在所述协调线程中存储所述新的叶子节点中的日志内容包括：在所述协调线程中建立与所述记录根节点中增加的叶子节点的个数相同的叶子节点，在增加的叶子节点中分别记录所述新的叶子节点中的日志内容。

5.如权利要求1所述的基于增量日志的日志管理方法，其特征在于，

在所述记录根节点下建立至少一个有序的叶子节点，在所述叶子节点下记录相应的日志包括：确定服务器中被更新的配置信息的个数，在所述记录根节点下建立与此配置信息个数相同的叶子节点，在每个叶子节点处分别记录一个配置信息中被更新的日志标识和日志内容。

6.一种基于增量日志的日志管理装置，其特征在于，包括：

配置存储中心管理模块，用于在配置存储中心建立用于存储日志的记录根节点；还用于获知服务器的配置信息更新后，在所述记录根节点下建立至少一个有序的叶子节点，在所述叶子节点下记录相应的日志，所述日志包括日志标识和日志内容，所述日志内容包括服务器标识和更新后的配置信息；

协调线程管理模块，用于通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述协调线程中存储所述新的叶子节点中的日志内容；

服务器，用于监测到所述记录根节点中增加了新的叶子节点后，在服务器中按照新的叶子节点的序号依次缓存所述新的叶子节点中的日志内容。

7.如权利要求6所述的基于增量日志的日志管理装置，其特征在于，

所述协调线程管理模块，还用于在配置存储中心建立用于存储服务器配置信息的快照的节点根节点；还用于在通过协调线程监测到所述记录根节点中增加了新的叶子节点后，在所述节点根节点下建立新的叶子节点，存储所述记录根节点中增加的新的叶子节点的日志内容。

8.如权利要求6所述的基于增量日志的日志管理装置，其特征在于，

所述协调线程管理模块，还用于在所述协调线程中存储所述新的叶子节点中的日志内容后，将所述协调线程中最后处理的日志的标识更新为所述协调线程处理的最后一个日志的标识。

9.如权利要求6所述的基于增量日志的日志管理装置，其特征在于，

所述协调线程管理模块，还用于在所述协调线程中建立与所述记录根节点中增加的叶子节点的个数相同的叶子节点，在增加的叶子节点中分别记录所述新的叶子节点中的日志内容。

10.如权利要求6所述的基于增量日志的日志管理装置，其特征在于，

所述配置存储中心管理模块，还用于确定服务器中被更新的配置信息的个数，在所述记录根节点下建立与此配置信息个数相同的叶子节点，在每个叶子节点处分别记录一个配置信息中被更新的日志标识和日志内容。

Images