CN105580321A - 转发日志行 - Google Patents

Abstract

提供用于聚合日志行的技术。在一方面，识别日志聚合节点。可以建立到日志聚合节点的连接。可以通过建立的连接将日志行发送到日志聚合节点。日志聚合节点可以将日志行转发到日志服务器。

Description

转发日志行

背景技术

现代数据中心可能包含数万或数十万的计算机，它们也可被称为节点。每个节点可以包含端口，例如串行端口，通过该端口可以发送日志数据。典型地，日志数据是与节点有关的信息，可以分析该信息以确定节点性能或者调试可能已经在节点上发生的错误。在许多数据中心中，来自每个节点的日志数据可被收集到少量的日志服务器上。因此，可以获取来自许多节点的日志数据而不必单独地访问每个节点。

附图说明

图1描绘可利用本文描述的日志聚合技术的系统的示例。

图2描绘可利用本文描述的日志聚合技术的系统的另一示例。

图3是根据本文描述的技术用于将日志行转发到日志聚合节点的概要流程图的示例。

图4是根据本文描述的技术用于识别日志聚合节点并将日志行转发到所识别的节点的概要流程图的示例。

图5是根据本文描述的技术用于从节点接收日志行并在转发之前附加节点标识符的概要流程图的示例。

图6是根据本文描述的技术用于将日志行转发到从其它日志聚合节点聚合日志行的节点的概要流程图的另一示例。

图7是根据本文描述的技术用于从节点接收日志行并转发到日志服务器的处理器指令的示例。

图8是根据本文描述的技术用于识别日志聚合节点以及转发到日志服务器的处理器指令的示例。

具体实施方式

尽管提供中心日志服务器来从许多节点聚合日志数据提供了收集日志数据而不必单独地访问每个节点的有效方式，但是这种聚合不是没有问题。例如，日志数据通常被发送到节点上的串行端口之外。为了使得日志服务器从每个节点收集日志数据，必须在每个节点和日志服务器之间为串行电缆规定路线。考虑到在标准机架中不断增长的节点密度，这种电缆的负担变得非常巨大。例如，存在当前数据中心盒式架构，其允许每个外壳有45个盒，其中每个盒四个节点，每个机架10个外壳。该密度转化成每个机架1800个节点，每个节点依次需要1800根串行电缆。因为在日志服务器上具有1800个串行端口将是不合理的，因此将需要另外的设备，例如串行扩展器。

为了部分地克服该问题，创建了虚拟串行端口。使用虚拟串行端口，将通过该串行端口正常发送的日志数据被通过网络连接发送。例如，每个节点可以建立通过网络与日志服务器的连接。例如，网络可以是连接数据中心内的所有节点和日志服务器的以太网网络。通过串行端口正常输出的日志数据可以被放置到数据包中通过与日志服务器建立的连接发送。因为数据通过网络传送，因此数据连接可以被加密以提高安全性。如应该理解的，网络拓扑的使用消除了对在每个节点和日志服务器之间具有特定电缆的需要。

尽管虚拟串行端口的使用解决了与在日志服务器处收集日志数据有关的一些问题，但虚拟串行端口自身产生了另外的问题。例如，因为必须在每个节点和日志服务器之间建立连接，因此每个节点必须单独配置有日志服务器的网络地址。此外，必须建立和维护每个节点和日志服务器之间的连接。尽管在节点处这不是大问题，但是在日志服务器中不是这样。考虑到上述的示例密度，单个机架需要与日志服务器建立1800个连接。进一步加剧该问题的是在每个连接上加密的使用。如果使用加密，则用于加密和解密通过连接发送的日志信息的开销将是过多的。

本文描述的技术通过在发送到日志服务器之前聚合日志数据克服了这些问题。每个节点可以通过虚拟串行连接将日志数据发送到聚合节点。聚合节点在受信任的域内对于外壳和/或机架是本地的，使得在节点和聚合节点之间不需要加密。聚合节点可以建立安全连接，诸如与日志服务器连接的安全外壳协议(SSH)。通过聚合节点，从每个节点接收的数据可以被发送到日志服务器。因此，对于每个节点不再需要建立到日志服务器的安全连接。

为了克服利用聚合节点配置每个节点的问题，可以使用自发现机制。在一个示例实施方式中，每个节点可以监听来自聚合节点的广播消息。一旦接收到广播消息，节点就可以从该消息中获取聚合节点的地址。在可替代的示例实施方式中，每个节点可以广播要求聚合节点的网络地址的请求消息。聚合节点可以响应，并且该节点可以存储聚合节点的地址。在任何一种情况中，聚合节点的地址不需要被预先配置到每个节点中。

因为所有日志数据被发送到单个日志服务器，所以可能期望能够识别从每个节点发送的数据。来自节点的日志数据典型地是一行文本，其可以被称为日志行(logline)。在一些示例实施方式中，标识符被附加到每个日志行，使得能够识别生成日志行的具体节点。标识符可以是唯一属性，诸如IP地址或节点名称。标识符的特定形式相对不重要，只要其被理解为唯一地识别数据中心中的一个节点。在一些示例实施方式中，节点标识符可以由发送日志行的节点附加到每个日志行，而在其它示例实施方式中，节点标识符可以由聚合节点附加。在下面进一步详细地并结合附图描述这些技术。

图1描绘可利用本文描述的日志聚合技术的系统的示例。系统100可以包括节点110-1…n、日志聚合节点120-1…n、以及日志服务器130。节点110-1…n可以是诸如服务器计算机节点的节点。节点110-1…n还可以是其它类型的节点，诸如开关节点，I/O节点或者任何其它形式的节点。应该理解的是，节点110-1…n是可以具有要被输出到日志文件的数据的节点。为了本公开目的，要被输出到日志文件的数据可以被称为日志行。这并不意味着输出的数据是单行数据。相反，日志行简单的是一个单位，该单位可指节点希望写入日志文件的项目。

日志聚合节点120-1可以是从节点110-1…n聚合日志行的节点。在一些实例实施方式中，日志聚合节点120-1可以是执行任务的节点，这些任务与由节点110-1…n执行的工作负荷不相交。在其它示例实施方式中，日志聚合节点120-1可以执行与节点110-1…n相同的任务，但是此外还执行日志聚合任务。例如，机架可以包含多个节点。在一些示例实施方式中，除了处理正常的工作负荷，可以选择一个节点以执行日志聚合功能。在其它示例实施方式中，日志聚合节点可以负责日志聚合，但是不负责处理普通的工作负荷。

应该注意，存在多个日志聚合节点。如图1中所示，可能存在日志聚合节点120-2…n。这些节点中的每一个节点可以执行与日志聚合节点120-1类似的功能。为了方便解释，详细描述一个日志聚合节点120-1。然而，应该理解，可以存在多个日志聚合节点。系统100还可以包括日志服务器130。日志服务器130可以是从所有节点110-1…n(通过日志聚合节点)收集日志行的服务器计算机。换句话说，在系统管理员期望检查各种节点的日志时，可以从日志服务器130获取日志行。尽管未示出，节点、日志聚合节点以及日志服务器都可经由网络或多个网络通信地联接。因此，所描述的每个元素能够与所描述的其他元素的至少一个子集通信。

在操作中，每个节点110-1…n可以首先识别其相关的日志聚合节点。在一个示例实施方式中，每个节点可以向网络上的所有元素广播消息，请求识别日志聚合服务器。与发送请求的节点关联的日志聚合服务器然后可以响应，指示其是要被请求的节点使用的日志聚合服务器。在其它示例实施方式中，每个日志聚合服务器可以向所有其它元素广播消息，指示其具有日志聚合能力。接收广播消息的节点然后可以选择来使用作为日志聚合节点的广播节点。

不管实施方式如何，每个节点确定日志聚合服务器的地址，该日志聚合服务器处理节点的日志行聚合功能。然后，节点可存储日志行聚合服务器的地址。然后，节点可建立与日志聚合节点的连接。典型地，日志聚合节点和节点可以都位于同一信任域内，使得可以建立简单的、不安全的连接。然而，如果在节点和日志聚合节点之间建立安全连接，则本文描述的技术同样是可应用的。

在节点希望将日志行发送到日志服务器时，节点通过建立的、到日志聚合节点的连接，将日志行发送到日志聚合节点。在一些示例实施方式中，节点在日志行上附加节点标识符。例如，节点标识符可以是生成日志行的节点的地址。作为另一示例，节点标识符可以是节点名称。在其它示例实施方式中，由日志聚合节点附加节点标识符。节点标识符的目的是确定生成日志行的节点，如下面解释的。

日志聚合节点可以建立与日志服务器的安全连接。日志聚合节点和日志服务器可以不在同一信任域中，并且这样其可以谨慎地使用安全连接。一旦日志行已经被日志聚合节点接收，并且已经附加日志标识符(由节点或者由日志聚合节点)，日志聚合节点可以将日志行转发到日志服务器。在一些示例实施方式中，日志聚合节点可以在接收时转发日志行，而在其它示例实施方式中，日志聚合节点可以缓冲日志行并且一旦缓冲器满了就将日志行发送到日志服务器。不管实施方式如何，应该理解，每个节点不需要创建与日志服务器的连接，更不用说安全连接。照此，降低了在日志服务器上的处理负载。

在从日志聚合节点转发的日志行接收时，日志服务器可以简单地将所接收的日志行附加到日志文件(未示出)。在一些示例实施方式中，日志服务器可以为每个日志聚合节点维护单独的文件，而在其它示例实施方式中，日志服务器可以维护来自所有日志聚合节点的日志行的单个文件。在系统用户希望分析来自单个节点的日志行时，可以从日志服务器获取合适的日志文件。然后，可以基于感兴趣的节点标识符，过滤文件，节点标识符已经如上所述附加到日志行。照此，随后可以获取和分析来自单个节点的日志行。

图2描绘可以利用本文描述的日志聚合技术的系统的另一示例。外壳200可以是支持许多节点的外壳。例如，外壳可以是支持包含在盒(未示出)上的节点的架构。例如，外壳200可以包含多个位置。例如，外壳200可以包含45个位置，位置中的每一个可以包含盒。在示例实施方式中，每个盒可以包含多达四个节点，诸如服务器节点。外壳可以为盒提供支持系统，诸如通过提供电源和冷却。外壳还可以提供允许在外壳内的元素进行通信的通信结构。

因此，外壳可以支持多个节点210-1…8、211-1…n。这些节点中的每一个节点可以生成日志行，如上面结合图1所描述。外壳还可以包括底架管理器220-1…3。底架管理器可以联接到节点并用作负载聚合节点。例如，底架管理器220-1可以用作节点210-1…8的负载聚合节点。底架管理器220-2可以用作节点211-1…n的负载聚合节点。在一些示例实施方式中，底架管理器可以与至少八个节点关联。应该理解，为了将行记录到日志服务器的目的，节点可以典型地与单个底架管理器关联。

底架管理器可以包含处理器221和在其上包含指令集的非瞬态处理器可读介质222，在指令集被处理器执行时引起处理器实现本文描述的技术。例如，介质可以包括日志行接收/附加指令223、日志行安全转发指令224以及日志节点广播/响应指令225。

在操作中，正如上所述，底架管理器可以通知节点其具有日志聚合能力。例如，日志节点广播/响应指令225可以用于允许底架管理器和节点彼此识别。如上面所解释，这可以通过其中底架管理器广播其日志聚合能力的广播机制，或者其可以以其中底架管理器响应于日志聚合节点识别的请求的请求-响应机制。不管实施方式如何，每个节点可能能够识别日志行要被发送到的底架管理器。再次，如上所述，每个节点可以建立与所识别的底架管理器的连接。

如图2中所示，底架管理器可以是节点210-1…8的日志聚合节点，同时底架管理器220-2可以是节点211-1…n的日志聚合节点。这些底架管理器中的每一个底架管理器可以从其各自的节点接收日志行。例如，底架管理器220-1、底架管理器220-2可以使用日志行接收/附加指令223从节点210、节点211接收日志行。然后，如上所述，底架管理器220-1、底架管理器220-2可以将节点标识符附加到每个日志行。然而，代替直接将日志行转发到日志服务器，底架管理器220-1、底架管理器220-2可以转发日志行到底架管理器220-3。

底架管理器220-3可以从底架管理器220-1、底架管理器220-2接收转发的日志行。然后，底架管理器220-3可以使用日志行安全转发指令224建立到日志服务器240的安全连接。然后，底架管理器220-3可以将从底架管理器220-1、底架管理器220-2接收的日志行转发到日志服务器。应该注意，底架管理器220-3不会直接从节点210-1…8或211-1…n接收任何日志行以及不会接收节点210-1…8或211-1…n的任何日志行。反之，底架管理器通过其它底架管理器间接接收日志行。

图3是根据本文描述的技术用于将日志行转发到日志聚合节点的概要流程图的示例。在框310中，节点可以识别日志聚合节点。如上面解释的，日志聚合节点可以从多个节点接收日志行。在框320中，可以建立到日志聚合节点的连接。在一些示例实施方式中，该连接可以在信任域内，使得连接不必是安全的。因此，对节点和日志聚合节点之间的连接不需要加密。

在框330中，可以通过建立的连接将日志行发送到日志聚合节点。可以通过任何数量的建立的连接从任何数量的不同节点接收日志行。然后，日志聚合节点可以将日志行转发到日志服务器。如上面解释的，日志行可以具有附加到其的节点标识符并且到日志服务器的连接可以是安全连接，例如由SSH提供的连接。

图4是根据本文描述的技术用于识别日志聚合节点并将日志行转发到所识别的节点的概要流程图的示例。在一个示例实施方式中，在框405中开始过程。在框405中，节点可以在连接结构上监听来自日志聚合节点的广播消息。如上面解释的，在一些示例实施方式中，日志聚合节点针对所有待接收的其它节点广播其存在于连接结构上。在框410中，可以存储日志聚合节点的地址，该地址已经被包括在框405中接收的广播消息中。

在另一示例实施方式中，过程在框415中开始。在框415中，节点可针对日志聚合节点在连接结构上发送广播查询。换句话说，节点可以请求日志聚合节点来识别自身。在框420中，可以从日志聚合节点接收响应。在框425中，可以存储日志聚合节点的地址。

在任何一个示例实施方式中，过程移动至框430，在该框430中，可以建立到日志聚合节点的连接。如上面解释的，在一些示例实施方式中，连接不必是安全连接，因为节点和日志聚合节点可以两者都位于信任域内。然而，本文描述的技术即使在节点和日志聚合节点之间的连接是安全连接时也是可应用的。

在框435中，可确定节点标识符是否由发送节点(例如本地节点)或者由日志聚合节点附加。如果节点标识符由发送节点附加，那么过程移动到框440。在框440中，节点可以将节点标识标签附加到每个日志行。节点标识标签可以用于标识发送该日志行的节点。如果节点标识符由日志聚合节点附加，那么过程移动到框445。在框445中，日志聚合节点可以将节点标识标签附加到每个日志行。节点标识标签可以标识发送该日志行的节点。

不论哪个节点附加节点标识标签，过程都移动到框450。在框450中，日志行可以通过建立的连接发送到日志聚合节点。日志聚合节点可以通过安全通信信道将日志行转发到日志服务器。

图5是根据本文描述的技术用于从节点接收日志行并在转发之前附加节点标识符的概要流程图的示例。在框510中，第一底架管理器可以从节点集的第一子集接收日志行流。如上面解释的，底架管理器可以负责多个不同的节点。每个节点可以将作为流的日志行发送到其指定的底架管理器。因此，底架管理器可以从已经被分配到底架管理器的许多不同的节点接收日志行。

在框520中，第一底架管理器可以为每个日志行附加节点标识符，其中节点标识符标识生成该日志行的具体节点。如上面解释的，在分析日志服务器上的日志文件以确定日志行从哪个节点发送时，可使用节点标识符。在框530中，具有附加的节点标识符的日志行可以被转发到第三底架管理器。如上面解释的，在一些示例实施方式中，一些底架管理器可以负责与节点通信，诸如本文描述的第一底架管理器。其它底架管理器(诸如第三底架管理器)可以和负责与节点通信的底架管理器通信，但是不与节点本身通信。

图6是根据本文描述的技术用于将日志行转发到从其它日志聚合节点聚合日志行的节点的概要流程图的另一示例。在框610中，正如上所述，第一底架管理器可以从节点集的第一子集接收日志行流。在示例实施方式中，节点的第一子集包括至少八个节点。在框620中，第二底架管理器可以类似地从节点的第二子集接收日志行。节点的第一子集和第二子集不具有共同的节点。换句话说，每个节点可以与一个底架管理器通信。

在框630中，第一底架管理器可以将节点标识符附加到每个日志行，其中节点标识符标识生成该日志行的具体节点。在框640中，第二底架管理器可以类似地将节点标识符附加到每个日志行。再者，节点标识符可以标识哪个节点生成该日志行。

在框650中，日志行可以被从第一底架管理器和第二底架管理器转发到第三底架管理器。第三底架管理器不可直接从节点集中的任何节点接收日志行。换句话说，第三底架管理器从其它底架管理器接收转发的日志行，而不是从节点本身。在框660中，第三底架管理器可以通过安全通信信道将日志行转发到日志服务器。

图7是根据本文描述的技术用于从节点接收日志行并转发到日志服务器的处理器指令的示例。在框710中，指令可以引起处理器通过不安全的连接从多个节点接收日志行。如上面解释的，在一些示例实施方式中，发送日志行的节点和聚合节点包含在同一信任域内。因此，节点和日志聚合节点之间的通信不需要通过安全通信信道。

在框720中，指令可以引起处理器建立到日志服务器的安全连接。如之前解释的，日志服务器可以不在信任域中，并且到日志服务器的连接可以是安全连接。然而，因为连接是来自日志聚合节点，而不是单独地来自每个节点，因此可能需要减少的数量的安全连接。因此减少了建立和维护安全连接的开销。在框730中，指令可以引起处理器通过安全连接将来自多个节点的日志行转发到日志服务器。

图8是根据本文描述的技术用于识别日志聚合节点以及转发到日志服务器的处理器指令的示例。在一个示例实施方式中，在框810中，指令可以引起处理器向多个节点广播日志节点能力。换句话说，日志聚合节点可以向所有其它节点广播其具有用作日志聚合节点的能力。在可替代的示例实施方式中，在框820中，日志聚合节点可以响应用于日志聚合节点识别的请求，其中该请求从多个节点发送。换句话说，多个节点可以请求日志聚合节点识别其自身，并且日志聚合节点响应以对请求进行指示。

在另一实施方式中，在框830中，指令可引起处理器通过不安全连接从多个节点接收日志行。如上面已经解释的，节点和聚合节点可以在信任域中，使得使用不安全通信信道是可接受的。在框840中，指令可以引起处理器将节点标识符附加到每个日志行。节点标识符可以标识生成该日志行的节点。

在框850中，可以建立到日志服务器的安全连接。如上面解释的，日志服务器和日志聚合节点可以不在同一信任域中。照此，为了确保安全通信，可以在日志聚合节点和日志服务器之间建立安全连接。在框860中，指令可以引起处理器通过安全连接将来自多个节点的日志行转发到日志服务器。

Claims (15)

1.一种方法，其包括：

由一节点识别日志聚合节点；

建立到所述日志聚合节点的连接；以及

通过所建立的连接将日志行发送到所述日志聚合节点，其中所述日志聚合节点将所述日志行转发到日志服务器。

2.根据权利要求1所述的方法，其中识别日志聚合节点包括：

在连接结构上监听来自所述日志聚合节点的广播消息；并且

存储所述日志聚合节点的地址，所述地址被包括在所述广播消息中。

3.根据权利要求1所述的方法，其中识别日志聚合节点包括：

在连接结构上发送针对所述日志聚合节点的广播查询；

从所述日志聚合节点接收响应；并且

存储所述日志聚合节点的地址。

4.根据权利要求1所述的方法，进一步包括：

由所述节点将节点标识标签附加到每个日志行，其中所述节点标识标签标识发送该日志行的节点。

5.根据权利要求1所述的方法，进一步包括：

由所述日志聚合节点将节点标识标签附加到每个日志行，其中所述节点标识标签标识发送该日志行的节点。

6.根据权利要求1所述的方法，其中将所述日志行转发到日志服务器通过安全通信信道。

7.一种方法，其包括：

在第一底架管理器处从节点集的第一子集接收日志行流；

利用所述第一底架管理器，将节点标识符附加到每个日志行，其中所述节点标识符标识生成该日志行的具体节点；以及

将具有所附加的节点标识符的日志行转发到第三底架管理器。

8.根据权利要求7所述的方法，进一步包括：

通过安全通信信道将日志行从所述第三底架管理器转发到日志服务器。

9.根据权利要求7所述的方法，其中所述第三底架管理器不从所述节点集中的任何节点直接接收日志行。

10.根据权利要求7所述的方法，进一步包括：

在第二底架管理器处从节点集的第二子集接收日志行流；

利用所述第二底架管理器，将所述节点标识符附加到每个日志行，其中所述节点标识符标识生成该日志行的具体节点；以及

将具有所附加的节点标识符的日志行转发到所述第三底架管理器；

其中节点的所述第一子集和节点的所述第二子集不具有共同的节点。

11.根据权利要求7所述的方法，其中节点的所述第一子集包括至少八个节点。

12.一种非瞬态处理器可读介质，所述非瞬态处理器可读介质上包含指令集，所述指令集在由所述处理器执行时，引起所述处理器：

通过不安全连接从多个节点接收日志行；

建立到日志服务器的安全连接；以及

通过所述安全连接将来自所述多个节点的所述日志行转发到所述日志服务器。

13.根据权利要求12所述的介质，进一步包括进行下述操作的指令：

将节点标识符附加到每个日志行，所述节点标识符标识生成该日志行的节点。

14.根据权利要求12所述的介质，进一步包括进行下述操作的指令：

响应用于日志聚合节点识别的请求，其中所述请求从所述多个节点发送。

15.根据权利要求12所述的介质，进一步包括进行下述操作的指令：

向所述多个节点广播日志节点能力。