CN109117345A - 日志监控方法及分布式数据系统 - Google Patents

Abstract

本发明提供了一种日志监控方法及分布式数据系统，涉及数据日志监控技术领域。该方法包括多个数据节点中的当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据；当前节点根据其当前日志数据生成对应的当前日志监控数据；当前节点将在前日志数据、在前日志监控数据、当前日志数据和当前日志监控数据发送给与之通信连接的下一级节点或数据中心；数据中心接收数据节点发送的所有日志数据和日志监控数据并依据日志监控数据展示接收到的日志数据。本发明提供的日志监控方法及分布式数据系统可在各业务节点不额外增设功能的情况下，实现数据日志在整个分布式系统中的流向和数量的监控，以及监控各数据节点的日志压力、是否负载均衡等。

Description

日志监控方法及分布式数据系统

技术领域

本发明涉及数据日志监控技术领域，具体而言，涉及一种日志监控方法及分布式数据系统。

背景技术

在大数据日志收集系统中，各数据节点生成大量的、可自定义的数据日志。

随着日志收集系统的复杂度提高，普通的系统监控，如CPU、内存、网络流量等指标的监控不足以表示出系统是否正常工作，在正常业务系统中添加额外的监控信息可以体现出日志数据源的部分指标，解决掉业务端节点的监控问题，但需要增设额外的功能实现。

发明内容

有鉴于此，本发明实施例的目的在于提供一种日志监控方法及分布式数据系统，以改善上述问题。

第一方面，本发明实施例提供了一种日志监控方法，应用于分布式数据系统，所述分布式数据系统包括数据中心和多个级联的数据节点，多个所述数据节点级联后与所述数据中心通信连接，所述方法包括：

多个所述数据节点中的当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据，所述当前节点为级联的多个数据节点中除第一个数据节点之外的任一数据节点；

所述当前节点根据其当前日志数据生成对应的当前日志监控数据；

所述当前节点将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给与之通信连接的下一级节点或所述数据中心；

所述数据中心接收与之通信连接的数据节点发送的所有日志数据和日志监控数据；

所述数据中心依据所述日志监控数据展示接收到的日志数据。

可选地，所述方法还包括：

当所述数据中心接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息。

可选地，所述日志监控数据包括对应的日志数据的数量参数，所述当所述数据中心接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息，包括：

当所述日志监控数据中的数量参数小与对应的日志数据的数量时，所述数据中心生成第一报警信息；

当所述日志监控数据中的数量参数大与对应的日志数据的数量时，所述数据中心生成第二报警信息。

可选地，每个日志监控数据包括对应数据节点的节点信息，所述数据中心依据所述日志监控数据展示接收到的日志数据，包括：

所述数据中心依据每个所述日志监控数据中的节点信息，展示每个数据节点对应的日志数据。

可选地，所述节点信息为IP地址或级联标识。

第二方面，本发明实施例提供了一种分布式数据系统，所述分布式数据系统包括数据中心和多个级联的数据节点，多个所述数据节点级联后与所述数据中心通信连接；

多个所述数据节点中的当前节点用于获得上一级节点发送的在前日志数据和对应的在前日志监控数据，所述当前节点为级联的多个数据节点中除第一个数据节点之外的任一数据节点；

所述当前节点还用于根据其当前日志数据生成对应的当前日志监控数据；

所述当前节点还用于将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给与之通信连接的下一级节点或所述数据中心；

所述数据中心用于接收与之通信连接的数据节点发送的所有日志数据和日志监控数据；

所述数据中心还用于依据所述日志监控数据展示接收到的日志数据。

可选地，所述数据中心还用于当接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息。

可选地，所述日志监控数据包括对应的日志数据的数量参数，所述数据中心用于当所述日志监控数据中的数量参数小与对应的日志数据的数量时，生成第一报警信息；以及

当所述日志监控数据中的数量参数大与对应的日志数据的数量时，生成第二报警信息。

可选地，每个日志监控数据包括对应数据节点的节点信息，所述数据中心用于依据每个所述日志监控数据中的节点信息，展示每个数据节点对应的日志数据。

可选地，所述节点信息为IP地址或级联标识。

对于现有技术，本发明提供的日志监控方法及分布式数据系统具有如下的有益效果：

本发明提供的日志监控方法及分布式数据系统可在各业务节点不额外增设功能的情况下，实现数据日志在整个分布式系统中的流向和数量的监控，以及监控各数据节点的日志压力、是否负载均衡等。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的一种分布式数据系统的结构示意图。

图2为本发明较佳实施例提供的另一种分布式数据系统的结构示意图。

图3为本发明较佳实施例提供的数据节点的方框示意图。

图4为本发明较佳实施例提供的日志监控方法的流程图。

图标：100-数据中心；200-数据节点；210-日志监控装置；230-存储器；250-处理器；270-通信单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1和图2，是本发明较佳实施例提供的分布式数据系统的结构示意图。所述分布式数据系统包括有数据中心100和多个级联的数据节点200，该多个数据节点200级联后与数据中心通信连接以进行行数据通信或交互。所述数据节点200可以是向外提供服务的服务器或其他硬件设备。

本发明实施例中，多个数据节点200级联可以是如图1所示的多个数据节点200依次级联后与数据中心100通信连接。也可以是如图2所示的多个数据节点200分成多组级联后与数据中心100通信连接。还可以是其他的一些级联方式，如多个数据节点200与同一数据节点200级联后与其他的数据节点200级联或数据中心100级联等，本发明实施例中不做具体限定。

多个数据节点200级联后与数据中心通信连接，多个数据节点200中最远离数据中心100的数据节点200为其级联的数据节点200的上一级节点，同时与最远离数据中心100的数据节点200相级联的数据节点200也是最远离数据中心100的数据节点200的下一级节点。如图1所示，所述分布式数据系统包括有3个数据节点200，3个数据节点200依次级联后与数据中心100通信连接，图中最左边的数据节点200为中间的数据节点200的上一级节点，中间的数据节点200既是最左边的数据节点200的下一级节点，又是最右边的数据节点200的上一级节点，最右边的数据节点200则为中间的数据节点200的下一级节点。该3个数据节点200中除最左边的数据节点200之外的任何一个可被称之为当前节点。

请参阅图3，是本发明较佳实施例提供的数据节点200的方框示意图。所述数据节点200包括日志监控装置210、存储器230、处理器250和通信单元270。

所述存储器230、处理器250以及通信单元270各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述日志监控装置210包括至少一个可以软件或固件(firmware)的形式存储于所述存储器230中或固化在所述数据节点200的操作系统(operating system，OS)中的软件功能模块。所述处理器250用于执行所述存储器230中存储的可执行模块，例如所述日志监控装置210所包括的软件功能模块及计算机程序等。

其中，所述存储器230可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器230用于存储程序，所述处理器250在接收到执行指令后，执行所述程序。所述通信单元270用于通过网络建立所述数据节点200与相邻的数据节点或数据中心100之间的通信连接，并用于通过所述网络收发数据。

多个数据节点200中的当前节点用于获得上一级节点发送的在前日志数据和对应的在前日志监控数据，所述当前节点为级联的多个数据节点200中除第一个数据节点之外的任一数据节点(第一个数据节点获得日志发生服务(或应用)产生的在前日志数据)。

具体的，上一级节点发送的在前日志数据和对应的在前日志监控数据包括上一级节点自身的日志数据和依据该日志数据生成的日志监控数据，如果上一级节点不是多个级联的数据节点200中的第一个节点，则该上一级节点的在前日志数据还包括其再上一个节点发送的日志数据，该上一级节点的在前日志监控数据还包括其再上一个节点发送的日志监控数据。为方便描述，本发明实施例中以级联的多个数据节点200中的第二个数据节点200为当前节点进行阐述。

分布式数据系统在对日志进行监控的过程中，首先，多个级联的数据节点200中的第一个数据节点200依据其日志数据生成对应的日志监控数据。所述日志数据可以包括其数据种类，所述日志监控数据中包括有对应的日志数据的数量参数(包含且不仅限于记录条数、字节大小。例如，第一个节点对应的日志数据为500条，则数量参数为500)和对应的节点信息，所述节点信息可以是对应数据节点200的IP地址或级联标识等，所述级联标识为用于表示该数据节点200在级联的多个数据节点200中的具体位置。第一个节点依据其日志数据生成对应的日志监控数据后，将其日志数据和对应的日志监控数据发送给与之级联的第二个节点(即当前节点)，第二个节点获得第一个节点发送的日志数据和对应的日志监控数据，即获得上一节点发送的在前日志数据和对应的在前日志监控数据。

所述当前节点还用于根据其当前日志数据生成对应的当前日志监控数据。

具体的，当前节点中包括有其自身的当前日志数据，并依据当前日志数据生成对应的当前日志监控数据，当前日志监控数据中包括有对应的日志数据(即当前日志数据)的数量参数和对应的节点信息。

所述当前节点还用于将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给与之通信连接的下一级节点或所述数据中心100。

具体的，如果当前节点级联有下一级节点，则当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据后，将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给下一级节点。然后下一级节点重复当前节点所执行的过程直到将所有的日志数据和对应的日志监控数据发送给数据中心100。如果当前节点直接与数据中心100通信连接，则当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据后，将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给数据中心100。

数据中心100用于接收与之通信连接的数据节点200发送的所有日志数据和日志监控数据。

所述数据中心100还用于依据所述日志监控数据展示接收到的日志数据。

具体的，数据中心100接收与之通信连接的数据节点200发送的所有日志数据和日志监控数据，由于除第一个数据节点外的每一个数据节点200的日志数据包括其自身的日志数据和上一个节点发送的日志数据，除第一个数据节点外的每个数据节点的日志监控数据包括其自身的日志监控数据和上一个节点发送的日志监控数据。因此，数据中心100接收到与之通信连接的数据节点200发送的日志数据和日志监控数据中包含了级联的所有数据节点200自身的日志数据和对应的日志监控数据。

数据中心100在接收到之通信连接的数据节点200发送的日志数据和日志监控数据后，依据每一个日志监控数据中的节点信息(IP地址或级联标识)展示对应的数据的日志数据。如此，数据中心100的用户可根据每个节点的IP地址或级联标识清晰的查看到各个数据节点200中的日志数量和种类，或者级联的数据节点200中的日志的总量和日志种类。

数据中心100还用于当接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息。

具体的，数据中心100在接收到之通信连接的数据节点200发送的所有日志数据和日志监控数据后，将每一个数据节点200自身的日志数据和对应的日志监控数据进行比对，判断每一个数据节点200自身的日志数据的数量与对应日志监控数据中的数量参数是否一致。如果其中一个或多个节点的日志数据的数量小于对应的日志监控数据中的数量参数时，则数据中心100生成一表征日志丢失的第一报警信息。如果其中一个或多个节点的日志数据的数量大于对应的日志监控数据中的数量参数时，则数据中心100生成一表征日志重复的第二报警信息，以便数据中心100的用户及时获知日志在传输的过程中是否重复或丢失。

请参阅图4，是本发明较佳实施例提供的应用于上述所述分布式数据系统的一种日志监控方法的流程图，下面将对图4所示的流程进行阐述。

步骤S101，多个数据节点中的当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据。

步骤S102，当前节点根据其当前日志数据生成对应的当前日志监控数据。

步骤S103，当前节点将在前日志数据、在前日志监控数据、当前日志数据和当前日志监控数据发送给与之通信连接的下一级节点或数据中心。

步骤S104，数据中心接收与之通信连接的数据节点发送的所有日志数据和日志监控数据。

步骤S105，数据中心依据日志监控数据展示接收到的日志数据。

步骤S106，数据中心判断接收到的日志监控数据与对应的日志数据是否匹配，如果否，执行步骤S107。

步骤S107，数据中心生成报警信息。

其中，当日志监控数据中的数量参数小与对应的日志数据的数量时，数据中心生成表征日志重复的第一报警信息。当日志监控数据中的数量参数大与对应的日志数据的数量时，数据中心生成征日志丢失的第二报警信息。

综上所述，本发明实施例提供的日志监控方法及分布式数据系统能够通过多个数据节点200中的当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据，并根据其当前日志数据生成对应的当前日志监控数据，然后将在前日志数据、在前日志监控数据、当前日志数据和当前日志监控数据发送给与之通信连接数据中心100或者之通信连接的下一级节点直至发送给数据中心200，数据中心200根据接收到的所有日志监控数据展示对应的日志数据。如此，数据中心100的用户可根据每个节点的IP地址或级联标识清晰的查看到各个数据节点200中的日志数量和种类，或者级联的数据节点200中的日志的总量和日志种类。与此同时，当其中一个或多个节点的日志数据的数量小于对应的日志监控数据中的数量参数时，数据中心100生成一表征日志重复的第一报警信息，当其中一个或多个节点的日志数据的数量大于对应的日志监控数据中的数量参数时，据中心100生成一表征日志丢失的第二报警信息，以便数据中心100的用户及时获知日志在传输的过程中是否重复或丢失。本发明提供的日志监控方法及分布式数据系统可在各业务节点不额外增设功能的情况下，实现数据日志在整个分布式系统中的流向和数量的监控，以及监控各数据节点的日志压力、是否负载均衡等。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种日志监控方法，应用于分布式数据系统，所述分布式数据系统包括数据中心和多个级联的数据节点，多个所述数据节点级联后与所述数据中心通信连接，其特征在于，包括：

多个所述数据节点中的当前节点获得上一级节点发送的在前日志数据和对应的在前日志监控数据，所述当前节点为级联的多个数据节点中除第一个数据节点之外的任一数据节点；

所述当前节点根据其当前日志数据生成对应的当前日志监控数据；

所述当前节点将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给与之通信连接的下一级节点或所述数据中心；

所述数据中心接收与之通信连接的数据节点发送的所有日志数据和日志监控数据；

所述数据中心依据所述日志监控数据展示接收到的日志数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述数据中心接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息。

3.根据权利要求2所述的方法，其特征在于，所述日志监控数据包括对应的日志数据的数量参数，所述当所述数据中心接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息，包括：

当所述日志监控数据中的数量参数小与对应的日志数据的数量时，所述数据中心生成第一报警信息；

当所述日志监控数据中的数量参数大与对应的日志数据的数量时，所述数据中心生成第二报警信息。

4.根据权利要求1所述的方法，其特征在于，每个日志监控数据包括对应数据节点的节点信息，所述数据中心依据所述日志监控数据展示接收到的日志数据，包括：

所述数据中心依据每个所述日志监控数据中的节点信息，展示每个数据节点对应的日志数据。

5.根据权利要求4所述的方法，其特征在于，所述节点信息为IP地址或级联标识。

6.一种分布式数据系统，其特征在于，所述分布式数据系统包括数据中心和多个级联的数据节点，多个所述数据节点级联后与所述数据中心通信连接；

多个所述数据节点中的当前节点用于获得上一级节点发送的在前日志数据和对应的在前日志监控数据，所述当前节点为级联的多个数据节点中除第一个数据节点之外的任一数据节点；

所述当前节点还用于根据其当前日志数据生成对应的当前日志监控数据；

所述当前节点还用于将所述在前日志数据、所述在前日志监控数据、所述当前日志数据和所述当前日志监控数据发送给与之通信连接的下一级节点或所述数据中心；

所述数据中心用于接收与之通信连接的数据节点发送的所有日志数据和日志监控数据；

所述数据中心还用于依据所述日志监控数据展示接收到的日志数据。

7.根据权利要求1所述的分布式数据系统，其特征在于，所述数据中心还用于当接收到的日志监控数据与对应的日志数据不匹配时，生成报警信息。

8.根据权利要求7所述的分布式数据系统，其特征在于，所述日志监控数据包括对应的日志数据的数量参数，所述数据中心用于当所述日志监控数据中的数量参数小与对应的日志数据的数量时，生成第一报警信息；以及

当所述日志监控数据中的数量参数大与对应的日志数据的数量时，生成第二报警信息。

9.根据权利要求6所述的分布式数据系统，其特征在于，每个日志监控数据包括对应数据节点的节点信息，所述数据中心用于依据每个所述日志监控数据中的节点信息，展示每个数据节点对应的日志数据。

10.根据权利要求9所述的分布式数据系统，其特征在于，所述节点信息为IP地址或级联标识。