CN110399357A - 一种集中管理大数据组件日志的方法、装置及系统 - Google Patents

Abstract

本发明涉及了一种集中管理大数据组件日志的方法，包括通过服务器执行以下步骤：接收在各节点对日志进行解析得到的日志解析参数；根据日志解析参数对日志建立索引；响应于接收到客户端发出的请求，通过索引提取相应节点上的日志并将日志反馈给客户端。通过本发明的技术方案实现了代替传统的日志聚合方式，建立对本地日志的索引，降低数据传输的带宽和服务器性能及存储容量的要求，同时减小端到端的延时、提高日志管理的可靠性。

Description

一种集中管理大数据组件日志的方法、装置及系统

技术领域

本发明涉及大数据系统设计技术领域。本发明进一步涉及一种集中管理大数据组件日志的方法、装置及系统。

背景技术

日志是有关系统和软件状态的相关记录，在日志文件中记录了系统和应用程序的重要事件，通过日志可以了解到系统和应用程序的运行状态、对服务器端的访问信息以及错误信息。因此，日志被广泛用于系统调试、监控和稳定性检测中。日志的管理和分析可以帮助用户更好的了解系统及软件当前的运行状态，对集群系统进行安全维护、性能优化以及故障排查。因此，日志的采集、分析工具已经成为日常服务检测的重要内容和维持系统正常运行不可缺少的工具。

然而，在大数据系统中，日志文件分散存放，数量多，可直接查阅日志文件保存周期短，极不便于运维；日志格式不一致，可阅读性过低；查询费时或超时，效率低下；相关日志的关联性低，无法清晰定位；大量的日志无法统计，无法准确的分析业务。上述一系列问题都会对大数据系统的正常工作和维护造成不利的影响。

现有技术中通常将收集到的日志进行聚合，集中存放在特定的存储位置，以待对所存储的日志进行后续的处理和使用。但是这样的方式不仅对数据传输的带宽和存储位置的容量相对较高的要求，并且从时间成本和软硬件成本上来考量都具有一定的不足。

因此，需要提出一种集中管理大数据组件日志的解决方案，通过该方案能够代替传统的日志聚合方式，建立对本地日志的索引，降低数据传输的带宽和存储容量的要求，同时减小端到端的延时、提高日志管理的可靠性。

发明内容

一方面，本发明基于上述目的提出了一种集中管理大数据组件日志的方法，包括通过服务器执行以下步骤：

接收在各节点对日志进行解析得到的日志解析参数；

根据日志解析参数对日志建立索引；

响应于接受到客户端发出的请求，通过索引提取相应节点上的日志并将日志反馈给客户端。

根据本发明的集中管理大数据组件日志的方法的实施例，其中该方法进一步包括：在各节点的元数据信息文件中添加节点的服务名称属性，使得日志的内容包括该节点的服务名称。

根据本发明的集中管理大数据组件日志的方法的实施例，其中日志解析参数包括在各节点根据收集配置文件从日志中提取的指定内容及该指定内容的标签，指定内容包括节点的服务名称和日志的内容的至少一个参数。

根据本发明的集中管理大数据组件日志的方法的实施例，其中根据日志解析参数对日志建立索引进一步包括：

根据服务名称确定对节点的索引；

根据日志信息的至少一个参数确定对节点上的日志的索引。

另一方面，本发明还提出了一种集中管理大数据组件日志的装置，包括：

至少一个处理器；和

存储器，存储有处理器可运行的程序代码，该程序代码在被处理器执行时实现以下步骤：

接收在各节点对日志进行解析得到的日志解析参数；

根据日志解析参数对日志建立索引；

响应于接受到客户端发出的请求，通过索引提取相应节点上的日志并将日志反馈给客户端。

根据本发明的集中管理大数据组件日志的装置的实施例，其中程序代码在被处理器执行时进一步实现以下步骤：在各节点的元数据信息文件中添加该节点的服务名称属性，使得日志内容包括该节点的服务名称。

根据本发明的集中管理大数据组件日志的装置的实施例，其中日志解析参数包括日志收集解析器在各节点根据收集配置文件从日志中提取的指定内容及该指定内容的标签，指定内容包括节点的服务名称和日志内容的至少一个参数。

根据本发明的集中管理大数据组件日志的装置的实施例，其中根据日志解析参数对日志建立索引进一步包括：

根据服务名称确定对节点的索引；

根据日志内容的至少一个参数确定对该节点上的日志的索引。

此外，本发明进一步提出了一种集中管理大数据组件日志的系统，包括：

前述集中管理大数据组件日志的装置；

部署有日志收集解析器的若干节点，该日志收集解析器配置为读取相应节点的日志、解析日志生成日志解析参数，并将该日志解析参数给集中管理大数据组件日志的装置；和

具有日志搜索用户界面的客户端，该日志搜索用户界面配置为接收用户查询日志的请求，接收并展示反馈的所述日志。

根据本发明的集中管理大数据组件日志的系统的实施例，其中日志收集解析器还配置为将各节点的日志解析参数以消息流的形式发送至分布式消息队列，以供用户订阅分布式消息队列中的消息来分析日志。

采用上述技术方案，本发明至少具有如下有益效果：通过本发明的技术方案，实现了代替传统的日志聚合方式，不再将收集到的日志集中存放在特定的存储位置，而是利用日志解析参数建立对本地日志的索引，不仅不再受到存储容量的限制，而且一定程度上减少了数据传输过程中耗费的时间，减小端到端的延时，同时也有效避免了日志文件在传输过程中可能发生的错误、丢失等问题，更提高了日志查询、搜索和管理的可靠性。此外，由于从各节点向服务器发送的不再是完整的日志文件，而是根据要求提取了所需信息的日志解析参数，一定程度上降低数据传输的带宽，并且经过解析的日志解析参数中已经包含了对应内容的标签，也降低对服务器内存及处理器的性能要求。

本发明提供了实施例的各方面，不应当用于限制本发明的保护范围。根据在此描述的技术可设想到其它实施方式，这对于本领域普通技术人员来说在研究以下附图和具体实施方式后将是显而易见的，并且这些实施方式意图被包含在本申请的范围内。

下面参考附图更详细地解释和描述了本发明的实施例，但它们不应理解为对于本发明的限制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对现有技术和实施例描述中所需要使用的附图作简单地介绍，附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在一些情况下比例可能已经被放大，以便强调和清楚地示出本文描述的新颖特征。另外，如本领域中已知的，结构顺序可以被不同地布置。

在图中：

图1示出了根据本发明的集中管理大数据组件日志的方法的实施例的示意性框图；

图2示出了根据本发明的集中管理大数据组件日志的系统的实施例的示意图。

具体实施方式

虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，但应该理解的是，本公开将被认为是本发明的示例并不意图将本发明限制于所说明的具体实施例。

在不同的附图中，在功能上相同的部件具有相同的附图标记，因此这些部件通常仅被描述一次。

图1示出了根据本发明的集中管理大数据组件日志的方法的实施例的示意性框图。如图1所示，该方法的实施例包括通过服务器执行以下步骤：

S1：接收在各节点对日志进行解析得到的日志解析参数；

S2：根据日志解析参数对日志建立索引；

S3：响应于接收到客户端发出的请求，通过索引提取相应节点上的日志并将日志反馈给客户端。

根据本发明的方法，在大数据组件的各个节点上布置用于收集、解析的模块。在一些实施例中，上述模块优选为日志收集解析器。步骤S1具体地说包括通过该日志收集解析器对各节点产生的日志进行读取和解析，并根据解析结果生成日志解析参数。例如，在默认情况下，日志收集解析器只收集FATAL、ERROR和WARN级别的日志，用户可以根据需求过滤其中某个级别的日志，或者添加INFO、DEBUG级别的日志。随后服务器接收上述日志解析参数。

之后执行步骤S2的根据上述日志解析参数对日志建立索引的过程。基于接收到的日志解析参数，对各节点的日志建立索引，以待后续的处理。

在建立了步骤S2的索引之后，在步骤S3响应于客户端发出的请求通过索引提取相应节点上的日志，并将日志反馈给客户端。具体地说，当服务器接收到用户通过客户端发出的搜索请求时，服务器根据上述所建立的索引，提取相应节点上的相应日志，并将上述日志反馈给客户端。用户在客户端发出的请求可以包括根据节点、时间范围、日志级别、关键词等信息搜索日志。

在本发明的集中管理大数据组件日志的方法的若干实施例中，该方法进一步包括在各节点的元数据信息文件中添加节点的服务名称属性，使得日志的内容包括该节点的服务名称。即，在大数据组件的各节点的元数据信息文件metainfo.xml中增加服务名称(logId)属性。相应地，在该组件生成的日志中，包含上述logId的内容。

在本发明的集中管理大数据组件日志的方法的进一步实施例中，日志解析参数包括在各节点根据收集配置文件从日志中提取的指定内容及该指定内容的标签，指定内容包括节点的服务名称和日志的内容的至少一个参数。也就是说，在读取了日志之后，通过日志收集解析器根据收集配置文件*-logsearch-conf.xml从日志中提取由该文件规定的指定内容。收集配置文件里会配置要监控的服务有哪些组件、每个组件对应的日志文件、日志内容格式、日志内容存储在搜索引擎中的字段名等。例如，该文件以<name>service_name</name>格式规定服务名称属性。在提取了指定内容后，为该指定内容赋予相应的标签，并将该标签及指定内容按字段封装为上述日志解析参数。此外，为了能够在步骤S2中建立索引，上述日志解析参数的指定内容包括节点的服务名称和日志的内容的至少一个参数。

在本发明的集中管理大数据组件日志的方法的一个或多个实施例中，步骤2根据日志解析参数对日志建立索引进一步包括：S21：根据服务名称确定对节点的索引；S22：根据日志信息的至少一个参数确定对节点上的日志的索引。具体地说，步骤S21根据日志解析参数中的节点的服务名称建立对相应节点的索引，在索引到相应节点的基础上，步骤S22通过日志解析参数中的日志的内容的至少一个参数建立对该节点上的相应日志的索引。

另一方面，本发明还提出了一种集中管理大数据组件日志的装置，包括至少一个处理器；和存储器，存储有处理器可运行的程序代码，该程序代码在被处理器执行时实现以下步骤：

S1：接收在各节点对日志进行解析得到的日志解析参数；

S2：根据日志解析参数对日志建立索引；

S3：响应于接收到客户端发出的请求，通过索引提取相应节点上的日志并将日志反馈给客户端。

在本发明的集中管理大数据组件日志的装置的若干实施例中，上述程序代码在被处理器执行时进一步实现以下步骤：在各节点的元数据信息文件中添加该节点的服务名称属性，使得日志内容包括该节点的服务名称。

在本发明的集中管理大数据组件日志的装置的又一些实施例中，日志解析参数包括日志收集解析器在各节点根据收集配置文件从日志中提取的指定内容及该指定内容的标签，指定内容包括节点的服务名称和日志内容的至少一个参数。

在本发明的集中管理大数据组件日志的装置的一个或多个实施例中，步骤S2根据日志解析参数对日志建立索引进一步包括：S21：根据服务名称确定对节点的索引；S22：根据日志信息的至少一个参数确定对节点上的日志的索引。

图2示出了根据本发明的集中管理大数据组件日志的系统100的实施例的示意图。如图2所示，上述系统100的实施例包括：前述集中管理大数据组件日志的装置10；部署有日志收集解析器20的若干节点，该日志收集解析器20配置为读取相应节点的日志、解析日志生成日志解析参数，并将该日志解析参数给集中管理大数据组件日志的装置10；和具有日志搜索用户界面30的客户端，该日志搜索用户界面30配置为接收用户查询日志的请求，接收并展示反馈的所述日志。在一些实施例中，上述集中管理大数据组件日志的装置10位于服务器中。前述服务名称(logId)属性则是应用户的请求在日志搜索用户界面30展示的相应节点的服务名称。

在本发明的集中管理大数据组件日志的系统100的一些实施例中，日志收集解析器20还配置为将各节点的日志解析参数以消息流的形式发送至分布式消息队列40，以供用户订阅分布式消息队列中的消息来分析日志。其中，日志收集解析器20充当消息源，分布式消息队列接收到日志收集解析器20根据消息队列配置文件发布的抽象成一个个消息流的日志解析参数，并且可以设置副本数提升高可用保证。消息队列配置文件中会配置日志要发布的消息队列目的地、消息队列服务器及端口等等。用户可以根据自身需求开发相应的实时日志分析系统，订阅分布式消息队列的消息，实时处理分析日志流。

本发明实施例公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

本文所述的计算机可读存储介质(例如存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

采用上述技术方案，本发明至少具有如下有益效果：通过本发明的技术方案，实现了代替传统的日志聚合方式，不再将收集到的日志集中存放在特定的存储位置，而是利用日志解析参数建立对本地日志的索引，不仅不再受到存储容量的限制，而且一定程度上减少了数据传输过程中耗费的时间，减小端到端的延时，同时也有效避免了日志文件在传输过程中可能发生的错误、丢失等问题，更提高了日志查询、搜索和管理的可靠性。此外，由于从各节点向服务器发送的不再是完整的日志文件，而是根据要求提取了所需信息的日志解析参数，一定程度上降低数据传输的带宽，并且经过解析的日志解析参数中已经包含了对应内容的标签，也降低对服务器内存及处理器的性能要求。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外实施例。此外，本文所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

在本申请中，反意连接词的使用旨在包括连接词。定或不定冠词的使用并不旨在指示基数。具体而言，对“该”对象或“一”和“一个”对象的引用旨在表示多个这样对象中可能的一个。然而，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。此外，可以使用连接词“或”来传达同时存在的特征，而不是互斥方案。换句话说，连接词“或”应理解为包括“和/或”。术语“包括”是包容性的并且具有与“包含”相同的范围。

上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅仅为了清楚理解本发明的原理而提出。在基本上不脱离本文描述的技术的精神和原理的情况下，可以对上述实施例做出许多变化和修改。所有修改旨在被包括在本公开的范围内。

Claims (10)

1.一种集中管理大数据组件日志的方法，其特征在于，所述方法包括通过服务器执行以下步骤：

接收在各节点对日志进行解析得到的日志解析参数；

根据所述日志解析参数对所述日志建立索引；

响应于接受到客户端发出的请求，通过所述索引提取相应节点上的所述日志并将所述日志反馈给所述客户端。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在所述各节点的元数据信息文件中添加所述节点的服务名称属性，使得所述日志的内容包括所述节点的服务名称。

3.根据权利要求2所述的方法，其特征在于，所述日志解析参数包括在所述各节点根据收集配置文件从所述日志中提取的指定内容及所述指定内容的标签，所述指定内容包括所述节点的所述服务名称和所述日志内容的至少一个参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述日志解析参数对所述日志建立索引进一步包括：

根据所述服务名称确定对所述节点的索引；

根据所述日志内容的至少一个参数确定对所述节点上的所述日志的索引。

5.一种集中管理大数据组件日志的装置，其特征在于，所述装置包括：

至少一个处理器；和

存储器，存储有处理器可运行的程序代码，所述程序代码在被处理器执行时实现以下步骤：

接收日志收集解析器在各节点对日志进行解析得到的日志解析参数；

根据所述日志解析参数对所述日志建立索引；

响应于接受到客户端发出的请求，通过所述索引提取相应节点上的所述日志并将所述日志反馈给所述客户端。

6.根据权利要求5所述的装置，其特征在于，所述程序代码在被处理器执行时进一步实现以下步骤：

在所述各节点的元数据信息文件中添加所述节点的服务名称属性，使得所述日志内容包括所述节点的服务名称。

7.根据权利要求6所述的装置，其特征在于，所述日志解析参数包括所述日志收集解析器在所述各节点根据收集配置文件从所述日志中提取的指定内容及所述指定内容的标签，所述指定内容包括所述节点的所述服务名称和所述日志内容的至少一个参数。

8.根据权利要求7所述的装置，其特征在于，所述根据所述日志解析参数对所述日志建立索引进一步包括：

根据所述服务名称确定对所述节点的索引；

根据所述日志内容的至少一个参数确定对所述节点上的所述日志的索引。

9.一种集中管理大数据组件日志的系统，其特征在于，所述系统包括：

根据权利要求5至8任一项所述的集中管理大数据组件日志的装置；

部署有日志收集解析器的若干节点，所述日志收集解析器配置为读取相应节点的日志、解析所述日志生成日志解析参数，并将所述日志解析参数发送给所述集中管理大数据组件日志的装置；和

具有日志搜索用户界面的客户端，所述日志搜索用户界面配置为接收用户查询日志的请求，接收并展示反馈的所述日志。

10.根据权利要求9所述的系统，其特征在于，所述日志收集解析器还配置为将所述各节点的所述日志解析参数以消息流的形式发送至分布式消息队列，以供用户订阅所述分布式消息队列中的消息来分析日志。