CN109542741A - 日志自动分组存储方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及日志处理技术领域，尤其涉及一种日志自动分组存储方法、装置、计算机设备和存储介质。该方法包括：采集外部系统发送的日志，对日志添加应用程序名称appname标识；将日志路由至appname标识所在的日志分组中；将路由至日志分组中的日志存储在索引集映射的存储路径中。本发明通过将采集的日志添加appname标识的方式区别各个日志源，根据appname标识字段如有到日志分组中的方式，将日志进行有效区分和分类，由于采集的日志均自动路由到指定日志分组中，为后续的日志管理和日志搜索带来了方便。

Description

日志自动分组存储方法、装置、计算机设备和存储介质

技术领域

本发明涉及日志处理技术领域，尤其涉及一种日志自动分组存储方法、装置、计算机设备和存储介质。

背景技术

日志用来记录计算机系统运行时产生的事件，通常分为应用日志、安全日志、系统日志等。日志记录着计算机系统内各类信息，拥有较高的数据价值。分析日志可以快速了解系统运作信息、安全情况以及用户行为等，因此，日志管理成为一项复杂而有价值的计算机技术。当前市面上的日志管理系统对日志的管理通常比较简单，仅仅依靠日志来源、日志类型或日志文件格式等来区分不同日志。由于日志管理系统采集不同系统的日志，上述区分方式，很难对不同来源的日志进行有效区分和分类，致使当日志管理系统采集不同系统内的日志时，由于没有对应的分类标准来区分日志，特别对于管理大量日志而言，造成日志管理混乱。

由于缺少对不同来源的日志进行分类，在用户搜索日志时，用户需要记住日志的来源或日志存储的索引名称，无疑提高了用户查询日志的难度，日志查询效率低。在对日志进行限定访问权限时，由于没有分类，日志管理系统需要分配多个索引权限。

综上述，现有的日志管理系统日志管理混乱、日志利用率低，通常无法实现快速定位、快速存储和快速搜索的要求。

发明内容

有鉴于此，有必要针对现有日志管理系统对日志管理混乱，无法实现快速定位、快速存储和快速搜索的问题，提供一种日志自动分组存储方法、装置、计算机设备和存储介质。

一种日志自动分组存储方法，包括：

采集外部系统发送的日志，对所述日志添加应用程序名称appname标识；

将所述日志路由至所述appname标识所在的日志分组中；

将所述日志存储在索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集。

在其中一个实施例中，所述采集外部系统发送的日志，对所述日志添加应用程序名称appname标识，包括：

在所述外部系统中预设用于采集日志的代理agent工具，接收所述agent工具发送的日志；

根据接收日志对应的所述外部系统的名称，对所述日志添加对应的所述appname标识。

在其中一个实施例中，所述将所述日志路由至所述appname标识所在的日志分组中前，包括：

获取创建日志分组的请求，向请求方返回日志分组输入界面；

通过所述日志分组输入界面获取日志分组信息，所述日志分组信息包括日志分组的名称、日志分组描述、appname字段和索引集，所述appname字段为至少一个；

将所述日志分组信息以日志分组表的形式进行存储。

在其中一个实施例中，所述将所述日志路由至所述appname标识所在的日志分组中，包括：

将所述日志的所述appname标识与所述日志分组表中的所述appname字段以字符串匹配方式进行匹配，当匹配到任一日志分组信息中含有所述appname标识时，定义为所述日志属于所述appname标识对应的日志分组中。

在其中一个实施例中，还包括：

通过所述日志分组输入界面还获取的日志分组信息包括字段提取器名称，还将所述字段提取器名称存储在与所述appname字段对应的所述日志分组表中；

在所述日志分组表中查找与所述appname标识匹配的所述appname字段，获取所述appname字段对应的字段提取器名称；

调用所述字段提取器名称对应的字段提取器，对所述日志进行解析，得到多个有效日志字段，将多个所述有效日志字段进行存储。

在其中一个实施例中，所述将路由至所述日志分组中的所述日志存储在索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集，包括：

在对日志进行存储时，采用预设的分布式搜索引擎elasticsearch工具，将所述日志通过索引集存储到所述elasticsearch工具中。

在其中一个实施例中，还包括：

获取用户发送的日志查询请求，根据用户权限提供日志查询界面，所述日志查询界面显示所述用户权限对应的日志分组的名称；

获取选中的所述日志分组的名称及查询字段，在所述日志分组的名称对应的多个日志中对所述查询字段进行搜索，返回查询结果。

一种日志自动分组存储装置，包括：

采集日志及添加标识模块，用于采集外部系统发送的日志，对所述日志添加应用程序名称appname标识；

日志分组模块，用于将所述日志路由至所述appname标识所在的日志分组中；

日志存储模块，用于将路由至所述日志分组中的所述日志存储在索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述日志自动分组存储方法的步骤。

一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述日志自动分组存储方法的步骤。

上述日志自动分组存储方法、装置、计算机设备和存储介质，包括采集外部系统发送的日志，对日志添加应用程序名称appname标识；将日志路由至appname标识所在的日志分组中；将路由至日志分组中的日志存储在索引集映射的存储路径中，每项日志分组均包含有appname标识对应的索引集。本发明通过将采集的日志添加appname标识的方式区别各个日志源，根据appname标识字段路由到日志分组中的方式，将日志进行有效区分和分类，日志的分类可以根据用户需求自定义。由于采集的日志均自动路由到指定日志分组中，为后续的日志管理和日志搜索带来了方便。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明一个实施例中的日志自动分组存储方法的流程图；

图2为一个实施例中一种日志分组输入界面的示意图；

图3为一个实施例中步骤S4的流程图；

图4为本发明一个实施例中日志自动分组存储装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

图1为本发明一个实施例中的日志自动分组存储方法的流程图，如图1所示，一种日志自动分组存储方法，包括以下步骤：

步骤S1，采集日志及添加标识：采集外部系统发送的日志，对日志添加应用程序名称appname标识。

日志主要包括系统日志、应用程序日志和安全日志，每条日志都记载着时间戳、主机名、使用者及操作行为等相关的描述，系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因等。经常分析日志可以了解服务器的负荷，性能安全性，及时分析问题、追查错误根源纠正错误。在大数据时代，日志数量巨大，种类多样化，日志的统计和检索的难度加大，一般使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。过去，日志被分散的储存各台服务器上，没有集中管理，难以做关联分析，甚至被删除。使用集中化的日志管理，将所有服务器上的日志收集汇总，即采用分布式日志管理系统对其他服务器上的日志进行收集和处理，则更能方便全面的分析日志。因此本步骤将多个外部系统产生的日志均采集到日志管理系统中，进行集中处理，便于工作人员查看分析各个系统产生的日志数据。

在一个实施例中，步骤S1，包括：在外部系统中预设用于采集日志的代理agent工具，接收agent工具发送的日志；根据接收日志对应的外部系统的名称，对日志添加对应的appname标识。

在IT领域，agent工具指能够自主活动的软件或者硬件实体，通常被定义为代理。本实施例中，agent工具可以采用filebeate工具或heka工具等，通过ilebeate工具或heka工具在外部系统中收集日志，并将日志发送到日志管理系统中，日志管理系统可方便的采集这些日志。其中，filebeate工具是一个开源的文件收集器，采用go语言开发，将filebeat工具安装在外部系统上作为代理来监听外部系统中的日志目录或特定的日志文件，可自动把日志文件发送到日志管理系统中。本实施例通过Filebeat采集器监听并采集子系统的日志文件，其占用资源更少，安装也更方便，可以通过包管理直接安装，适用于本发明采集各个外部系统中的日志。heka工具是一个高可扩展的数据收集和处理工具，它的可扩展性不仅仅是体现在程序本身可以进行插件开发、更可以方便的通过添加机器进行水平扩展。Heka工具是一个使用Go语言开发的工具，大量使用了Go的goroutine并发和channel通信。Heka工具自带的LogstreamerInput插件用来从外部系统中对日志实时读入数据，支持读取各种rotate规则的日志文件路径。因此在对应对多种形式日志进行读取时，可以采用Heka工具。

在对采集的日志添加appname标识时，主要根据外部系统的名称来命名，表明这种日志是由哪种系统产生的，标示了日志的来源。例如，采集的是qq日志，则对应的appname标识为qqname，采集的是微信日志，则对应的appname标识为WeChatname。

本实施例通过在外部系统中预设agent工具，实现了自动采集和发送日志的目的，日志管理系统通过agent工具自动接收外部系统发送的日志，在接收到日志后，还对日志根据外部系统的名称，添加appname标识，以便于后续对日志进行分组存储。

步骤S2，日志分组：将日志路由至appname标识所在的日志分组中。

本步骤在对日志进行日志分组时，是根据步骤S1中，对日志添加的appname标识来进行分组的。在一个实施例中，每项日志分组均包含有appname标识对应的appname字段、索引集，在将日志进行日志分组前，还包括：

获取创建日志分组的请求，向请求方返回日志分组输入界面；通过日志分组输入界面获取日志分组信息，日志分组信息包括日志分组的名称、日志分组描述、appname字段和索引集，appname字段为至少一个；将日志分组信息以日志分组表的形式进行存储。

日志管理系统在对日志进行分组前，预先确定好每组日志分组对应的日志分组的名称、日志分组描述、appname字段和索引集，确定的方式是用户预先通过日志分组输入界面对上述日志分组信息进行输入。如图2所示的一种日志分组输入界面，日志分组的名称表示该组日志的标题，用于后续搜索时，显示各个日志分组。日志分组描述表示该组日志的用途。appname字段用于区分不同来源的日志，且appname字段可以为多个，可以是与appname标识完全相同的内容，也可以是字符串或正则表达式，如log_*。索引集表示该日志分组最终存储的地方。日志管理系统从日志分组输入界面获取的日志分组信息在存储时，可以以表格的形式进行存储，如下表1所示：

表1

如上表1所示，同一组日志分组中的appname字段可以为一个，也可以为多个，多个appname字段之间采用逗号隔开。本实施例通过日志分组输入界面，用户可以根据需要自定义各种日志分组，特别是自定义某一日志分组中appname字段，以便于确定路由到该日志分组中的所以日志。

在一个实施例中，步骤S2，包括：将日志的appname标识与日志分组表中的appname字段以字符串匹配方式进行匹配，当匹配到任一日志分组信息中含有appname标识时，定义为日志属于appname标识对应的日志分组中。

在对日志进行日志分组时，采用在已创建的日志分组表中匹配与appname标识相同的appname字段。匹配时，可以采用字符串匹配方式，如采用正则表达式进行匹配。例如，某一外部系统下的个子系统对应的appname标识为log_001、log_102和log_103的日志，采用正则表达式log_*在表1中进行匹配，只要日志分组表中含有任一的log_为开头的appname字段，则定义为该日志属于日志分组的名称为security的日志分组中，经过匹配后，appname标识为log_001、log_102和log_103的日志全部路由至日志分组的名称为security的日志分组中。

本实施例通过以字符串匹配的方式，对日志的appname标识与appname字段进行模糊匹配，实现同一个系统下的子系统可以一起路由至同一日志分组中。

步骤S3，日志存储：将路由至日志分组中的日志存储在索引集映射的存储路径中，每项日志分组均包含有appname标识对应的索引集。

由于索引集用于表示日志分组最终存储的地方，因此本步骤通过索引集的映射关系，获取日志分组的存储路径，将属于同一日志分组中的所有日志都存储在同一存储路径中。

在一个实施例中，在对日志进行存储时，采用预设的分布式搜索引擎elasticsearch工具，将日志通过索引集存储到elasticsearch工具中。

elasticsearch工具是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，本发明将经过日志分组的日志存储在elasticsearch工具中后，作为日志搜索使用的源文件，为用户搜索查看提供有价值的日志数据。本发明在为用户提供搜索功能时，采用如下方式：

获取用户发送的日志查询请求，根据用户权限提供日志查询界面，日志查询界面显示用户权限对应的日志分组的名称；获取选中的日志分组的名称及查询字段，在日志分组的名称对应的多个日志中对查询字段进行搜索，返回查询结果。

由于本发明的日志进行日志分组，因此可以给用户预先分配搜索权限，即授权用户可以搜索哪几组日志分组，实现权限的控制。日志管理系统根据用户股权限，返回对应的授权的几组日志分组的名称，供用户搜索。用户只能对某一日志分组内的日志进行搜索，如果对多个日志分组进行搜索，则需要搜索多次。在对查询字段进行搜索时，当日志存储在elasticsearch工具中时，本实施例可以通过数据库搜索spl查询语言在日志分组所在的索引集中进行日志搜索，在进行搜索过程中，可以根据查询字段内容，进行关键信息搜索或全文搜索等方式。搜索完成后，可以直接将搜索到的日志反馈给用户，也可以对搜索结果进行统计后，通过图表、曲线图、饼图或直方图的形式返回查询结果。

本实施例通过elasticsearch工具对日志分组后的日志进行存储，不仅存储简单方便，还为后续搜索提供多元素的搜索功能。

在一个实施例中，参照图3，还包括步骤S4，对日志通过字段提取器进行解析的过程，包括如下步骤：

步骤S401，获取字段提取器名称：通过日志分组输入界面还获取的日志分组信息包括字段提取器名称，还将字段提取器名称存储在与appname字段对应的日志分组表中。

由于日志在分组时，往往会将同一类的日志路由到同一组日志分组中，多个日志采用的日志类型相同，因此可以将同一组日志分组中的日志配备同一个字段提取器，用于解析日志中用户所需关键字段。在配置字段提取器名称时，可以与创建日志分组时同时创建，如表1所示，为每个日子分组均配置了一项字段提取器名称。

步骤S402，匹配字段提取器：在日志分组表中查找与appname标识匹配的appname字段，获取appname字段对应的字段提取器名称。

日志管理系统在每次采集日志，且对日志进行日志分组后，还可以对采集的日志进行深度处理，如通过字段提取器解析关键字段等工作。而采用何种字段提取器来匹配对应日志，则需要根据日志的appname标识，在存储的日志分组表中查找对应的字段提取器名称。例如，appname标识为log_001的日志，其对应的字段提取器名称为提取器2。

步骤S403，解析字段并存储：调用字段提取器名称对应的字段提取器，对日志进行解析，得到多个有效日志字段，将多个有效日志字段进行存储。

字段提取器包括Json提取器，Json提取器提取Json类型的日志文件，Json提取器预设有key分隔符、kv分隔符，通过Json提取器对日志文件中的字段进行解析，得到多个有效日志字段。字段提取器还包括gork提取器，gork提取器通过正则表达式提取非结构化类型的日志文件，gork提取器预设有多个gork正则表达式，通过gork正则表达式对日志文件中的字段进行解析，得到多个有效日志字段。具体字段提取器中的提取信息，可以根据用户需求进行预设。

本实施例不仅可以以日志分组的方式存储多个采集的日志，还可以根据采集的日志的日志类型不同，采用Json提取器或gork提取器能满足结构化日志类型和非结构化日志类型的解析，且能解析出较为精确且完整的有效日志字段，为用户分析日志提供有效日志数据。

本发明日志自动分组存储方法，通过对采集的日志添加appname标识来确定日志的具体来源，通过创建日志分组，用户可自定义哪些日志路由到日志分组中。本发明还为每组日志分组均对应一项索引集，将同一组的日志存储在一起，供日志的搜索提供搜索的索引。本发明在搜索时，采用以日志分组为最小单位进行搜索，实现快速而又系统地操作日志。在日志分组基础上又可以实现日志的权限控制，日志管理系统可以授权哪几个日志分组的权限决定对日志的可见范围。除此之外，还以日志分组为单位设置字段提取器，提取出用户需要的有效日志字段，供用户分析日志。

在一个实施例中，提出了一种日志自动分组存储装置，如图4所示，包括如下模块：

采集日志及添加标识模块，用于采集外部系统发送的日志，对所述日志添加应用程序名称appname标识；

日志分组模块，用于将所述日志路由至所述appname标识所在的日志分组中；

日志存储模块，用于将路由至所述日志分组中的所述日志存储在所述索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例的日志自动分组存储方法中的步骤。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例的日志自动分组存储方法中的步骤。其中，存储介质可以为非易失性存储介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志自动分组存储方法，其特征在于，包括：

采集外部系统发送的日志，对所述日志添加应用程序名称appname标识；

将所述日志路由至所述appname标识所在的日志分组中；

将路由至所述日志分组中的所述日志存储在索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集。

2.根据权利要求1所述的日志自动分组存储方法，其特征在于，所述采集外部系统发送的日志，对所述日志添加应用程序名称appname标识，包括：

在所述外部系统中预设用于采集日志的代理agent工具，接收所述agent工具发送的日志；

根据接收日志对应的所述外部系统的名称，对所述日志添加对应的所述appname标识。

3.根据权利要求1所述的日志自动分组存储方法，其特征在于，所述将所述日志路由至所述appname标识所在的日志分组中前，包括：

获取创建日志分组的请求，向请求方返回日志分组输入界面；

通过所述日志分组输入界面获取日志分组信息，所述日志分组信息包括日志分组的名称、日志分组描述、appname字段和索引集，所述appname字段为至少一个；

将所述日志分组信息以日志分组表的形式进行存储。

4.根据权利要求3所述的日志自动分组存储方法，其特征在于，所述将所述日志路由至所述appname标识所在的日志分组中，包括：

将所述日志的所述appname标识与所述日志分组表中的所述appname字段以字符串匹配方式进行匹配，当匹配到任一日志分组信息中含有所述appname标识时，定义为所述日志属于所述appname标识对应的日志分组中。

5.根据权利要求3所述的日志自动分组存储方法，其特征在于，还包括：

通过所述日志分组输入界面还获取的日志分组信息包括字段提取器名称，还将所述字段提取器名称存储在与所述appname字段对应的所述日志分组表中；

在所述日志分组表中查找与所述appname标识匹配的所述appname字段，获取所述appname字段对应的字段提取器名称；

调用所述字段提取器名称对应的字段提取器，对所述日志进行解析，得到多个有效日志字段，将多个所述有效日志字段进行存储。

6.根据权利要求1所述的日志自动分组存储方法，其特征在于，所述将路由至所述日志分组中的所述日志存储在索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集，包括：

在对日志进行存储时，采用预设的分布式搜索引擎elasticsearch工具，将所述日志通过索引集存储到所述elasticsearch工具中。

7.根据权利要求1所述的日志自动分组存储方法，其特征在于，还包括：

获取用户发送的日志查询请求，根据用户权限提供日志查询界面，所述日志查询界面显示所述用户权限对应的日志分组的名称；

获取选中的所述日志分组的名称及查询字段，在所述日志分组的名称对应的多个日志中对所述查询字段进行搜索，返回查询结果。

8.一种日志自动分组存储装置，其特征在于，包括：

采集日志及添加标识模块，用于采集外部系统发送的日志，对所述日志添加应用程序名称appname标识；

日志分组模块，用于将所述日志路由至所述appname标识所在的日志分组中；

日志存储模块，用于将路由至所述日志分组中的所述日志存储在索引集映射的存储路径中，每项所述日志分组均包含有所述appname标识对应的所述索引集。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述日志自动分组存储方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述日志自动分组存储方法的步骤。