CN114237927A - 运行日志管理方法和系统 - Google Patents

Abstract

本发明提供一种运行日志管理方法和系统，方法包括：从客户端的日志采集器上获取应用程序的运行日志数据，并将运行日志数据存储到数据湖队列中进行缓存；采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。本发明采用数据湖队列进行中间转储，充分利用了队列的特点进行削峰填谷，降低了数据处理的压力。

Description

运行日志管理方法和系统

技术领域

本说明书一个或多个实施例涉及日志管理技术领域，尤其涉及一种运行日志管理方法和系统。

背景技术

应用程序在运行过程中会生成大量的运行日志，而运行日志对于应用程序的异常分析、预警提醒等具有重要的作用，因此需要提供一种对应用程序的运行日志进行管理的方案。

发明内容

本说明书一个或多个实施例描述了一种运行日志管理方法和系统。

第一方面提供了一种运行日志管理方法，包括：

从客户端的日志采集器上获取应用程序的运行日志数据，并将运行日志数据存储到数据湖队列中进行缓存；

采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；

在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。

第二方面提供了一种运行日志管理系统，包括：

接入管理模块，用于从客户端的日志采集器上获取应用程序的运行日志数据；

缓存管理模块，用于将运行日志数据存储到数据湖队列中进行缓存；

数据处理模块，用于采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；

查询分析模块，用于在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。

本说明书实施例提供的运行日志管理方法和系统，从客户端的日志采集器上获取应用程序的运行日志数据，将运行日志数据存储到数据湖队列中进行缓存，然后采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，将预设处理后的运行日志数据存储到存储装置的对应存储位置中。当接收到客户端发送来的个性化日志查询请求时，根据查询条件在所述存储装置中搜索对应的运行日志数据，将搜索到的运行日志数据发送至所述客户端进行展示。由于采用数据湖队列进行中间转储，而非直接进行数据处理和存储在存储装置中，这样可以避免在客户端产生大量日志数据的情况发生处理不及时的情况发生，充分利用了队列的特点进行削峰填谷，降低了数据处理的压力。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书一个实施例中运行日志管理方法的流程示意图；

图2是本说明书一个实施例中运行日志管理系统的整体流程图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

第一方面，本发明提供一种运行日志管理方法，如图1和2所示，该方法包括如下步骤：

S110、从客户端的日志采集器上获取应用程序的运行日志数据，并将运行日志数据存储到数据湖队列中进行缓存；

可理解的是，本发明提供的方法是由服务端执行，具体由服务端上的日志管理系统执行，日志采集器是部署在客户端上的，日志采集器的作用是在应用程序的运行过程中采集应用程序的运行日志数据，因此服务端从客户端上部署的日志采集器中可以获取到运行日志数据。

其中，数据湖队列是以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。数据湖可以存储结构化数据(如关系型数据库中的表)、半结构化数据(如CSV、日志、XML、JSON)、非结构化数据(如电子邮件、文档、PDF)、二进制数据(如图形、音频、视频)等。

也就是说，在将运行日志数据存储至数据湖队列中时，不对数据进行解析和处理，可以及时地将应用程序在运行过程中生成的日志存储下来。

实际中，将运行日志数据缓存至数据湖队列中这一步骤可以由缓存管理模块实现，缓存管理模块可以实现对缓存数据的清理规则、清理周期进行管理，例如，当数据存储至数据湖队列之后，等待订阅程序处理，即订阅程序将运行日志数据发送至对应用户的客户端进行展示，之后根据数据清理规则对数据进行处理。缓存管理模块也可以对数据湖队列的存储状态进行记录，这样服务端就可以支持用户对数据湖的存储状态的查询服务。缓存管理模块也可以对数据湖队列进行扩容或缩容的伸缩阈值进行设置，设置好伸缩阈值之后，当数据湖队列达到伸缩阈值后就会进行扩容或缩容。对用户自定义的缓存扩展进行处理等。

实际中，S110可以由服务端的日志管理系统中的接入管理模块实现，该模块支持密钥数据的认证、对数据不做解析和处理就直接缓存至数据湖队列中。

在具体实施时，本发明提供的方法在S110之前，还可以包括：

S100、在接收到客户端的日志采集器安装请求时，将所述日志采集器的安装包发送至所述客户端，针对所述客户端和用户的身份信息生成对应的密钥，并将所述密钥发送至所述客户端，以使所述客户端安装所述日志采集器，所述密钥用于在所述客户端和服务端进行信息交互时对用户的身份进行验证。

也就是说，最开始客户端向服务端发送日志采集器安装请求，当服务端接收到这一请求后，会将对应的安装包下发至客户端，当客户端接收到安装包后会进入安装流程，即对日志采集器进行部署。日志采集器的部署可以由用户自己手动部署，也可以由系统自动部署。

当然，服务端还会向客户端发送密钥，以便客户端和服务端在后续的交互中进行身份验证。其中，密钥与应用程序和用户是相对应的，即相同的应用程序和相同的用户才会对应同一个密钥，从而实现唯一性，而即便同一用户而应用程序不同也会对应不同的密钥。也就是说，针对同一个应用程序，密钥和用户的身份信息是对应的，两者绑定，从而实现身份验证。例如，在接收到客户端的各种请求时会进行身份验证，在接收到客户端的各种指令时也会进行身份验证。

实际中，在服务端的日志管理系统中包括密钥管理模块，该模块可以支持用户管理、用户权限管理、应用程序的管理、日志采集器的生成等功能。其中，用户管理可以包括对系统人员的管理；对用户权限的管理包括对用户的权限角色的管理；对应用程序的管理包括对新建用户接入密钥；采集器的生成包括将采集器的安装包发送至客户端，支持用户手动部署或系统自动部署。

S120、采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；

可理解的是，数据湖队列具有先进先出的特点，也就是说，在对数据湖队列中的数据进行预设处理时会按照进入数据湖队列的顺序进行预设处理。本发明没有对从客户端获取的运行日志数据直接进行预设处理后存储到存储装置，而是先经过数据湖队列进行转储，可以避免在客户端产生大量日志数据的情况发生处理不及时的情况发生，充分利用了队列的特点进行削峰填谷，降低了数据处理的压力。

在具体实施时，S120中所述采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，可以包括：从多个预设维度对所述运行日志数据进行分类处理，得到多个类别的日志数据，对每一个类别的日志数据进行特征提取，并将提取的特征信息作为对应类别的日志数据的索引信息。

其中，多个预设维度可以包括应用程序、日志数据的类别、日志格式等多个维度。通过这些维度对运行日志数据进行分类，可以得到不同类别的运行日志数据，便于后续的查找和汇总等操作。进一步为了更加方便数据查找和汇总，还对分类后的运行日志数据进行特征提取，例如提取运行日志数据中的关键字、特定字段等作为索引。

可理解的是，在分类和提取索引信息之后，不同类别的运行日志数据可以存储到不同的存储位置上，例如，不同的资源路径上，即分区存储。

实际中，采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理这一步骤可以由数据处理模块实现，服务端的日志管理系统可以对数据处理模块进行管理，例如，数据处理模块的新增、发布、更新和下线。其中，日志管理系统在数据处理规则增加时增加数据处理模块，将数据处理模块进行发布，在数据处理规则变化时对数据处理规则的处理逻辑进行更新，在数据处理模块达到生命周期时进行废弃处理。

实际中，针对存储装置，可以定义运行日志查询和日志存储的标准接口，，同时支持日志存储接口的扩展和开发。当然，在存储装置的某个存储位置已经存满之后支持将该位置上的所有数据或部分数据迁移至另一存储位置的功能。

S130、在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。

可理解的是，用户在客户端上可以提出查找日志数据，例如查看某一个应用程序在某个时间段的运行日志数据，当服务端接收到这一请求时就会搜索这个应用程序在这个时间段内的运行日志数据，进而将搜索到的运行日志数据发送给客户端进行展示。其中，在客户端上可以提供查询条件的配置界面，用户在该配置界面上对查询条件进行设置，服务端就会根据设置的查询条件进行数据搜索。

在具体实施时，本发明提供的方法还包括如下步骤：

S140、在接收到所述客户端发送来的汇总数据查询请求时，根据所述汇总数据查询请求中的汇总要求对所述存储装置中的运行日志数据进行汇总处理，并将得到的汇总数据发送至所述客户端进行展示。

可见，用户不仅可以通过查询日志数据，还可以查询汇总数据，例如，一个用户想要查询一个应用程序在某一个时间段内产生的运行日志数据的条数，如果这个时间段内的运行日志条数过多，说明应用程序可能存在运行异常，进而对应用程序的运行情况进行判断。客户端上也可以提供汇总要求的配置界面，用户在该配置界面上对汇总要求进行设置，服务端就会根据这一汇总要求进行汇总处理，进而将汇总数据发送给客户端进行展示。

在实际中，上述运行日志数据的查询和汇总数据的查询均可以由服务端的日志管理系统中的查询分析模块实现，该模块可以根据查询条件或汇总要求进行数据搜索，在进行运行日志数据查询时可以基于多个维度进行查询，例如，基于密钥、应用程序、数据类型、时间等维度进行搜索。在进行汇总数据查询时，也可以基于多个维度进行数据进行汇总，例如，密钥、应用程序、数据类型、时间等维度进行汇总，得到用户所需要的汇总数据报表。当然，该模块还会提供日志统计接口功能，从而支持外围应用对日志数据的统计分析的需求。

在具体实施时，本发明提供的方法还可以包括如下步骤：

S150、接收客户端发送来的自定义预警分析规则；

其中，所述客户端提供规则定义界面，并响应于用户在所述规则定义界面上配置的预警分析规则发送至服务端；所述规则定义界面上提供了日志数据的生成时间、相同日志数据的出现频率、日志数据中的关键特征和/或日志数据的条数的自定义选项；

可理解的是，客户端可以提供规则定义界面，用户在该规则定义界面上对预警分析规则进行自定义设置，在发生什么情况时可以认定为需要进行预警提醒，例如，在应用程序未运行时段内却产生了运行日志数据，此时可以认定为应用程序发生了需要预警的行为，因此可以对日志数据的生成时间进行设置。再例如，如果在某个应用程序的运行日志数据中频繁出现某一条日志数据，也就是说，应用程序频繁的进行某一操作，此时也可以认为应用程序出现了需要预警的行为，因此可以对某条运行日志的出现频率进行设置。再例如，当运行日志数据中出现了某个关键信息时认为应用程序出现了需要预警的行为，因此可以对日志数据中的关键特征进行设置，当然还可以包含其它很多的自定义选项。用户在界面上设置了预警分析规则，客户端会将这些预警分析规则发送给服务端。

S160、按照所述自定义预警分析规则对所述数据湖队列中的运行日志数据进行预警分析，得到预警分析结果，若所述预警分析结果中包含预警信息，则将所述预警信息推送至客户端进行展示。

当服务端在接收到客户端发送来的自定义预警分析规则后，会按照这一规则对运行日志数据进行预警分析，得到预警分析结果，如果预警分析结果中包含预警信息，则说明应用程序发生了异常，因此将预警信息推送给客户端，以提醒用户。

其中，除了将预警信息推送至客户端进行展示之外，还可以有其它的推送方式，例如，通过短信将预警信息推送给与客户端账号绑定的用户移动终端，再例如，通过邮件将预警信息推送给与客户端账号绑定的用户邮箱。

在实际中，进行预警分析可以由服务端上的日志管理系统中的预警分析模块实现，由于预警分析规则有多种，因此可以设置多个对应的预警分析模块，日志管理系统在利用预警分析模块进行预警分析的同时，还会对预警分析模块进行管理，例如，根据用户自定义的预警分析规则新增预警分析模块，发布新增的预警分析模块，在预警分析模块对应的预警分析规则发生变化时对预警分析模块的分析逻辑进行更新。而且，预警分析模块具有一定的生命周期，在达到生命周期时对预警分析模块进行废弃处理等。

在实际中，预警信息的推送可以有日志管理系统中的预警消息推送模块实现，该模块可以在预警分析模块分析出预警信息后，将预警信息推送至客户端。

在具体实施时，本发明提供的方法还可以包括如下步骤：

S170、保存所述服务端向所述客户端推送所述预警信息对应的推送记录；在接收到所述客户端发送来的历史推送记录查看请求时，将所述推送记录发送至所述客户端。

也就是说，当服务端向客户端推送预警信息时，服务端还会保存对应的推送记录。用户想要查看推送记录时可以在客户端上提出历史推送记录查看请求时，当服务端接收到这一请求时会将对应的推送记录发送至客户端进行展示。

也就是说，预警消息推送模块不仅可以实现预警消息的推送，还可以对历史的推送记录进行管理，对推送通道、推送的用户、推送规则等进行管理。

可见，本发明提供的方法涉及到服务端的日志管理系统中的多个模块，例如，系统管理模块、接入管理模块、密钥管理模块、数据处理模块、查询分析模块、预警分析模块、预警消息推送模块等多个模块，可以实现基于数据湖机制的SaaS化客户监控预警系统，属于云计算的一种服务模式，是云计算在日志管理领域的应用，相对于现有技术中的监控系统，本发明具有部署简单、提供个性化查询、个性化预警的个性化需求。

可理解的是，由于日志采集器一旦安装可以一直使用其获取运行日志数据，因此在除了第一次使用之外具有可以快速接入运行日志数据的优点，同时针对即便同一个用户针对不同的应用程序也会分配不同的密钥，可以实现密钥的唯一性，保证交互的安全性；同时本发明提供的方法支持自定义的日志数据查询、自定义的汇总数据报表的查询等。

而且，从技术上看，SaaS应用部署简单，集中统一管理。对用户来说，不需要购买硬件等基础设施资源，也不需要专业的技术和运维人员，只需要注册账号按需付费使用。服务端设计采用B/S架构的服务，只要在公有云或者私有云部署服务，随时随地都可以访问使用SaaS服务商提供的服务。

本发明提供的运行日志管理方法，从客户端的日志采集器上获取应用程序的运行日志数据，将运行日志数据存储到数据湖队列中进行缓存，然后采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，将预设处理后的运行日志数据存储到存储装置的对应存储位置中。当接收到客户端发送来的个性化日志查询请求时，根据查询条件在所述存储装置中搜索对应的运行日志数据，将搜索到的运行日志数据发送至所述客户端进行展示。由于采用数据湖队列进行中间转储，而非直接进行数据处理和存储在存储装置中，这样可以避免在客户端产生大量日志数据的情况发生处理不及时的情况发生，充分利用了队列的特点进行削峰填谷，降低了数据处理的压力。

进一步的，即便在日志生成的高峰期也能实现对所有采集的运行日志数据进行有条不紊的处理，避免因处理能力不足而不能接入日志采集器所采集的所有数据，因此可以提高日志数据的接入量，提高数据处理效率。

第二方面，本发明提供一种运行日志管理系统，包括：

接入管理模块，用于从客户端的日志采集器上获取应用程序的运行日志数据；

缓存管理模块，用于将运行日志数据存储到数据湖队列中进行缓存；

数据处理模块，用于采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；

查询分析模块，用于在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。

在一些实施例中，所述查询分析模块还用于：在接收到所述客户端发送来的汇总数据查询请求时，根据所述汇总数据查询请求中的汇总要求对所述存储装置中的运行日志数据进行汇总处理，并将得到的汇总数据发送至所述客户端进行展示。

在一些实施例中，所述数据处理模块具体用于：从多个预设维度对所述运行日志数据进行分类处理，得到多个类别的日志数据，对每一个类别的日志数据进行特征提取，并将提取的特征信息作为对应类别的日志数据的索引信息。

在一些实施例中，系统还包括：

密钥管理模块，用于在所述接入管理模块从客户端的日志采集器上获取应用程序的运行日志数据之前，在接收到客户端的日志采集器安装请求时，将所述日志采集器的安装包发送至所述客户端，针对所述客户端和用户的身份信息生成对应的密钥，并将所述密钥发送至所述客户端，以使所述客户端安装所述日志采集器，所述密钥用于在所述客户端和服务端进行信息交互时对用户的身份进行验证。

可理解的是，本发明实施例提供的系统，有关内容的解释、举例、有益效果等部分可以参考上述方法中的相应部分，此处不再赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种运行日志管理方法，其特征在于，包括：

从客户端的日志采集器上获取应用程序的运行日志数据，并将运行日志数据存储到数据湖队列中进行缓存；

采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；

在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。

2.根据权利要求1所述的方法，其特征在于，还包括：

在接收到所述客户端发送来的汇总数据查询请求时，根据所述汇总数据查询请求中的汇总要求对所述存储装置中的运行日志数据进行汇总处理，并将得到的汇总数据发送至所述客户端进行展示。

3.根据权利要求1所述的方法，其特征在于，所述采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，包括：

从多个预设维度对所述运行日志数据进行分类处理，得到多个类别的日志数据，对每一个类别的日志数据进行特征提取，并将提取的特征信息作为对应类别的日志数据的索引信息。

4.根据权利要求1所述的方法，其特征在于，所述从客户端的日志采集器上获取应用程序的运行日志数据之前，还包括：

在接收到客户端的日志采集器安装请求时，将所述日志采集器的安装包发送至所述客户端，针对所述客户端和用户的身份信息生成对应的密钥，并将所述密钥发送至所述客户端，以使所述客户端安装所述日志采集器，所述密钥用于在所述客户端和服务端进行信息交互时对用户的身份进行验证。

5.根据权利要求1所述的方法，其特征在于，还包括：

接收客户端发送来的自定义预警分析规则；所述客户端提供规则定义界面，并响应于用户在所述规则定义界面上配置的预警分析规则发送至服务端；所述规则定义界面上提供了日志数据的生成时间、相同日志数据的出现频率、日志数据中的关键特征和/或日志数据的条数的自定义选项；

按照所述自定义预警分析规则对所述数据湖队列中的运行日志数据进行预警分析，得到预警分析结果，若所述预警分析结果中包含预警信息，则将所述预警信息推送至所述客户端。

6.根据权利要求5所述的方法，其特征在于，还包括：

保存所述服务端向所述客户端推送所述预警信息对应的推送记录；

在接收到所述客户端发送来的历史推送记录查看请求时，将所述推送记录发送至所述客户端。

7.一种运行日志管理系统，其特征在于，包括：

接入管理模块，用于从客户端的日志采集器上获取应用程序的运行日志数据；

缓存管理模块，用于将运行日志数据存储到数据湖队列中进行缓存；

数据处理模块，用于采用预设处理规则对所述数据湖队列中的运行日志数据进行预设处理，并将预设处理后的运行日志数据存储到存储装置的对应存储位置中；

查询分析模块，用于在接收到客户端发送来的个性化日志查询请求时，根据所述个性化日志查询请求中的查询条件在所述存储装置中搜索对应的运行日志数据，并将搜索到的运行日志数据发送至所述客户端进行展示。

8.根据权利要求7所述的系统，其特征在于，

所述查询分析模块还用于：在接收到所述客户端发送来的汇总数据查询请求时，根据所述汇总数据查询请求中的汇总要求对所述存储装置中的运行日志数据进行汇总处理，并将得到的汇总数据发送至所述客户端进行展示。

9.根据权利要求7所述的系统，其特征在于，

所述数据处理模块具体用于：从多个预设维度对所述运行日志数据进行分类处理，得到多个类别的日志数据，对每一个类别的日志数据进行特征提取，并将提取的特征信息作为对应类别的日志数据的索引信息。

10.根据权利要求7所述的系统，其特征在于，还包括：

密钥管理模块，用于在所述接入管理模块从客户端的日志采集器上获取应用程序的运行日志数据之前，在接收到客户端的日志采集器安装请求时，将所述日志采集器的安装包发送至所述客户端，针对所述客户端和用户的身份信息生成对应的密钥，并将所述密钥发送至所述客户端，以使所述客户端安装所述日志采集器，所述密钥用于在所述客户端和服务端进行信息交互时对用户的身份进行验证。

Images