CN114996211A - 一种日志管理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种日志管理方法、装置、电子设备及存储介质。该方法包括：根据日志类型将产品日志划分到多个索引，在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息，将聚合信息存入存储数据区域。本发明实施例，通过按照产品的日志类型将产品日志划分到多个索引，使得索引类别明确，易于管理；通过在不同的索引下，按照预设聚合条件将索引存储区域中的信息构成聚合信息，并将该聚合信息存入存储数据区域中，解决了空间占用的服务质量控制的需求问题，减少了索引存储区域本身的全索引聚合操作，提升了索引存储区域中占用空间的集群性能和稳定性。

Description

一种日志管理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志管理方法、装置、电子设备及存储介质。

背景技术

Elasticsearch(简称ES)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎云平台的产品，使用ES可以为用户提供日志存储服务，记录亿级条数的日志量。

日志服务需要做存储质量控制，约束用户的使用空间，日志体量不能无限制增长，日志存储空间使用大小的查询不能影响索引存储区域中占用空间的集群性能和稳定性。现有技术中，日志存储管理方法主要有两类，一种是按用户维度创建索引，每个索引仅归属一个用户使用。如此，直接查询索引信息就能知道空间占用情况，然后通过delete_by_query去删除老旧日志。然而，此种做法的索引数量多，容易导致ES集群吃掉大量内存，极易引起索引存储区域中占用空间的集群性能和稳定性不达标，且产品侧会有多种不同类型的日志格式，倘若使用一个索引存放不同类型的日志文档，就会增加管理复杂度，冗余程度也变高；倘若使用多个索引(如user1-ips，user1-policy)，则使得索引存储区域中占用空间的集群性能和稳定性问题更加严重，效率极其低下。另一种是按照时间维度创建索引，索引中的文档属性通过增加字段来标识用户身份，这种做法虽然解决删除效率问题，但是无法解决空间占用的服务质量控制的需求。

公开内容

有鉴于此，本发明提供一种日志管理方法、装置、电子设备及存储介质，能够解决空间占用的服务质量控制的需求问题，提升索引存储区域中占用空间的集群性能和稳定性，减少索引存储区域本身的全索引聚合操作。

根据本发明的一方面，本发明实施例提供了一种日志管理方法，该方法包括：

根据日志类型将产品日志划分到多个索引；

在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息；

将所述聚合信息存入存储数据区域。

根据本发明的另一方面，本发明实施例还提供了一种日志管理装置，该装置包括：

索引划分模块，用于根据日志类型将产品日志划分到多个索引；

信息组成模块，用于在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息；

信息存储模块，用于将所述聚合信息存入存储数据区域。

根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的日志管理方法。

根据本发明的另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的日志管理方法。

本发明实施例的技术方案，通过依据产品的日志类型将产品日志划分到多个索引，在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息，并将聚合信息存入存储数据区域。本发明实施例，通过按照产品的日志类型将产品日志划分到多个索引，实现了索引类别明确，易于管理；通过在不同的索引下，按照预设聚合条件将索引存储区域中的信息组成聚合信息，并将该聚合信息存入存储数据区域中，解决了空间占用的服务质量控制的需求问题，减少索引存储区域本身的全索引聚合操作，提升索引存储区域中占用空间的集群性能和稳定性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种日志管理方法的流程图；

图2为本发明实施例二提供的一种日志管理方法的流程图；

图3为本发明实施例三提供的一种日志管理方法的流程图；

图4为本发明实施例三提供的一种按时间单元聚合的采集方法的流程图；

图5为本发明实施例三提供的一种清理历史数据方法的流程图；

图6是本发明实施例四提供的一种日志管理装置的结构框图；

图7是本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

在一实施例中，图1为本发明实施例一提供的一种日志管理方法的流程图，本实施例可适用于对日志的存储方法、存储空间以及时间管理时的情况，该方法可以由日志管理装置来执行，该日志管理装置可以采用硬件和/或软件的形式实现，该日志管理装置可配置于电子设备中。如图1所示，该方法包括：

S110、根据日志类型将产品日志划分到多个索引。

其中，日志类型可以理解为产品侧的相关日志类型。当然，产品侧的日志类型可以为多种，日志类型可以为通用查询日志，也可以为慢查询日志，还可以为中继日志，本实施例在此不做限制。产品日志可以理解为各种各样的产品的日志，例如可以是安全产品、潜在产品以及新型产品等等。

在本实施例中，Elasticsearch指的是分布式文档存储。索引可以看作是文档的优化集合，每个文档可以是字段的集合，字段可以是包含数据的键值对。Elasticsearch索引每个字段中的所有数据，每个被索引的字段都有一个专门的、优化的数据结构。

在本实施例中，可以依据产品侧的日志类型将各种各样的产品的日志，例如可以是安全产品，划分到多个索引。示例性的，产品侧的产品为安全产品时，依据安全产品的日志类型，可以将安全产品划分为ips，policy，traffic，av，ddos等索引。需要说明的是，产品侧索引的划分与相关产品业务以及相关数据库中表结构相关，不同的产品业务，相应的数据库表结构也是不同的。

需要说明的是，各索引均有相应的文档属性，各索引的文档属性包含有多个字段，不同的字段可以映射为不同的维度。各索引的文档属性所包含的字段可以为时间维度的字段、空间维度的字段以及用户维度的字段。当然，除了上述字段以外，还可以根据相应的需求，以定制需要的字段，例如可以是日志版本、日志可用区等等。

S120、在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息。

其中，预设聚合条件可以理解为预先设置的相关日志文档信息聚合条件。索引存储区域可以理解为索引集群存储以及管理区域，例如可以是ES索引集群管理及存储区域，需要说明的是，ES可以通过分片的设计把索引的数据内容分布式存放到集群里面的硬盘上。聚合信息可以理解为依据预先设置的数据信息聚合条件，对索引集群存储以及管理区域中数据信息进行相应的聚合，所得到的信息。当然，聚合信息可以包括相关日志文档的使用空间信息、日志的总条数等等。

在本实施例中，预设聚合条件可以为各索引的文档属性中的时间维度，设定用户的存储大小聚合时间单元，例如可以是天、小时等；也可以为各索引的文档属性中的空间维度，用以得到聚合信息的空间大小；也可以为各索引的文档属性中的用户身份；还可以为将各索引的文档属性中的时间维度、空间维度以及用户维度相结合的形式作为预先设置的数据信息聚合条件，本实施例在此不做限制。

在本实施例中，在各索引下，依据预先设置的相关日志文档信息聚合条件，可以将索引集群存储以及管理区域中的相关日志文档信息进行相应的聚合，以得到聚合信息。具体的，可以通过索引集群存储以及管理区域中的相关索引的文档属性中，查找存储时间最早的相关日志文档，并在存储数据区域中查找存储最近的相关数据信息，以根据存储时间最早的相关日志文档以及存储最近的相关数据信息，确定需要聚合的相关信息，在此基础上依据预先设置的相关日志文档信息聚合条件对需要聚合的相关信息进行相应的聚合以得到聚合信息。

S130、将聚合信息存入存储数据区域。

其中，存储数据区域可以理解为聚合信息的存储区域，例如可以是关系型数据库，也可以为非关系型数据库，本实施例在此不做限制。其中，非关系型数据库可以为键值存储数据库、列存储数据库等等。

在本实施例中，依据预先设置的相关日志文档信息聚合条件所得到的的聚合信息，需要存入存储数据区域中。需要说明的是，存储数据区域中可以包含有索引表、服务质量控制表以及相关字段表，例如可以是整体占空间大小表、日志存储期限表、统计存储单元表、总数表以及总使用空间信息表等等。其中，索引表可以用来记录产品需要的索引名字；服务质量控制表可以用来记录存储空间限制信息和相关服务质量控制信息；整体占空间大小表用以表示存储空间限制大小；日志存储期限表用以表示日志存储有效时间；统计存储单元表，用以表达采集“空间使用信息”的时间跨度；总数表用以表示使用的条数；总使用空间信息表用以表示空间使用的大小。

本发明实施例的上述技术方案，通过依据产品的日志类型将产品日志划分到多个索引，在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息，并将聚合信息存入存储数据区域。本发明实施例，通过按照产品的日志类型将产品日志划分为多个索引，实现了索引类别明确，易于管理且易于维持ES集群的稳定性；通过在不同的索引下，按照预设聚合条件将索引存储区域中的信息组成聚合信息，并将该聚合信息存入存储数据区域中，解决了空间占用的服务质量控制的需求问题，减少索引存储区域本身的全索引聚合操作，提升索引存储区域中占用空间的集群性能和稳定性。

实施例二

在一实施例中，图2为本发明实施例二提供的一种日志管理方法的流程图，本实施例在上述各实施例地基础上，对在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息，进行了进一步的细化，如图2所示，本实施例中的日志管理方法具体可以包含如下步骤：

S210、根据日志类型将产品日志划分到多个索引。

S220、从索引存储区域读取索引的文档属性，在文档属性中查找索引内存储最早的日志文档，将日志文档的存储时间记为第一时间。

其中，日志文档中每一个文档可以为一条日志数据，每个索引中包含有多个日志文档，每个日志文档对应相应的日志产生时间。第一时间可以理解为日志文档在存储时所产生最早的日志文档时间。

在本实施例中，各索引的文档属性所包含的字段可以为：时间维度的字段，可以用于标识日志产生的时间戳；空间维度的字段，可以用于标识日志的字节大小；以及用户维度的字段，可以用于标识用户的身份。示例性的，用@timestamp以标识日志产生的时间；@bytesize以标识日志的大小；用user_id以标识用户身份。当然，除了上述字段以外，还可以根据相应的需求，以定制需要的字段，例如可以是@version，用于标识日志版本，zone_id用于标识可用区等等。需要说明的是，字段@timestamp、@bytesize以及user_id等均可以在日志采集端进行相应的添加。

在本实施例中，由于各索引的文档属性中，标识了日志产生的时间，时间维度给日志设定一定的保存时间以及时间限定，需要记录每一条日志产生的时间，从索引集群存储以及管理区域中，读取索引的文档属性，以便从索引的文档属性中的时间维度的字段，查找索引内存储最早的日志文档。

S230、在存储数据区域中获取存储最近的数据信息，将获取数据信息的存储时间记为第二时间。

其中，数据信息可以理解为从存储数据区域，例如可以是关系型数据库中，所存储的最近的一条数据信息。第二时间可以理解为从存储数据区域中所获得最近的数据信息的时间。

在本实施例中，可以通过相关时间字段构造查询方法，例如可以是“select*fromstatistic_store_hour where primary_id＝'usr-1'and secondary_id＝'ips'order byend_time desc limit 1；”，以从存储数据区域中获取存储时间最近的相关数据信息，并将获取数据信息的存储时间记为第二时间。需要说明的是，最近的数据信息获取的是时间整点、整天或整分范围内的相关数据信息。示例性的，最近的一条数据信息可以为2022-04-2010:00:00～2022-04-2011:00:00，也可以为2022-04-21 00:00:00～2022-04-22 00:00:00等等。

在本实施例中，若在存储数据区域中获取存储最近的数据信息为空，即为获取不到最近的数据信息的情况下，说明没有采集过相关数据，

S240、若第一时间早于第二时间，则将索引存储区域内存储时间晚于第二时间的信息作为待聚合信息。

其中，待聚合信息可以理解为等待进行聚合的相关信息。

在本实施例中，在存储时所产生最早的日志文档时间要早于从存储数据区域中所获得最近的数据信息的时间的情况下，此时需要将索引存储区域内存储时间晚于从存储数据区域中所获得最近的数据信息的时间的这段时间段的信息作为待聚合信息，并按照相应的预设聚合条件，例如可以是时间维度的聚合时间单元，将待聚合信息进行相应的聚合，以得到聚合信息。

需要说明的是，日志文档在存储时所产生最早的日志文档时间即第一时间，以及从存储数据区域中所获得最近的数据信息的时间即第二时间可能出现不存在的情况。当日志文档在存储时所产生最早的日志文档时间不存在时，此时可以认为索引中不存在数据信息，直接结束；当日志文档在存储时所产生最早的日志文档时间存在，而存储数据区域中所获得最近的数据信息的时间不存在时，此时可以认为还未采集过数据信息，此时可以将日志文档在存储时所产生最早的日志文档时间即第一时间的信息作为待聚合信息。

S250、若第一时间晚于或等于第二时间，则将索引区域内的信息作为待聚合信息。

在本实施例中，在存储时所产生最早的日志文档时间要晚于或等于从存储数据区域中所获得最近的数据信息的时间的情况下，此时需要将索引存储区域内存储时间至当前时间的这段时间段的信息，作为等待进行聚合的信息，在此基础上按照相应的预设聚合条件，例如可以是时间维度的聚合时间单元，将待聚合信息进行相应的聚合，以得到聚合信息。

S260、按照预设聚合条件将待聚合信息聚合为聚合信息。

在本实施例中，依据聚合条件中聚合时间段，例如可以是天、小时的整点范围等，可以将相同聚合时间段的各待聚合信息的日志使用空间信息进行相加，以得到各时间段内的聚合信息。

在一实施例中，按照预设聚合条件将待聚合信息聚合为聚合信息，包括：

提取预设聚合条件中的聚合时间段；

将存储时间属于相同聚合时间段的各待聚合信息的使用空间进行求和作为聚合信息。

其中，聚合时间段可以理解为聚合时间整点范围的时间单元。示例性的，聚合时间段可以以小时为单位，也可以以天为单位，本实施例在此不做限制。

在本实施例中，可以将各待聚合信息按照对应的存储时间划分到不同的聚合时间段，将对应相同聚合时间段的各待聚合信息的使用空间信息相加后，以得到聚合信息。示例性的，time1为2022-03-29T00:00:00，time2为2022-03-29T00:12:34，time3为2022-03-29T01:00:00，time4为db_end_time，当前时刻记为now，则此时time1表示为time2的时间整点开始；time2表示为ES对应索引的最早一个文档时间；time3表示为time2的时间整点结束，期望时间是存储数据区域中某条数据记录的end_time；time4表示存储数据区域最新一条记录的end_time；则此时使用空间信息进行求和，以得到聚合信息，此时相应的聚合信息可以表示为：sum＝es_data(time2～time3)+db_data(time3～time4)+es_data(time4～now)；其中，es_data表示从ES获取聚合信息，db_data表示从存储数据区域获取聚合信息。当存储数据区域(本实施例可以是关系型数据库，简称DB)存在数据记录时，当前空间使用大小由三部分组成，第一部分：从ES获取，time2～time3聚合做和以得到待聚合信息；第二部分：从DB获取，time3～time4聚合做和以得到待聚合信息；第三部分：从ES获取，time4～now聚合做和以得到待聚合信息，然后将三部分的使用空间信息进行相加，可以得到相应时间段内的聚合信息。

S270、将聚合信息存入存储数据区域。

本发明实施例的上述技术方案，通过依据日志类型将产品日志划分到多个索引，实现了索引类别明确，易于管理且易于维持ES集群的稳定性；在存储数据区域中获取存储最近的数据信息，将获取数据信息的存储时间记为第二时间，在第一时间早于第二时间的情况下，将索引存储区域内存储时间晚于第二时间的信息作为待聚合信息，在第一时间晚于或等于第二时间的情况下，将索引区域内的信息作为待聚合信息，按照预设聚合条件将待聚合信息聚合为聚合信息，并将聚合信息存入存储数据区域，进一步解决了空间占用的服务质量控制的需求问题，减少索引存储区域本身的全索引聚合操作，提升索引存储区域中占用空间的集群性能和稳定性。

在一实施例中，在将聚合信息存入存储数据区域之后，还包括：

根据预设时间对索引存储区域中的聚合信息的使用空间信息进行清理。

其中，预设时间可以理解为预先设置的周期性时间，用以周期性的对索引存储区域中的聚合信息的使用空间信息进行清理。示例性的，预设时间可以为5min，也可以为8min，还可以为10min，本实施例在此不做限制。当然，预设时间可以依据需要进行自行设置，也可以通过经验进行相应的设置，本实施例在此不做限制。使用空间信息可以理解为各待聚合信息的使用空间相加后所得到的空间信息。

在本实施例中，依据预先设置的周期性时间，对聚合信息中的日志文档的使用空间信息进行一定的清理。具体的，可以循环通过判断当前使用空间信息是否超过相关限定值，若不超过相关限定值，则不需要进行对索引存储区域中的所述聚合信息的使用空间信息进行相应的清理；若超过相关限定值，则依据相关存储时间的排序以及按照一定的时间步长徐徐渐进地清理数据。

在一实施例中，根据预设时间对索引存储区域中的聚合信息的使用空间信息进行清理，包括：

判断使用空间信息是否超过限定值；

在使用空间信息超过限定值的情况下，按照存储时间对索引中信息进行排序；

依据排序和预设时间粒度清理各信息的数据以释放空间。

其中，限定值可以理解为各索引使用空间信息的聚合信息的相关限定值，用以判断是否需要进行清理数据。存储时间可以理解为各索引中日志文档的存储时间，可以按照各索引中日志文档的存储时间从最早到最近的方式进行相应的排序。预设时间粒度可以理解为预先设置的一定细粒度时间步长，例如可以是小时或分钟，用以徐徐渐进地清理相应时间范围内的数据信息。

在本实施例中，对聚合信息的使用空间信息进行时间周期性的循环判断使用空间信息是否超过限定值，若聚合信息的使用空间信息不超过相关限定值，则不需要进行对索引存储区域中的聚合信息的使用空间信息进行相应的清理；若聚合信息的使用空间信息超过相关限定值，则依据相关存储时间的排序以及按照一定的时间步长循循渐进地清理数据。具体的，若聚合信息的使用空间信息超过相关限定值，则从索引存储区域中得到各索引中存储最早的日志文档的存储时间，并结合预设时间粒度得出时间范围，循环各索引并得到各索引的待删除时间范围列表，进行一定的排序，将时间最早的日志文档放在列表的最前面，按照一定的预设时间粒度清理各信息的数据以释放空间，直至聚合信息的使用空间信息不超过相关限定值。

在本实施例中，虽然也使用了delete_by_query的删除方法，但是没有对大量索引进行操作，且使用时间范围等维度作为条件进行了查询约束，因此大大地减少了对ES集群的稳定性和性能的影响，可以大幅度减少ES聚合查询的力度，从而减少ES集群的使用负载，并能够得到准确的空间使用信息。

在一实施例中，按照预设时间粒度对索引中信息进行排序，包括：

从索引存储区域中获取各索引中存储最早的日志文档的存储时间；

对当前时刻和存储时间的时间范围内的各信息进行排序。

其中，当前时刻为小时时间粒度级别，可以按照小时单元以获取时间整点范围。

在本实施例中，索引有多个，并且在使用空间信息超过相关限定值的情况下，可以按索引进行相应的循环，从索引存储区域中，得到各索引中存储最早的日志文档的存储时间，此时可以通过判断索引存储区域得到的最早的日志文档的存储时间是否存在，在最早的日志文档的存储时间存在的情况下，可以按照小时单元以获得时间整点范围内的各待删除时间范围内的信息的排序，并将最早的日志文档的存储时间排在最前面。

在一实施例中，依据排序和预设时间粒度清理各信息的数据以释放空间，包括：

按照时间粒度将排序中各信息划分到多组；

按照时间从远到近的顺序依次清理索引存储区域内各组所属的信息直到清理后的使用空间信息小于限定值。

其中，时间粒度可以理解为按照一定时间步长，例如可以是小时、分钟等等。

在本实施例中，按照一定时间步长，例如可以是小时、分钟等等，将排序中的各信息划分为不同的组，不同的组对应不同的时间范围，依据存储时间从时间最早到存储时间最晚的顺序依据清理不同时间步长下的数据信息，若此时还会出现使用空间信息大于或等于限定值，则返回继续执行按照一定的时间步长逐步进行删除存储时间的时间范围内的各信息，直到清理后的使用空间信息小于限定值为止。

实施例三

在一实施例中，为便于更好的理解日志管理方法，图3为本发明实施例三提供的一种日志管理方法的流程图，本发明实施例从日志存储方法以及存储空间和时间管理两个方面进行相应的说明，在本实施例中，ES表示上述实施例中的索引存储区域，数据库表示上述实施例中的存储数据区域，具体步骤如下：

S310、依据产品侧的日志类型进行创建索引，并划分为多个索引。

在存储方法方面，可以按产品侧的日志类型进行创建索引，例如安全产品可以按照日志类型分为ips,policy,traffic,av,ddos等索引，对产品划分为多个索引，使得类别明确、易于管理也容易维持ES集群的稳定性。在各索引中的文档属性增加三个字段，@timestamp标识日志产生的时间；@bytesize标识日志的大小；user_id标识用户身份；当然，还可以根据需要定制需要的字段，如@version标识日志版本，zone_id标识可用区(这在region架构下多个可用区共用ES集群有用处)，可以通过@bytesize可以聚合做“和”得到存储大小信息；可以通过@timestamp可以知道每条文档产生的时间。

S320、通过设定聚合时间单元去聚合对应时间范围的日志大小，以得到各时间段的日志空间大小。

在本实施例中，聚合时间单元表示上述实施例中的预设聚合条件，设定每个用户可使用的空间大小，产品、索引信息等，然后确定聚合日志大小，通过设定聚合时间单元去聚合对应时间范围的日志大小并记录起来。如果直接对索引的全量数据做和，容易产生性能问题，特别是高级别数据量，极易使性能不达标。因此需要设定用户的存储大小聚合时间单元，如天、小时等，然后周期性地，例如可以是5min，判断是否需要聚合；若需要则根据时间单元聚合@bytesize的“和”，得到各时间段的空间大小。

S330、将聚合信息存储到数据库。

在本实施例中，根据时间单元聚合@bytesize的“和”，得到各时间段的空间大小之后，将聚合信息存储到别处，如关系型数据库。如此，在查询使用空间信息的时候，可以通过聚合好的信息来得到结果，从而减少ES本身的全索引聚合操作。

S340、周期性地对聚合信息的使用空间信息进行清理。

在本实施例中，选择周期性地进行数据删除，例如可以是10min，判断是否需要删除，若需要则收集各索引最早文档记录时间点，然后按时间细粒维度如“按小时”使用delete_by_query(query的条件是时间范围和用户身份)逐步删除，直到使用量小于用户可使用的总空间大小或各索引的文档最早时间都符合日志保存时间。本实施例虽然也使用了delete_by_query的删除方法，但是没有对大量索引进行操作，也用时间范围等维度作为条件进行了查询约束，因此大大地减少了对ES集群的稳定性和性能的影响。

在一实施例中，图4为本发明实施例三提供的一种按时间单元聚合的采集方法的流程图，其中，es_oldest_one表示上述实施例中的在文档属性中查找索引内存储最早的日志文档，db_newest_one表示上述实施例中在存储数据区域中获取存储最近的数据信息，ES表示上述实施例中的索引存储区域，SQLDB表示上述实施例中的存储数据区域。具体步骤如下：

S410、ES获取索引最早的一个文档es_oldest_one。

S420、文档es_oldest_one是否存在，若存在则执行S430；否则直接结束。

S430、SQLDB获取最近的一个数据db_newest_one

S440、数据db_newest_one是否存在，若存在则执行S450；否则执行S460。

S450、根据db_newest_one['end_time']的时间得到时间整点范围。

S460、根据es_oldest_one的时间获得时间整点范围。

S470、es_newest_one的时间要大于时间范围，时间是否有效，若是，则执行S480，若否，则直接结束。

S480、ES根据时间范围聚合数据。

S490、结果存入SQLDB。

在本实施例中，时间整点范围获取方法：time1用2022-03-29T00:00:00Z表示，time2用2022-03-29T00:12:34Z表示，time3用2022-03-29T01:00:00Z表示，假如时间单元是小时，要获取time2的时间范围，此时的时间整点范围表示为time1～time3；假如时间单元是天，要获取time2的时间范围，此时的时间整点范围表示为：time1～2022-03-30T00:00:00Z。

在一实施例中，图5为本发明实施例三提供的一种清理历史数据方法的流程图，本实施例以按小时单元获得时间整点范围为例进行说明。具体步骤如下：

S510、获取各索引空间使用大小“做和”。

S520、是否超过限定值，若是，则执行S530，若否则直接结束。

S530、按索引循环。

S540、ES得到索引最早的文档时间。

S550、索引最早的文档时间是否存在，若是，则执行S560，若否，则执行S540。

S560、按小时单元获得时间整点范围。

S570、索引循环结束收集到各索引的待删除时间范围列表。

S580、对列表排序，将最早的时间放在最前。

S590、按索引循环。

S5100、按一定时间步长(如：时、分)删除这个范围的用户数据。

S5110、获取各索引空间使用大小做和。

S5120、是否超过限定值，若是，则继续执行S5100，若否，则直接结束。

在本实施例中，存储空间管理方面，主要由两个模块组成，按时间单元采集模块和历史数据清理模块。两个模块都是周期性地执行作业，但是我们要控制时序性，按用户维度形成任务，此任务先做采集模块、再做历史数据清理模块，避免冲突。采集模块按照时间整点范围进行聚合收集到关系型数据库；历史数据清理模块按小时单元获得时间整点范围，并按照一定的时间步长徐徐渐进地清理数据。这样可以尽可能地不影响ES集群的稳定性和性能；根据关系型数据库记录的时间单元汇总的使用空间信息，可以大幅度减少ES聚合查询的力度，从而减少ES集群的使用负载，并能够得到准确的空间使用信息。

在本实施例中，存储时间管理方面，ES取到索引最早的一条文档，es_oldest_one；时间范围是es_oldest_one作为开始时间，有效时间的时间点作为结束时间。按一定的细粒度时间步长(小时或分钟)徐徐渐进地清理该时间范围数据。

实施例四

在一实施例中，图6是本发明实施例四提供的一种日志管理装置的结构框图，该装置适用于对日志进行存储方法以及存储空间管理时的情况，该装置可以由硬件/软件实现。可配置于电子设备中来实现本发明实施例中的一种日志管理方法。如图6所示，该装置包括：索引划分模块610、信息组成模块620以及信息存储模块630。

其中，索引划分模块610，用于根据日志类型将产品日志划分到多个索引。

信息组成模块620，用于在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息。

信息存储模块630，用于将所述聚合信息存入存储数据区域。

本发明实施例，索引划分模块，通过按照产品的日志类型将产品日志划分为多个索引，实现了索引类别明确，易于管理且易于维持索引存储区域中占用空间的集群性能的稳定性；信息组成模块，通过在不同的索引下，按照预设聚合条件将索引存储区域中的信息组成聚合信息，并由信息存储模块，将该聚合信息存入存储数据区域中，解决了空间占用的服务质量控制的需求问题，减少索引存储区域本身的全索引聚合操作，提升索引存储区域中占用空间的集群性能和稳定性。

在一实施例中，信息组成模块620，包括：

第一时间获取单元，用于从索引存储区域读取所述索引的文档属性，在所述文档属性中查找所述索引内存储最早的日志文档，将所述日志文档的存储时间记为第一时间。

第二时间获取单元，用于在存储数据区域中获取存储最近的数据信息，将获取所述数据信息的存储时间记为第二时间。

第一信息确定单元，用于若所述第一时间早于所述第二时间，则将所述索引存储区域内存储时间晚于所述第二时间的信息作为待聚合信息。

若所述第一时间晚于或等于所述第二时间，则将所述索引区域内的信息作为待聚合信息。

第二信息确定单元，用于按照预设聚合条件将所述待聚合信息聚合为所述聚合信息。

在一实施例中，第二信息确定单元，包括：

时间段提取子单元，用于提取所述预设聚合条件中的聚合时间段。

聚合信息获取子单元，用于将存储时间属于相同所述聚合时间段的各所述待聚合信息的使用空间进行求和作为所述聚合信息。

在一实施例中，所述方法，还包括：

使用空间清理模块，用于在所述将所述聚合信息存入存储数据区域之后，根据预设时间对索引存储区域中的所述聚合信息的使用空间信息进行清理。

在一实施例中，使用空间清理模块，包括：

判定单元，用于判断所述使用空间信息是否超过限定值。

排序单元，用于在所述使用空间信息超过限定值的情况下，按照存储时间对所述索引中信息进行排序。

清理单元，用于依据所述排序和预设时间粒度清理各所述信息的数据以释放空间。

在一实施例中，排序单元，包括：

时间获取子单元，用于从所述索引存储区域中获取各所述索引中存储最早的日志文档的存储时间。

排序子单元，用于对当前时刻和所述存储时间的时间范围内的各所述信息进行排序，其中，所述当前时刻为小时时间粒度级别。

在一实施例中，清理单元，包括：

信息划分子单元，用于按照时间粒度将排序中各信息划分到多组。

清理子单元，用于按照时间从远到近的顺序依次清理所述索引存储区域内各组所属的信息直到清理后的所述使用空间信息小于所述限定值。

本发明实施例所提供的日志管理装置可执行本发明任意实施例所提供的日志管理方法，具备执行方法相应的功能模块和有益效果。

实施例五

在一实施例中，图7是本发明实施例五提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志管理方法。

在一些实施例中，日志管理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的日志管理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志管理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志管理方法，其特征在于，包括：

根据日志类型将产品日志划分到多个索引；

在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息；

将所述聚合信息存入存储数据区域。

2.根据权利要求1所述的方法，其特征在于，所述在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息，包括：

从索引存储区域读取所述索引的文档属性，在所述文档属性中查找所述索引内存储最早的日志文档，将所述日志文档的存储时间记为第一时间；

在存储数据区域中获取存储最近的数据信息，将获取所述数据信息的存储时间记为第二时间；

若所述第一时间早于所述第二时间，则将所述索引存储区域内存储时间晚于所述第二时间的信息作为待聚合信息；

若所述第一时间晚于或等于所述第二时间，则将所述索引区域内的信息作为待聚合信息；

按照预设聚合条件将所述待聚合信息聚合为所述聚合信息。

3.根据权利要求2所述的方法，其特征在于，所述按照预设聚合条件将所述待聚合信息聚合为所述聚合信息，包括：

提取所述预设聚合条件中的聚合时间段；

将存储时间属于相同所述聚合时间段的各所述待聚合信息的使用空间进行求和作为所述聚合信息。

4.根据权利要求1所述的方法，其特征在于，在所述将所述聚合信息存入存储数据区域之后，还包括：

根据预设时间对索引存储区域中的所述聚合信息的使用空间信息进行清理。

5.根据权利要求4所述的方法，其特征在于，所述根据预设时间对索引存储区域中的所述聚合信息的使用空间信息进行清理，包括：

判断所述使用空间信息是否超过限定值；

在所述使用空间信息超过限定值的情况下，按照存储时间对所述索引中信息进行排序；

依据所述排序和预设时间粒度清理各所述信息的数据以释放空间。

6.根据权利要求5中所述的方法，其特征在于，所述按照预设时间粒度对所述索引中信息进行排序，包括：

从所述索引存储区域中获取各所述索引中存储最早的日志文档的存储时间；

对当前时刻和所述存储时间的时间范围内的各所述信息进行排序，其中，所述当前时刻为小时时间粒度级别。

7.根据权利要求4中所述的方法，其特征在于，所述依据所述排序和预设时间粒度清理各所述信息的数据以释放空间，包括：

按照时间粒度将排序中各信息划分到多组；

按照时间从远到近的顺序依次清理所述索引存储区域内各组所属的信息直到清理后的所述使用空间信息小于所述限定值。

8.一种日志管理装置，其特征在于，所述装置包括：

索引划分模块，用于根据日志类型将产品日志划分到多个索引；

信息组成模块，用于在各索引下按照预设聚合条件将索引存储区域中的信息组成聚合信息；

信息存储模块，用于将所述聚合信息存入存储数据区域。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的日志管理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志管理方法。

Images