CN116303628B - 基于Elasticsearch的告警数据查询方法、系统及设备 - Google Patents

Abstract

本申请公开了一种基于Elasticsearch的告警数据查询方法、系统及设备，主要涉及告警数据查询技术领域，用以解决现有的告警数据查询方法检索耗时的问题。包括：获取Elasticsearch数据库对应的父文档字段和子文档字段；确定父文档和子文档，将子文档数据存储至HBase数据库；确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，获得告警数据对应的rowkey；根据告警数据与文件数据建立关联关系；建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

Description

基于Elasticsearch的告警数据查询方法、系统及设备

技术领域

本申请涉及告警数据查询技术领域，尤其涉及一种基于Elasticsearch的告警数据查询方法、系统及设备。

背景技术

现有的，告警数据的接入，采取父子文档的结构，对数据提供查询操作，父节点数据包含告警文件原始内容、针对内容分析后的属性信息，子节点数据包含告警相关信息，如数据源、文件名、文件大小、所属行业等，数据按月索引。对数据查询操作包含关联查询、聚合查询、模糊查询、统计查询。通过对父子文档的查询，提供告警推荐数据给业务人员，助其完成相关研判处置操作，以完成企业互联网数据防泄密。

但是，随着数据源，如检测器、终端等数据量的增多，告警数据接入数据量从开始的千万级别，到上亿级别。当网络出现重大告警，告警数据量将会激增。对复杂关联条件、聚合、模糊等查询操作，服务器完成查询操作的消耗时间从开始的小于1秒，到6秒-10秒，最长的要耗费几十秒，严重影响了用户体验。

因此，亟需一种基于Elasticsearch的告警数据查询方法、系统及设备，以解决上述技术问题。为保密业务提供的查询服务，在高并发查询条件下，能提供毫秒级响应，以提高工作效率，提升用户体验，满足用户需求。

发明内容

针对现有技术的上述不足，本申请提供一种基于Elasticsearch的告警数据查询方法、系统及设备，以解决上述技术问题。

第一方面，本申请提供了一种基于Elasticsearch的告警数据查询方法，方法包括：根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中；获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系；建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

进一步地，方法还包括：通过预设对外查询服务接口获取父子文档查询语句；确定父子文档查询语句是否包括子文档字段；当包括子文档字段时，根据子文档字段，获得对应的rowkey对应列表；进而根据rowkey对应列表，从HBase数据库中调取对应的告警数据。

进一步地，根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中，具体包括：根据历史数据，获取历史数据对应的父文档字段和子文档字段；通过预设对外查询服务接口获取查询字段；确定查询字段涉及是否涉及父文档字段和子文档字段；在查询字段只涉及父文档字段时，将涉及的父文档字段存储在父文档中；在只涉及子文档字段时，将涉及的子文档字段存储在子文档中；在同时涉及父文档字段和子文档字段时，将涉及的父文档字段和子文档字段都作为子文档字段存储在子文档中；将子文档存储至HBase数据库中。

进一步地，在根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系之前，方法包括：根据子文档，对告警数据进行子文档检索，确定告警数据对应的子文档字段。

进一步地，根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系，具体包括：确定告警数据对应的子文档字段；根据父文档，对文件数据进行父文档检索，确定文件数据对应的父文档字段；获取预设索引id，根据预设索引id建立告警数据对应的子文档字段与文件数据对应的父文档字段之间的关联关系。

第二方面，本申请提供了一种基于Elasticsearch的告警数据查询系统，系统包括：存储模块，用于根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中；建立模块，用于获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系；对应模块，用于建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

进一步地，系统还包括检索模块，用于通过预设对外查询服务接口获取父子文档查询语句；确定父子文档查询语句是否包括子文档字段；当包括子文档字段时，根据子文档字段，获得对应的rowkey对应列表；进而根据rowkey对应列表，从HBase数据库中调取对应的告警数据。

进一步地，存储模块包括存储单元，用于根据历史数据，获取历史数据对应的父文档字段和子文档字段；通过预设对外查询服务接口获取查询字段；确定查询字段涉及是否涉及父文档字段和子文档字段；在查询字段只涉及父文档字段时，将涉及的父文档字段存储在父文档中；在只涉及子文档字段时，将涉及的子文档字段存储在子文档中；在同时涉及父文档字段和子文档字段时，将涉及的父文档字段和子文档字段都作为子文档字段存储在子文档中；将子文档存储至HBase数据库中。

进一步地，建立模块包括建立单元，用于确定告警数据对应的子文档字段；根据父文档，对文件数据进行父文档检索，确定文件数据对应的父文档字段；获取预设索引id，根据预设索引id建立告警数据对应的子文档字段与文件数据对应的父文档字段之间的关联关系。

第三方面，本申请提供了一种基于Elasticsearch的告警数据查询设备，设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述任一项的一种基于Elasticsearch的告警数据查询方法。

本领域技术人员能够理解的是，本申请至少具有如下有益效果：

本发明的基于ElasticSearch父子文档的结构特性，提出了一种父子文档拆分构造方法，对父子结构进行拆分，分别索引，优化后索引库，原始告警数据存入HBase，能够使用户对数据字段进行完整搜索。为海量告警数据（亿级）接入情况下，为保密业务提供的查询服务，在高并发查询条件下，能提供毫秒级响应，以提高工作效率，提升用户体验，满足用户需求。

附图说明

下面参照附图来描述本公开的部分实施例，附图中：

图1是本申请实施例提供的一种基于Elasticsearch的告警数据查询方法流程图。

图2是本申请实施例提供的一种基于Elasticsearch的告警数据查询系统内部结构示意图。

图3是本申请实施例提供的一种基于Elasticsearch的告警数据查询设备内部结构示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理，并非用于限制本公开的保护范围。基于本公开提供的优选实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本公开的保护范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

本申请实施例提供了一种基于Elasticsearch的告警数据查询方法，如图1所示，本申请实施例提供的方法，主要包括以下步骤：

步骤110、根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中。

需要说明的是，Elasticsearch数据库本身具有文档的父子关系，其中，获取父文档字段和子文档字段的方式为，通过后端界面，获取技术人员输入的父文档字段和子文档字段的具体数据。获取查询字段也是如此，父文档为存储查询字段中父文档字段的文档；子文档为存储查询字段中子文档字段的文档。

其中，获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中，可以具体为：根据历史数据，获取历史数据对应的父文档字段和子文档字段；通过预设对外查询服务接口获取查询字段；确定查询字段涉及是否涉及父文档字段和子文档字段；在查询字段只涉及父文档字段时，将涉及的父文档字段存储在父文档中；在只涉及子文档字段时，将涉及的子文档字段存储在子文档中；在同时涉及父文档字段和子文档字段时，将涉及的父文档字段和子文档字段都作为子文档字段存储在子文档中；将子文档存储至HBase数据库中。

步骤120、获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系。

其中，根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系，可以具体为：

根据子文档，对告警数据进行子文档检索，确定告警数据对应的子文档字段。根据父文档，对文件数据进行父文档检索，确定文件数据对应的父文档字段；获取预设索引id，根据预设索引id建立告警数据对应的子文档字段与文件数据对应的父文档字段之间的关联关系。需要说明的是，获取预设索引id的方法可以具体为通过后端界面获取技术人员输入的具体数据。

步骤130、建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

此外，在建立好索引之后，还可以进行数据检索，具体地：

通过预设对外查询服务接口获取父子文档查询语句；需要说明的是，父子文档查询语句在查询父文档时，如果查询结果需要子文档的，再查子文档，需要更多数据，再查HBase。在查询子文档时，查询结果需要父文档的，再查父文档，需要更多数据，再查HBase。也就是说，确定父子文档查询语句是否包括子文档字段；当包括子文档字段时，根据子文档字段，获得对应的rowkey对应列表；进而根据rowkey对应列表，从HBase数据库中调取对应的告警数据。

除此之外，图2为本申请实施例提供的一种基于Elasticsearch的告警数据查询系统。如图2所示，本申请实施例提供的系统，主要包括：

存储模块210，用于根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中；

存储模块210包括存储单元211，

用于根据历史数据，获取历史数据对应的父文档字段和子文档字段；通过预设对外查询服务接口获取查询字段；确定查询字段涉及是否涉及父文档字段和子文档字段；在查询字段只涉及父文档字段时，将涉及的父文档字段存储在父文档中；在只涉及子文档字段时，将涉及的子文档字段存储在子文档中；在同时涉及父文档字段和子文档字段时，将涉及的父文档字段和子文档字段都作为子文档字段存储在子文档中；将子文档存储至HBase数据库中。

建立模块220，用于获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系；

建立模块220包括建立单元221，

用于确定告警数据对应的子文档字段；根据父文档，对文件数据进行父文档检索，确定文件数据对应的父文档字段；获取预设索引id，根据预设索引id建立告警数据对应的子文档字段与文件数据对应的父文档字段之间的关联关系。

对应模块230，用于建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

系统还包括检索模块，

用于通过预设对外查询服务接口获取父子文档查询语句；确定父子文档查询语句是否包括子文档字段；当包括子文档字段时，根据子文档字段，获得对应的rowkey对应列表；进而根据rowkey对应列表，从HBase数据库中调取对应的告警数据。

此外，本申请实施例还提供了一种基于Elasticsearch的告警数据查询设备。如图3所示，该设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述实施例中的一种基于Elasticsearch的告警数据查询方法。

具体地，服务器端根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中；获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系；建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

至此，已经结合前文的多个实施例描述了本公开的技术方案，但是，本领域技术人员容易理解的是，本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。

Claims (8)

1.一种基于Elasticsearch的告警数据查询方法，其特征在于，所述方法包括：

根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中；具体包括：根据历史数据，获取历史数据对应的父文档字段和子文档字段；通过预设对外查询服务接口获取查询字段；确定查询字段涉及是否涉及父文档字段和子文档字段；在查询字段只涉及父文档字段时，将涉及的父文档字段存储在父文档中；在只涉及子文档字段时，将涉及的子文档字段存储在子文档中；在同时涉及父文档字段和子文档字段时，将涉及的父文档字段和子文档字段都作为子文档字段存储在子文档中；将子文档存储至HBase数据库中；

获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系；

建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

2.根据权利要求1所述的基于Elasticsearch的告警数据查询方法，其特征在于，所述方法还包括：

通过预设对外查询服务接口获取父子文档查询语句；

确定父子文档查询语句是否包括子文档字段；当包括子文档字段时，根据子文档字段，获得对应的rowkey对应列表；

进而根据rowkey对应列表，从HBase数据库中调取对应的告警数据。

3.根据权利要求1所述的基于Elasticsearch的告警数据查询方法，其特征在于，在根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系之前，所述方法包括：

根据子文档，对告警数据进行子文档检索，确定告警数据对应的子文档字段。

4.根据权利要求3所述的基于Elasticsearch的告警数据查询方法，根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系，具体包括：

确定告警数据对应的子文档字段；

根据父文档，对文件数据进行父文档检索，确定文件数据对应的父文档字段；

获取预设索引id，根据预设索引id建立告警数据对应的子文档字段与文件数据对应的父文档字段之间的关联关系。

5.一种基于Elasticsearch的告警数据查询系统，其特征在于，所述系统包括：

存储模块，用于根据历史数据，获取Elasticsearch数据库对应的父文档字段和子文档字段；获取查询字段，以确定父文档和子文档，并将子文档对应的数据存储至HBase数据库中；

存储模块包括存储单元，用于根据历史数据，获取历史数据对应的父文档字段和子文档字段；通过预设对外查询服务接口获取查询字段；确定查询字段涉及是否涉及父文档字段和子文档字段；在查询字段只涉及父文档字段时，将涉及的父文档字段存储在父文档中；在只涉及子文档字段时，将涉及的子文档字段存储在子文档中；在同时涉及父文档字段和子文档字段时，将涉及的父文档字段和子文档字段都作为子文档字段存储在子文档中；将子文档存储至HBase数据库中；

建立模块，用于获取新增数据，确定新增数据中的告警数据和文件数据；将告警数据存入HBase数据库中，以获得告警数据对应的rowkey；根据告警数据与文件数据建立子文档字段与父文档字段之间的关联关系；

对应模块，用于建立告警数据、rowkey和子文档字段之间的rowkey对应列表，并将rowkey对应列表存储至Elasticsearch数据库。

6.根据权利要求5所述的基于Elasticsearch的告警数据查询系统，其特征在于，系统还包括检索模块，

用于通过预设对外查询服务接口获取父子文档查询语句；确定父子文档查询语句是否包括子文档字段；当包括子文档字段时，根据子文档字段，获得对应的rowkey对应列表；进而根据rowkey对应列表，从HBase数据库中调取对应的告警数据。

7.根据权利要求5所述的基于Elasticsearch的告警数据查询系统，其特征在于，建立模块包括建立单元，

用于确定告警数据对应的子文档字段；根据父文档，对文件数据进行父文档检索，确定文件数据对应的父文档字段；获取预设索引id，根据预设索引id建立告警数据对应的子文档字段与文件数据对应的父文档字段之间的关联关系。

8.一种基于Elasticsearch的告警数据查询设备，其特征在于，所述设备包括：

处理器；

以及存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-4任一项所述的一种基于Elasticsearch的告警数据查询方法。