CN115510064A - Es告警数据回填方法、装置、设备及介质 - Google Patents

Es告警数据回填方法、装置、设备及介质 Download PDF

Info

Publication number
CN115510064A
CN115510064A CN202211181631.9A CN202211181631A CN115510064A CN 115510064 A CN115510064 A CN 115510064A CN 202211181631 A CN202211181631 A CN 202211181631A CN 115510064 A CN115510064 A CN 115510064A
Authority
CN
China
Prior art keywords
alarm data
preset
data
backfilling
message publishing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211181631.9A
Other languages
English (en)
Inventor
李素丽
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202211181631.9A priority Critical patent/CN115510064A/zh
Publication of CN115510064A publication Critical patent/CN115510064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种ES告警数据回填方法、装置、设备及介质，涉及计算机技术领域，包括：判断当前是否存在预设写入失败信息；若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，将所述当前告警数据回填至预设ES的目标MySQL表。通过上述方案，当存在写入失败信息时，则说明当前没有将当前告警数据成功写入预设ES中，先将当前告警数据写入预设消息发布订阅系统，当获取预设告警数据回填命令时，将当前告警数据回填至预设ES的目标MySQL表，提高告警数据成功写入预设ES的概率，降低告警数据丢失的概率。

Description

ES告警数据回填方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域，特别涉及ES告警数据回填方法、装置、设备及介质。
背景技术
告警数据会同时写入ES(Elastic Stack)和CK(Click Stream Data WareHouse，即ClicKhouse)中，以便ES和CK不同场景的聚合数据。但是可能会由于ES集群挂掉或网络问题导致告警数据写入失败的情况，导致发现丢失了重要的原始告警，或者出现CK写入的数据与ES写入的数据不一致的情况，进而使得客户无法基于告警数据进行后续的处理流程。
综上可见，如何提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种ES告警数据回填方法、装置、设备及介质，能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。其具体方案如下：
第一方面，本申请公开了一种ES告警数据回填方法，包括：
判断当前是否存在预设写入失败信息；
若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；
当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；
若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
可选的，所述判断当前是否存在预设写入失败信息之前，还包括：
将ETL引擎的当前告警数据写入预设ES的目标数据流中，并生成对应的日志信息；
判断所述日志信息是否表征所述当前告警数据已写入所述目标数据流中，若否则生成预设写入失败信息。
可选的，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统，包括：
将ETL引擎的当前告警数据写入预设消息发布订阅系统的目标主题中；
相应的，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，包括：
从所述预设消息发布订阅系统的所述目标主题中拉取所述当前告警数据。
可选的，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统之后，还包括：
利用索引别名、预设分隔符和时间戳，以得到所述当前告警数据的标识信息；
当需要将下一告警数据写入所述预设消息发布订阅系统时，则基于历史告警数据的标识信息确定所述下一告警数据在所述预设消息发布订阅系统的目标位置。
可选的，所述当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件之前，还包括：
在预设数据中台中设置定时回填告警数据任务，以便当执行所述定时回填告警数据任务时，生成预设告警数据回填命令。
可选的，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表，包括：
校验预设ES的集群健康状态是否满足预设条件，若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据；
将所述当前告警数据回填至目标MySQL表的数据列，并在所述目标MySQL表的时间列中写入所述当前告警数据的回填时间。
可选的，所述将所述当前告警数据回填至目标MySQL表之后，还包括：
判断当前是否满足预设定时清理告警数据的条件，若满足则清理所述目标MySQL表与预设时间段对应的告警数据。
第二方面，本申请公开了一种ES告警数据回填装置，包括：
判断模块，用于判断当前是否存在预设写入失败信息；
写入模块，用于若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；
校验模块，用于当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；
回填模块，用于若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的ES告警数据回填方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的ES告警数据回填方法的步骤。
可见，本申请判断当前是否存在预设写入失败信息；若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。由此可见，当存在写入失败信息时，则说明当前没有将当前告警数据成功写入预设ES中，可以先将当前告警数据写入预设消息发布订阅系统，当获取预设告警数据回填命令时，则将预设消息发布订阅系统中的当前告警数据回填至预设ES的目标MySQL表，因此能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种ES告警数据回填方法流程图；
图2为本申请公开的一种具体的ES告警数据回填方法流程图；
图3为本申请公开的一种ES告警数据回填装置结构示意图；
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
告警数据会同时写入ES和CK中，以便ES和CK不同场景的聚合数据。但是可能会由于ES集群挂掉或网络问题导致告警数据写入失败的情况，导致发现丢失了重要的原始告警，或者出现CK写入的数据与ES写入的数据不一致的情况，进而使得客户无法基于告警数据进行后续的处理流程。
为此本申请相应的提供了一种ES告警数据回填方案，能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。
参见图1所示，本申请实施例公开了一种ES告警数据回填方法，包括：
步骤S11：判断当前是否存在预设写入失败信息。
本实施例中，所述判断当前是否存在预设写入失败信息之前，还包括：将ETL引擎的当前告警数据写入预设ES的目标数据流中，并生成对应的日志信息；判断所述日志信息是否表征所述当前告警数据已写入所述目标数据流中，若否则生成预设写入失败信息。可以理解的是，将当前告警数据在写入预设ES的目标数据流，但是通过查看对应的日志信息，发现当前告警数据并没有成功写入预设ES的目标数据流中，则需要生成预设写入失败信息，以便后续将当前告警数据回填至预设ES中，防止当前告警数据丢失。ETL(ExtractTransform Load)引擎中的当前告警数据写入目标数据流中，并对sink算子进行功能拓展，sink是flink的输出算子，其中目标数据流可以为eventEsEtl，eventEsEtl是异常记录、安全告警入库的一条pipeline数据流。
步骤S12：若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统。
本实施例中，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统，具体包括：将ETL引擎的当前告警数据写入预设消息发布订阅系统的目标主题中。将当前告警数据写入kafka的topic，主题的相关代码例如为com.dbapp.topic.securityevent.error。
本实施例中，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统之后，还包括：利用索引别名、预设分隔符和时间戳，以得到所述当前告警数据的标识信息；当需要将下一告警数据写入所述预设消息发布订阅系统时，则基于历史告警数据的标识信息确定所述下一告警数据在所述预设消息发布订阅系统的目标位置。标识信息key的作用就是为了防止数据倾斜，也即防止告警数据在预设消息发布订阅系统的位置不均衡。
步骤S13：当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件。
本实施例中，预设数据中台(baasweb)基于定时回填告警数据任务生成预设告警数据回填命令，当获取预设告警数据回填命令时，校验预设消息发布订阅系统是否满足预设连通性条件，也即kafka服务是否正常运行。
步骤S14：若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
本实施例中，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，包括：从所述预设消息发布订阅系统的所述目标主题中拉取所述当前告警数据。可以理解的是，还可以设置定时清理历史告警数据的任务，以防止告警数据过多堆积，需要注意的是，本实施例中定时清理历史告警数据的任务、定时回填告警数据任务的相关参数均有默认值，也可以自行配置，如：任务执行时间、kafka消费者参数。
可见，本申请判断当前是否存在预设写入失败信息；若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。由此可见，当存在写入失败信息时，则说明当前没有将当前告警数据成功写入预设ES中，可以先将当前告警数据写入预设消息发布订阅系统，当获取预设告警数据回填命令时，则将预设消息发布订阅系统中的当前告警数据回填至预设ES的目标MySQL表，因此能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。
参见图2所示，本申请实施例公开了一种具体的ES告警数据回填方法，包括：
步骤S21：判断当前是否存在预设写入失败信息。
步骤S22：若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统。
步骤S23：当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件。
本实施例中，所述当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件之前，还包括：在预设数据中台中设置定时回填告警数据任务，以便当执行所述定时回填告警数据任务时，生成预设告警数据回填命令。
步骤S24：若满足则校验预设ES的集群健康状态是否满足预设条件，若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据。
可以理解的是，本实施例中，集群健康状态可以为red(病态)、green(健康)、yellow(亚健康)，预设条件为green，也即只有集群健康状态为green时，才可以从预设消息发布订阅系统中拉取所述当前告警数据。
步骤S25：将所述当前告警数据回填至目标MySQL表的数据列，并在所述目标MySQL表的时间列中写入所述当前告警数据的回填时间。
可以理解的是，目标MySQL表中包含数据列(eventId)和时间列，其中数据列用于保存告警数据，时间列用于记录告警数据的回填时间。
本实施例中，所述将所述当前告警数据回填至目标MySQL表之后，还包括：判断当前是否满足预设定时清理告警数据的条件，若满足则清理所述目标MySQL表与预设时间段对应的告警数据。例如预设时间段为3个月，则当前时刻为预设定时清理告警数据的时间时，当前即满足预设定时清理告警数据的条件时，则将3个月前的告警数据进行清理，以保证目标MySQL表的中减少告警数据的堆积。
由此可见，本申请当存在写入失败信息时，可以先将当前告警数据写入预设消息发布订阅系统，当获取预设告警数据回填命令时，则将预设消息发布订阅系统中的当前告警数据回填至预设ES的目标MySQL表，因此能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。又因为本申请可以清理预设时间段的告警数据，进而减少了告警数据的冗余堆积。
参见图3所示，本申请实施例公开了一种ES告警数据回填装置，包括：
判断模块11，用于判断当前是否存在预设写入失败信息；
写入模块12，用于若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；
校验模块13，用于当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；
回填模块14，用于若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
可见，本申请判断当前是否存在预设写入失败信息；若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。由此可见，当存在写入失败信息时，则说明当前没有将当前告警数据成功写入预设ES中，可以先将当前告警数据写入预设消息发布订阅系统，当获取预设告警数据回填命令时，则将预设消息发布订阅系统中的当前告警数据回填至预设ES的目标MySQL表，因此能够提高告警数据成功写入预设ES的概率，并显著降低告警数据丢失的概率。
在一些具体实施例中，所述ES告警数据回填装置，包括：
失败信息生成单元，用于将ETL引擎的当前告警数据写入预设ES的目标数据流中，并生成对应的日志信息；判断所述日志信息是否表征所述当前告警数据已写入所述目标数据流中，若否则生成预设写入失败信息。
在一些具体实施例中，所述写入模块12，包括：
将ETL引擎的当前告警数据写入预设消息发布订阅系统的目标主题中。
在一些具体实施例中，所述回填模块14，包括：
从所述预设消息发布订阅系统的所述目标主题中拉取所述当前告警数据。
在一些具体实施例中，所述ES告警数据回填装置，包括：
目标位置确定单元，用于利用索引别名、预设分隔符和时间戳，以得到所述当前告警数据的标识信息；当需要将下一告警数据写入所述预设消息发布订阅系统时，则基于历史告警数据的标识信息确定所述下一告警数据在所述预设消息发布订阅系统的目标位置。
在一些具体实施例中，所述ES告警数据回填装置，包括：
回填命令生成单元，用于在预设数据中台中设置定时回填告警数据任务，以便当执行所述定时回填告警数据任务时，生成预设告警数据回填命令。
在一些具体实施例中，所述回填模块14，包括：
告警数据拉取单元，用于校验预设ES的集群健康状态是否满足预设条件，若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据。
回填单元，用于将所述当前告警数据回填至目标MySQL表的数据列，并在所述目标MySQL表的时间列中写入所述当前告警数据的回填时间。
在一些具体实施例中，所述ES告警数据回填装置，包括：
数据清理单元，用于判断当前是否满足预设定时清理告警数据的条件，若满足则清理所述目标MySQL表与预设时间段对应的告警数据。
进一步的，本申请实施例还提供了一种电子设备。图4是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图4为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现以下步骤：
判断当前是否存在预设写入失败信息；
若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；
当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；
若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
将ETL引擎的当前告警数据写入预设ES的目标数据流中，并生成对应的日志信息；
判断所述日志信息是否表征所述当前告警数据已写入所述目标数据流中，若否则生成预设写入失败信息。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
将ETL引擎的当前告警数据写入预设消息发布订阅系统的目标主题中；
相应的，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，包括：
从所述预设消息发布订阅系统的所述目标主题中拉取所述当前告警数据。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
利用索引别名、预设分隔符和时间戳，以得到所述当前告警数据的标识信息；
当需要将下一告警数据写入所述预设消息发布订阅系统时，则基于历史告警数据的标识信息确定所述下一告警数据在所述预设消息发布订阅系统的目标位置。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
在预设数据中台中设置定时回填告警数据任务，以便当执行所述定时回填告警数据任务时，生成预设告警数据回填命令。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
校验预设ES的集群健康状态是否满足预设条件，若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据；
将所述当前告警数据回填至目标MySQL表的数据列，并在所述目标MySQL表的时间列中写入所述当前告警数据的回填时间。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，还可以进一步包括以下步骤：
判断当前是否满足预设定时清理告警数据的条件，若满足则清理所述目标MySQL表与预设时间段对应的告警数据。
本实施例中，电源23用于为电子设备上的各硬件设备提供工作电压；通信接口24能够为电子设备创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备执行的ES告警数据回填方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由ES告警数据回填过程中执行的方法步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种ES告警数据回填方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种ES告警数据回填方法，其特征在于，包括：
判断当前是否存在预设写入失败信息；
若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；
当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；
若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
2.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述判断当前是否存在预设写入失败信息之前，还包括：
将ETL引擎的当前告警数据写入预设ES的目标数据流中，并生成对应的日志信息；
判断所述日志信息是否表征所述当前告警数据已写入所述目标数据流中，若否则生成预设写入失败信息。
3.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统，包括：
将ETL引擎的当前告警数据写入预设消息发布订阅系统的目标主题中；
相应的，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，包括：
从所述预设消息发布订阅系统的所述目标主题中拉取所述当前告警数据。
4.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述将ETL引擎的当前告警数据写入预设消息发布订阅系统之后，还包括：
利用索引别名、预设分隔符和时间戳，以得到所述当前告警数据的标识信息；
当需要将下一告警数据写入所述预设消息发布订阅系统时，则基于历史告警数据的标识信息确定所述下一告警数据在所述预设消息发布订阅系统的目标位置。
5.根据权利要求1至4任一项所述的ES告警数据回填方法，其特征在于，所述当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件之前，还包括：
在预设数据中台中设置定时回填告警数据任务，以便当执行所述定时回填告警数据任务时，生成预设告警数据回填命令。
6.根据权利要求1所述的ES告警数据回填方法，其特征在于，所述从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表，包括：
校验预设ES的集群健康状态是否满足预设条件，若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据；
将所述当前告警数据回填至目标MySQL表的数据列，并在所述目标MySQL表的时间列中写入所述当前告警数据的回填时间。
7.根据权利要求6所述的ES告警数据回填方法，其特征在于，所述将所述当前告警数据回填至目标MySQL表之后，还包括：
判断当前是否满足预设定时清理告警数据的条件，若满足则清理所述目标MySQL表与预设时间段对应的告警数据。
8.一种ES告警数据回填装置，其特征在于，包括：
判断模块，用于判断当前是否存在预设写入失败信息；
写入模块，用于若是则将ETL引擎的当前告警数据写入预设消息发布订阅系统；
校验模块，用于当获取预设告警数据回填命令时，校验所述预设消息发布订阅系统是否满足预设连通性条件；
回填模块，用于若满足则从所述预设消息发布订阅系统中拉取所述当前告警数据，并将所述当前告警数据回填至预设ES的目标MySQL表。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的ES告警数据回填方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的ES告警数据回填方法的步骤。
CN202211181631.9A 2022-09-27 2022-09-27 Es告警数据回填方法、装置、设备及介质 Pending CN115510064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211181631.9A CN115510064A (zh) 2022-09-27 2022-09-27 Es告警数据回填方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211181631.9A CN115510064A (zh) 2022-09-27 2022-09-27 Es告警数据回填方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115510064A true CN115510064A (zh) 2022-12-23

Family

ID=84506182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211181631.9A Pending CN115510064A (zh) 2022-09-27 2022-09-27 Es告警数据回填方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115510064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452068A (zh) * 2023-06-13 2023-07-18 深圳市明源云科技有限公司 告警运维效率检测方法、装置、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452068A (zh) * 2023-06-13 2023-07-18 深圳市明源云科技有限公司 告警运维效率检测方法、装置、电子设备及可读存储介质
CN116452068B (zh) * 2023-06-13 2023-10-10 深圳市明源云科技有限公司 告警运维效率检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109902255B (zh) 页面混合浏览记录生成方法、装置、设备和存储介质
CN115510064A (zh) Es告警数据回填方法、装置、设备及介质
CN112988433A (zh) 用于故障管理的方法、设备和计算机程序产品
CN113626280A (zh) 集群状态控制方法、装置、电子设备及可读存储介质
CN111737275A (zh) 数据库更新事件处理方法、装置及计算机可读存储介质
CN111953569B (zh) 状态信息上报方法、装置、设备及介质
CN114189429A (zh) 一种服务器集群故障的监测系统、方法、装置及介质
EP2940540A1 (en) Power system monitoring and control system
CN111078693B (zh) 用于生成数据库记录主键的方法和装置
CN117435569A (zh) 缓存系统动态扩容方法、装置、设备、介质和程序产品
CN106886477A (zh) 一种云系统中监控阈值设定方法及装置
CN111104198A (zh) 一种提高扫描系统插件运行效率的方法、设备及介质
CN113590287B (zh) 任务处理方法、装置、设备、存储介质及调度系统
CN113326172B (zh) 一种运维知识的处理方法、装置及设备
CN114721876A (zh) 一种数据备份方法、装置、介质
CN109857720B (zh) 数据库表监控方法、装置、计算机装置及可读存储介质
CN111858234A (zh) 一种任务执行方法、装置、设备、介质
CN112488462A (zh) 一种工作流数据的统一推送方法、装置及介质
CN112988497A (zh) 管理备份系统的方法、电子设备和计算机程序产品
CN116684306B (zh) 一种故障预测方法、装置、设备及可读存储介质
CN106293897B (zh) 组件自动化调度系统
CN112732533B (zh) 工业监控软件运行脚本程序的方法、装置和可读介质
CN114301927B (zh) 一种分布式系统中主节点选取方法、装置及介质
CN115905186A (zh) 一种数据迁移方法、装置、设备、存储介质
CN114840277A (zh) 数据同步方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination