CN114239750A - 告警数据处理方法、装置、存储介质和设备 - Google Patents

告警数据处理方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN114239750A
CN114239750A CN202111600543.3A CN202111600543A CN114239750A CN 114239750 A CN114239750 A CN 114239750A CN 202111600543 A CN202111600543 A CN 202111600543A CN 114239750 A CN114239750 A CN 114239750A
Authority
CN
China
Prior art keywords
alarm data
alarm
data
historical
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111600543.3A
Other languages
English (en)
Inventor
胡思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202111600543.3A priority Critical patent/CN114239750A/zh
Publication of CN114239750A publication Critical patent/CN114239750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种告警数据处理方法、装置、存储介质和设备，获取预设的监控告警系统在当前时间段内所采集的告警数据。对告警数据进行分词，得到多个词语。对各个词语进行向量转换，得到告警数据的词向量矩阵。将词向量矩阵输入至告警分类模型中，得到告警分类模型输出的分类结果，分类结果用于指示告警数据的类型。向用户发送告警数据，以及告警数据的类型。本申请所示方案利用告警数据的词向量矩阵，作为告警分类的参考特征，并利用告警分类模型对词向量矩阵进行分类，得到告警数据的类型。相较于现有技术，无需人工参与告警数据的分类过程，不仅有效提高了告警数据的处理效率，而且还能够提高告警数据分类结果的可靠性。

Description

告警数据处理方法、装置、存储介质和设备
技术领域
本申请涉及大数据处理领域，尤其涉及一种告警数据处理方法、装置、存储介质和设备。
背景技术
近年来随着云计算业务的广泛部署、网络和通信系统的不断发展，金融机构内部的IT架构在数量和规模上也不断扩展，例如，IT系统的服务器、存储设备、网络设备等数量越来越多。由于IT系统结构复杂多样，因此保障IT系统的稳定性、可用性和高效性的运维工作必不可少，负责运维工作的运维人员任务愈加繁重。为了减轻运维人员的工作压力，通常会使用监控告警系统来辅助运维人员处理运维工作。
目前，现有的监控告警系统产生的海量告警数据，还需依靠人工对告警数据进行归类划分，运维人员的运维任务仍旧十分繁重。并且，受限于人为分类的主观性，对告警数据进行分类的效率十分低下，且分类结果的误判次数较多、还需额外花费时间重新进行分类，从而降低了告警数据的处理效率。
发明内容
本申请提供了一种告警数据处理方法、装置、存储介质和设备，目的在于提高告警数据的处理效率。
为了实现上述目的，本申请提供了以下技术方案：
一种告警数据处理方法，包括：
获取预设的监控告警系统在当前时间段内所采集的告警数据；
对所述告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述告警数据的词向量矩阵；
将所述词向量矩阵输入至告警分类模型中，得到所述告警分类模型输出的分类结果；所述告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到；所述样本告警数据为：所述监控告警系统在以往时间段内所采集的各个历史告警数据；所述分类结果用于指示所述告警数据的类型；
向用户发送所述告警数据，以及所述告警数据的类型。
可选的，所述对所述告警数据进行分词，得到多个词语，包括：
删除所述告警数据中的无效数据，得到有效告警数据；
对所述有效告警数据进行分词，得到多个词语。
可选的，所述对所述告警数据进行分词，得到多个词语，包括：
将所述告警数据输入至预设的自然语言处理模型中，得到所述自然语言处理模型输出的分词结果；其中，所述分词结果包括多个词语。
可选的，所述基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到所述告警分类模型的过程，包括：
获取所述监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个所述历史告警数据所标定的类型标签；
对于每个所述历史告警数据，删除所述历史告警数据中的无效数据，得到有效历史告警数据；
对所述有效历史告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述历史告警数据的词向量矩阵；
按照所述历史告警数据的发生时间由早到晚的顺序，对各个所述历史告警数据的词向量矩阵进行排序，得到特征序列；所述特征序列中的每个特征，均代表每个所述历史告警数据的词向量矩阵；
将所述特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络模型中，获得每个所述训练样本的预测结果，并基于每个所述训练样本的预测结果，以及与每个所述训练样本对应的类型标签，利用预设的损失函数训练调整所述长短时记忆神经网络模型的参数，得到所述告警分类模型。
一种告警数据处理装置，包括：
数据获取单元，用于获取预设的监控告警系统在当前时间段内所采集的告警数据；
数据分词单元，用于对所述告警数据进行分词，得到多个词语；
向量转换单元，用于对各个所述词语进行向量转换，得到所述告警数据的词向量矩阵；
类型预测单元，用于将所述词向量矩阵输入至告警分类模型中，得到所述告警分类模型输出的分类结果；所述告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到；所述样本告警数据为：所述监控告警系统在以往时间段内所采集的各个历史告警数据；所述分类结果用于指示所述告警数据的类型；
数据发送单元，用于向用户发送所述告警数据，以及所述告警数据的类型。
可选的，所述数据分词单元具体用于：
删除所述告警数据中的无效数据，得到有效告警数据；
对所述有效告警数据进行分词，得到多个词语。
可选的，所述数据分词单元具体用于：
将所述告警数据输入至预设的自然语言处理模型中，得到所述自然语言处理模型输出的分词结果；其中，所述分词结果包括多个词语。
可选的，所述类型预测单元具体用于：
获取所述监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个所述历史告警数据所标定的类型标签；
对于每个所述历史告警数据，删除所述历史告警数据中的无效数据，得到有效历史告警数据；
对所述有效历史告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述历史告警数据的词向量矩阵；
按照所述历史告警数据的发生时间由早到晚的顺序，对各个所述历史告警数据的词向量矩阵进行排序，得到特征序列；所述特征序列中的每个特征，均代表每个所述历史告警数据的词向量矩阵；
将所述特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络模型中，获得每个所述训练样本的预测结果，并基于每个所述训练样本的预测结果，以及与每个所述训练样本对应的类型标签，利用预设的损失函数训练调整所述长短时记忆神经网络模型的参数，得到所述告警分类模型。
一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的告警数据处理方法。
一种告警数据处理设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的告警数据处理方法。
本申请提供的技术方案，获取预设的监控告警系统在当前时间段内所采集的告警数据。对告警数据进行分词，得到多个词语。对各个词语进行向量转换，得到告警数据的词向量矩阵。将词向量矩阵输入至告警分类模型中，得到告警分类模型输出的分类结果。告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对样本告警数据所标定的类型标签作为训练目标，预先训练得到。样本告警数据为：监控告警系统在以往时间段内所采集的各个历史告警数据。分类结果用于指示告警数据的类型。向用户发送告警数据，以及告警数据的类型。本申请所示方案利用告警数据的词向量矩阵，作为告警分类的参考特征，并以LSTM模型作为参考模型，构建告警分类模型，利用告警分类模型对词向量矩阵进行分类，得到告警数据的类型。相较于现有技术，无需人工参与告警数据的分类过程，不仅有效提高了告警数据的处理效率，而且还能够提高告警数据分类结果的可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种告警数据处理方法的流程示意图；
图2为本申请实施例提供的另一种告警数据处理方法的流程示意图；
图3为本申请实施例提供的一种告警数据处理装置的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，为本申请实施例提供的一种告警数据处理方法的流程示意图，包括如下步骤：
S101：获取监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个历史告警数据所标定的类型标签。
其中，人工针对每个历史告警数据所标定的类型标签，用于指示历史告警数据的类型，具体的类型可以设为告警级别，例如，类型标签可设为低级、中级和高级中任意一项。
S102：对于每个历史告警数据，删除历史告警数据中的无效数据，得到有效历史告警数据。
其中，删除历史告警数据中的无效数据的具体实现方式，为本领域技术人员所熟悉的技术手段，例如，可利用规则表达式，删除历史告警数据中的无效数据。
需要说明的是，告警数据的数据格式一般都是文本，即可将告警数据视为告警文本，在实际应用中，告警文本都会掺杂诸如HTML标签等无效内容的字段，为此，删除历史告警数据中的无效数据，可以理解为删除历史告警文本中的无效字段(诸如HTML标签等无效内容的字段)，得到有效历史告警文本(即有效历史告警数据)。
S103：对有效历史告警数据进行分词，得到多个词语(token)。
其中，对有效历史告警数据进行分词的具体实现过程，包括但不限于为：采用自然语言处理模型，对有效历史告警数据进行分词。所谓的分词，可以理解为：按照特定需求，将告警文本切分成一个字符串序列(字符串序列所包含的各个元素一般均称为token)。
具体的，假设有效历史告警数据为“服务器磁盘繁忙”，对有效历史告警数据进行分词，得到“服务器”、“磁盘”以及“繁忙”三个词语。
S104：对各个词语进行向量转换，得到历史告警数据的词向量矩阵。
其中，对各个词语进行向量转换的具体实现过程，包括但不限于为：采用word2vec模型，对各个词语进行向量转换。
S105：按照历史告警数据的发生时间由早到晚的顺序，对各个历史告警数据的词向量矩阵进行排序，得到特征序列。
其中，特征序列中的每个特征，均代表每个历史告警数据的词向量矩阵。
需要说明的是，由于各个历史告警数据是由监控告警系统在以往时间段内所采集得到，因此，可以按照历史告警数据的发生时间由早到晚的顺序，对各个历史告警数据进行排序，得到历史告警数据序列X。显然，X作为监控告警系统在以往时间段内所采集的历史告警数据集合，可以将X视为时序数据。进一步，各个历史告警数据的词向量矩阵，即特征序列中的各个特征，同样也属于时序数据，为此，可以将特征序列视为Xt＝(x1，x2，...，xi，...)。
S106：将特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络(Long Short-Term Memory，LSTM)模型中，获得每个训练样本的预测结果，并基于每个训练样本的预测结果，以及与每个训练样本对应的类型标签，利用预设的损失函数训练调整LSTM模型的参数，得到告警分类模型。
其中，基于历史告警数据、有效历史告警数据、词向量矩阵、特征以及训练样本的对应关系可知，与每个训练样本对应的类型标签，其实质就是每个历史告警数据的类型标签。
对于LSTM模型来讲，LSTM模型包含有遗忘门(forget gate)、输入门(inputgate)、记忆单元以及输出门(output gate)，且LSTM模型中保存的历史信息(即各个训练样本)受输入门、遗忘门和输出门的控制。
需要说明的是，遗忘门用于控制历史信息对当前记忆单元的影响，遗忘门的计算过程如公式(1)所示：
ft＝σ(Wf·[ht-1，xt，ct-1]+bf) (1)。
在公式(1)中，ft代表遗忘门当前时刻(即将t时刻视为当前时刻，在本申请实施例中，利用特征序列中各个特征的序位充当时刻，即将第t位视为t时刻)的状态值，σ代表激活函数(具体为sigmoid函数)，Wf代表遗忘门的权值矩阵，ht-1代表LSTM模型上一时刻的输出状态值，xt代表当前时刻输入的训练样本(即特征序列中的第t位特征)，ct-1代表上一时刻的记忆单元值，bf代表预设的偏置参数。
输入门的计算过程如公式(2)所示：
it＝σ(Wi·[ht-1，xt，ct-1]+bi) (2)。
在公式(2)中，it代表输入门当前时刻的状态值，σ代表激活函数，Wi代表输入门的权值矩阵，ht-1代表LSTM模型上一时刻的输出状态值，xt代表当前时刻输入的训练样本，ct-1代表上一时刻的记忆单元值，bi代表预设的偏置参数。
记忆单元的计算过程如公式(3)和(4)所示：
Figure BDA0003431562580000081
在公式(3)中，
Figure BDA0003431562580000082
代表记忆单元当前时刻的候选值，tanh代表激活函数，Wc代表记忆单元的权值矩阵，ht-1代表LSTM模型上一时刻的输出状态值，xt代表当前时刻输入的训练样本，bc代表预设的偏置参数。
Figure BDA0003431562580000083
在公式(4)中，ct代表记忆单元当前时刻的状态值，ft代表遗忘门当前时刻的状态值，*代表元素间的点积，ct-1代表记忆单元上一时刻的状态值，it代表输入门当前时刻的状态值，
Figure BDA0003431562580000084
代表记忆单元当前时刻的候选值。
输出门的计算过程如公式(5)所示：
ot＝σ(Wo·[ht-1，xt，ct-1]+bo) (5)。
在公式(5)中，ot代表输出门当前时刻的状态值，σ代表激活函数，Wo代表输出门的权值矩阵，ht-1代表LSTM模型上一时刻的输出状态值，xt代表当前时刻输入的训练样本，ct-1代表上一时刻的记忆单元值，bo代表预设的偏置参数。
此外，LSTM模型当前时刻的输出状态值的计算过程如公式(6)所示：
ht＝ot*tanh(ct) (6)。
在公式(6)中，ht代表LSTM模型当前时刻的输出状态值，ot代表输出门当前时刻的状态值，tanh代表激活函数，ct代表记忆单元当前时刻的状态值。
需要强调的是，在训练得出告警分类模型之后，还可以利用预先准备的其它特征序列中的各个特征作为测试样本，测试告警分类模型的分类效果。当然，告警分类模型的测试过程与其自身的训练过程一致，这里不再赘述。
S107：获取监控告警系统在当前时间段内所采集的告警数据。
S108：删除告警数据中的无效数据，得到有效告警数据。
其中，S108的具体执行过程和实现原理，与上述S102的具体执行过程和实现原理一致，这里不再赘述。
S109：对有效告警数据进行分词，得到多个词语。
可选的，可以将有效告警数据输入至预设的自然语言处理模型中，得到自然语言处理模型输出的分词结果，其中，分词结果包括多个词语。
S110：对各个词语进行向量转换，得到告警数据的词向量矩阵。
S111：将告警数据的词向量矩阵输入至告警分类模型中，得到告警分类模型输出的分类结果。
其中，分类结果用于指示告警数据的类型。
S112：向用户发送告警数据，以及告警数据的类型。
其中，所谓的用户可以理解为数据中心的运维人员。
综上所述，本实施例所示方案利用告警数据的词向量矩阵，作为告警分类的参考特征，并以LSTM模型作为参考模型，构建告警分类模型，利用告警分类模型对词向量矩阵进行分类，得到告警数据的类型。相较于现有技术，无需人工参与告警数据的分类过程，不仅有效提高了告警数据的处理效率，而且还能够提高告警数据分类结果的可靠性。
需要说明的是，上述实施例提及的S101，为本申请所述告警数据处理方法的一种可选的实现方式。此外，上述实施例提及的S103，也为本申请所述告警数据处理方法的一种可选的实现方式。为此，上述实施例提及的流程，可以概括为图2所示的方法。
如图2所示，为本申请实施例提供的另一种告警数据处理方法的流程示意图，包括如下步骤：
S201：获取预设的监控告警系统在当前时间段内所采集的告警数据。
S202：对告警数据进行分词，得到多个词语。
S203：对各个词语进行向量转换，得到告警数据的词向量矩阵。
S204：将词向量矩阵输入至告警分类模型中，得到告警分类模型输出的分类结果。
其中，告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对样本告警数据所标定的类型标签作为训练目标，预先训练得到；样本告警数据为：监控告警系统在以往时间段内所采集的各个历史告警数据；分类结果用于指示告警数据的类型。
S205：向用户发送告警数据，以及告警数据的类型。
综上所述，本实施例所示方案利用告警数据的词向量矩阵，作为告警分类的参考特征，并利用告警分类模型对词向量矩阵进行分类，得到告警数据的类型。相较于现有技术，无需人工参与告警数据的分类过程，不仅有效提高了告警数据的处理效率，而且还能够提高告警数据分类结果的可靠性。
与上述本申请实施例提供的告警数据处理方法相对应，本申请实施例还提供了一种告警数据处理装置。
如图3所示，为本申请实施例提供的一种告警数据处理装置的架构示意图，包括：
数据获取单元100，用于获取预设的监控告警系统在当前时间段内所采集的告警数据。
数据分词单元200，用于对告警数据进行分词，得到多个词语。
其中，数据分词单元200具体用于：删除告警数据中的无效数据，得到有效告警数据；对有效告警数据进行分词，得到多个词语。
数据分词单元200具体用于：将告警数据输入至预设的自然语言处理模型中，得到自然语言处理模型输出的分词结果；其中，分词结果包括多个词语。
向量转换单元300，用于对各个词语进行向量转换，得到告警数据的词向量矩阵。
类型预测单元400，用于将词向量矩阵输入至告警分类模型中，得到告警分类模型输出的分类结果；告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对样本告警数据所标定的类型标签作为训练目标，预先训练得到；样本告警数据为：监控告警系统在以往时间段内所采集的各个历史告警数据；分类结果用于指示告警数据的类型。
其中，类型预测单元400具体用于：获取监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个历史告警数据所标定的类型标签；对于每个历史告警数据，删除历史告警数据中的无效数据，得到有效历史告警数据；对有效历史告警数据进行分词，得到多个词语；对各个词语进行向量转换，得到历史告警数据的词向量矩阵；按照历史告警数据的发生时间由早到晚的顺序，对各个历史告警数据的词向量矩阵进行排序，得到特征序列；特征序列中的每个特征，均代表每个历史告警数据的词向量矩阵；将特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络模型中，获得每个训练样本的预测结果，并基于每个训练样本的预测结果，以及与每个训练样本对应的类型标签，利用预设的损失函数训练调整长短时记忆神经网络模型的参数，得到告警分类模型。
数据发送单元500，用于向用户发送告警数据，以及告警数据的类型。
综上所述，本实施例所示方案利用告警数据的词向量矩阵，作为告警分类的参考特征，并利用告警分类模型对词向量矩阵进行分类，得到告警数据的类型。相较于现有技术，无需人工参与告警数据的分类过程，不仅有效提高了告警数据的处理效率，而且还能够提高告警数据分类结果的可靠性。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本申请提供的告警数据处理方法。
本申请还提供了一种告警数据处理设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本申请提供的告警数据处理方法，包括如下步骤：
获取预设的监控告警系统在当前时间段内所采集的告警数据；
对所述告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述告警数据的词向量矩阵；
将所述词向量矩阵输入至告警分类模型中，得到所述告警分类模型输出的分类结果；所述告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到；所述样本告警数据为：所述监控告警系统在以往时间段内所采集的各个历史告警数据；所述分类结果用于指示所述告警数据的类型；
向用户发送所述告警数据，以及所述告警数据的类型。
具体的，在上述实施例的基础上，所述对所述告警数据进行分词，得到多个词语，包括：
删除所述告警数据中的无效数据，得到有效告警数据；
对所述有效告警数据进行分词，得到多个词语。
具体的，在上述实施例的基础上，所述对所述告警数据进行分词，得到多个词语，包括：
将所述告警数据输入至预设的自然语言处理模型中，得到所述自然语言处理模型输出的分词结果；其中，所述分词结果包括多个词语。
具体的，在上述实施例的基础上，所述基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到所述告警分类模型的过程，包括：
获取所述监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个所述历史告警数据所标定的类型标签；
对于每个所述历史告警数据，删除所述历史告警数据中的无效数据，得到有效历史告警数据；
对所述有效历史告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述历史告警数据的词向量矩阵；
按照所述历史告警数据的发生时间由早到晚的顺序，对各个所述历史告警数据的词向量矩阵进行排序，得到特征序列；所述特征序列中的每个特征，均代表每个所述历史告警数据的词向量矩阵；
将所述特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络模型中，获得每个所述训练样本的预测结果，并基于每个所述训练样本的预测结果，以及与每个所述训练样本对应的类型标签，利用预设的损失函数训练调整所述长短时记忆神经网络模型的参数，得到所述告警分类模型。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种告警数据处理方法，其特征在于，包括：
获取预设的监控告警系统在当前时间段内所采集的告警数据；
对所述告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述告警数据的词向量矩阵；
将所述词向量矩阵输入至告警分类模型中，得到所述告警分类模型输出的分类结果；所述告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到；所述样本告警数据为：所述监控告警系统在以往时间段内所采集的各个历史告警数据；所述分类结果用于指示所述告警数据的类型；
向用户发送所述告警数据，以及所述告警数据的类型。
2.根据权利要求1所述的方法，其特征在于，所述对所述告警数据进行分词，得到多个词语，包括：
删除所述告警数据中的无效数据，得到有效告警数据；
对所述有效告警数据进行分词，得到多个词语。
3.根据权利要求1所述的方法，其特征在于，所述对所述告警数据进行分词，得到多个词语，包括：
将所述告警数据输入至预设的自然语言处理模型中，得到所述自然语言处理模型输出的分词结果；其中，所述分词结果包括多个词语。
4.根据权利要求1所述的方法，其特征在于，所述基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到所述告警分类模型的过程，包括：
获取所述监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个所述历史告警数据所标定的类型标签；
对于每个所述历史告警数据，删除所述历史告警数据中的无效数据，得到有效历史告警数据；
对所述有效历史告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述历史告警数据的词向量矩阵；
按照所述历史告警数据的发生时间由早到晚的顺序，对各个所述历史告警数据的词向量矩阵进行排序，得到特征序列；所述特征序列中的每个特征，均代表每个所述历史告警数据的词向量矩阵；
将所述特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络模型中，获得每个所述训练样本的预测结果，并基于每个所述训练样本的预测结果，以及与每个所述训练样本对应的类型标签，利用预设的损失函数训练调整所述长短时记忆神经网络模型的参数，得到所述告警分类模型。
5.一种告警数据处理装置，其特征在于，包括：
数据获取单元，用于获取预设的监控告警系统在当前时间段内所采集的告警数据；
数据分词单元，用于对所述告警数据进行分词，得到多个词语；
向量转换单元，用于对各个所述词语进行向量转换，得到所述告警数据的词向量矩阵；
类型预测单元，用于将所述词向量矩阵输入至告警分类模型中，得到所述告警分类模型输出的分类结果；所述告警分类模型基于样本告警数据的词向量矩阵作为输入，并以人工针对所述样本告警数据所标定的类型标签作为训练目标，预先训练得到；所述样本告警数据为：所述监控告警系统在以往时间段内所采集的各个历史告警数据；所述分类结果用于指示所述告警数据的类型；
数据发送单元，用于向用户发送所述告警数据，以及所述告警数据的类型。
6.根据权利要求5所述的装置，其特征在于，所述数据分词单元具体用于：
删除所述告警数据中的无效数据，得到有效告警数据；
对所述有效告警数据进行分词，得到多个词语。
7.根据权利要求5所述的装置，其特征在于，所述数据分词单元具体用于：
将所述告警数据输入至预设的自然语言处理模型中，得到所述自然语言处理模型输出的分词结果；其中，所述分词结果包括多个词语。
8.根据权利要求5所述的装置，其特征在于，所述类型预测单元具体用于：
获取所述监控告警系统在以往时间段内所采集的各个历史告警数据，以及人工针对每个所述历史告警数据所标定的类型标签；
对于每个所述历史告警数据，删除所述历史告警数据中的无效数据，得到有效历史告警数据；
对所述有效历史告警数据进行分词，得到多个词语；
对各个所述词语进行向量转换，得到所述历史告警数据的词向量矩阵；
按照所述历史告警数据的发生时间由早到晚的顺序，对各个所述历史告警数据的词向量矩阵进行排序，得到特征序列；所述特征序列中的每个特征，均代表每个所述历史告警数据的词向量矩阵；
将所述特征序列中的各个特征作为训练样本，输入至预设的长短时记忆神经网络模型中，获得每个所述训练样本的预测结果，并基于每个所述训练样本的预测结果，以及与每个所述训练样本对应的类型标签，利用预设的损失函数训练调整所述长短时记忆神经网络模型的参数，得到所述告警分类模型。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1-4任一所述的告警数据处理方法。
10.一种告警数据处理设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-4任一所述的告警数据处理方法。
CN202111600543.3A 2021-12-24 2021-12-24 告警数据处理方法、装置、存储介质和设备 Pending CN114239750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111600543.3A CN114239750A (zh) 2021-12-24 2021-12-24 告警数据处理方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111600543.3A CN114239750A (zh) 2021-12-24 2021-12-24 告警数据处理方法、装置、存储介质和设备

Publications (1)

Publication Number Publication Date
CN114239750A true CN114239750A (zh) 2022-03-25

Family

ID=80762691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111600543.3A Pending CN114239750A (zh) 2021-12-24 2021-12-24 告警数据处理方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN114239750A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968271A (zh) * 2022-05-26 2022-08-30 北京金堤科技有限公司 模型部署方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968271A (zh) * 2022-05-26 2022-08-30 北京金堤科技有限公司 模型部署方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108737406B (zh) 一种异常流量数据的检测方法及系统
CN112950231A (zh) 一种基于XGBoost算法的异常用户识别方法、设备及计算机可读存储介质
CN108596630B (zh) 基于深度学习的欺诈交易识别方法、系统及存储介质
CN111881983A (zh) 基于分类模型的数据处理方法、装置、电子设备及介质
US11037027B2 (en) Computer architecture for and-or neural networks
CN111371767A (zh) 恶意账号识别方法、恶意账号识别装置、介质及电子设备
CN117041017B (zh) 数据中心的智能运维管理方法及系统
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
CN114399321A (zh) 一种业务系统稳定性分析方法、装置和设备
CN111639607A (zh) 模型训练、图像识别方法和装置、电子设备及存储介质
WO2023159756A1 (zh) 价格数据的处理方法和装置、电子设备、存储介质
CN111159481B (zh) 图数据的边预测方法、装置及终端设备
CN116167010A (zh) 具有智能迁移学习能力的电力系统异常事件快速识别方法
CN114090601B (zh) 一种数据筛选方法、装置、设备以及存储介质
CN114239750A (zh) 告警数据处理方法、装置、存储介质和设备
CN113553577B (zh) 基于超球面变分自动编码器的未知用户恶意行为检测方法及系统
CN111507461B (zh) 可解释性信息确定方法及装置
CN113536784A (zh) 文本处理方法、装置、计算机设备和存储介质
CN114254650A (zh) 一种信息处理方法、装置、设备及介质
CN114091789A (zh) 项目数据波动预测方法、装置、计算机设备和存储介质
Sangeetha et al. Crime Rate Prediction and Prevention: Unleashing the Power of Deep Learning
CN116127386B (zh) 一种样本分类方法、装置、设备和计算机可读存储介质
CN111815442B (zh) 一种链接预测的方法、装置和电子设备
US20240121119A1 (en) Method and Apparatus for Classifying Blockchain Address
He et al. Determining the proper number of proposals for individual images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination