CN111722984B - 告警数据处理方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明涉及金融科技(Fintech)技术领域，并公开了一种告警数据处理方法，该方法包括：基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。本发明还公开了一种告警数据处理装置、设备和一种计算机存储介质。本发明提高了告警数据处理的效率和准确性。

Description

告警数据处理方法、装置、设备及计算机存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及告警数据处理方法、装置、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。传统监控告警系统的告警收敛框架，通过部署在应用系统的网络接口收集应用系统告警信息并存入告警管理平台数据库，再根据存储在告警管理平台数据库中的告警数据进行简单的聚合，最后根据预设的告警发送规则将报警发送给运维人员，这种方式存在很大的缺陷，需要运维人员对各个告警数据进行人工分析与手工屏蔽，并且在整个告警管理平台中，不同部分的告警，都是根据自己独立的数据进行分析，不仅效率和准确性低，而且分析成本高。

发明内容

本发明的主要目的在于提出一种告警数据处理方法、装置、设备及计算机存储介质，旨在解决如何提高告警数据处理的效率和准确性的技术问题。

为实现上述目的，本发明提供一种告警数据处理方法，所述告警数据处理方法包括如下步骤：

基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；

将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；

若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。

可选地，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据的步骤，包括：

获取所述频繁模式树中的所有条件模式基，并根据预设的最小支持度和各所述条件模式基获取所有频繁项集；

根据所述频繁项集和预设的配置规则生成关联规则，并获取所述告警数据中和所述关联规则匹配的匹配告警数据；

根据所述关联规则对所述匹配告警数据进行优化处理，以获取收敛告警数据。

可选地，根据预设的最小支持度和各所述条件模式基获取所有频繁项集的步骤，包括：

获取各所述条件模式基对应的所有频繁项，并依次遍历各所述频繁项，确定当前遍历的当前频繁项对应的目标条件模式基，根据预设的最小支持度和所述目标条件模式基构建条件频繁模式树，并检测所述条件频繁模式树中的最终子节点是否只包含预设数量的元素项；

若是，则在所述条件频繁模式树中获取所述目标频繁项的频繁项集，直至各所述频繁项遍历完成。

可选地，根据预设的最小支持度和目标条件模式基构建条件频繁模式树的步骤，包括：

检测目标条件模式基中各频繁项的支持度是否和预设的最小支持度匹配；

若在各所述频繁项的支持度中存在和预设的最小支持度不匹配的目标支持度，则将所述目标支持度对应的频繁项进行删除，以获取新的目标条件模式基，并根据所述新的目标条件模式基构建条件频繁模式树。

可选地，基于清洗后的告警数据构建频繁模式树的步骤，包括：

对清洗后的告警数据进行扫描，以获取所述清洗后的告警数据中所有元素项出现的频度，并基于各所述频度从预设的空集开始按照预设排列顺序添加各所述元素项，以获取频繁模式树。

可选地，获取所述收敛告警数据对应的告警关联方的关联告警数据的步骤之前，包括：

检测所述告警平台对应的所有系统中是否存在和所述收敛告警数据匹配的目标系统；

若不存在，则确定所述收敛告警数据对应的告警系统中的配置信息，并获取所述配置信息的配置告警信息，将所述配置告警信息和所述收敛告警数据进行关联输出；

若存在，则将所述目标系统作为告警关联方。

可选地，基于清洗后的告警数据构建频繁模式树的步骤之前，包括：

基于预设的分词工具对告警数据进行告警数据清理，并将经过所述告警数据清理的告警数据的数据格式转换为目标格式，将具有目标格式的告警数据作为清洗后的告警数据。

此外，为实现上述目的，本发明还提供一种告警数据处理装置，所述告警数据处理装置包括：

获取模块，用于基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；

检测模块，用于将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；

处理模块，用于若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。

此外，为实现上述目的，本发明还提供一种告警数据处理设备，所述告警数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的告警数据处理程序，所述告警数据处理程序被所述处理器执行时实现如上所述的告警数据处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有告警数据处理程序，所述告警数据处理程序被处理器执行时实现如上所述的告警数据处理方法的步骤。

本发明通过基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。通过根据清洗后的告警数据构建频繁模式树，再根据频繁模式树获取收敛告警数据，并将收敛告警数据和告警关联方的关联告警数据进行合并处理，得到目标告警数据，在目标告警数据和告警处理规则匹配时，对目标告警数据进行处理，避免了现有技术中需要运维人员对各个告警数据进行人工分析的现象发生，降低了分析成本，并且由于会根据告警关联方的关联告警数据进行合并处理，从而也避免了只针对单个系统的告警数据进行分析的现象发生，提高了告警数据分析的准确性，并且不需要人工分析告警数据，也提高了告警数据处理的效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的告警数据处理设备结构示意图；

图2为本发明告警数据处理方法第一实施例的流程示意图；

图3为本发明告警数据处理装置的装置模块示意图；

图4为本发明告警数据处理方法中的告警处理框架示意图；

图5为本发明告警数据处理方法中的告警处理构建FP树和获取条件模式基的流程示意图；

图6为本发明告警数据处理方法中告警关联的流程示意图；

图7为本发明告警数据处理方法中告警数据处理的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的告警数据处理设备结构示意图。

本发明实施例告警数据处理设备可以是PC机或服务器设备，其上运行有Java虚拟机。

如图1所示，该告警数据处理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的告警数据处理设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及告警数据处理程序。

在图1所示的告警数据处理设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的告警数据处理程序，并执行下述告警数据处理方法中的操作。

基于上述硬件结构，提出本发明告警数据处理方法实施例。

参照图2，图2为本发明告警数据处理方法第一实施例的流程示意图，所述方法包括：

步骤S10，基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；

在本实施例中，数据清洗方式可选为结巴分词并去噪，jieba(结巴)分词是一个开源分词框架，提供分词之上的算法，如关键词提取、词性标注等，可以用于对原始告警数据进行数据清洗，即由于在原始告警数据的所有告警字段中，并不是所有告警字段都与告警相关性分析有关，需要进行清洗与整理，即通过jieba分词工具中基于TF-IDF(termfrequency–inverse document frequency，信息检索数据挖掘的常用加权技术)算法的关键词提取功能对原始告警数据进行处理，消除无用的、错误等噪声数据，并根据系统与业务的特性定制每个系统的jieba分词的用户字典，与停用词字典，也就是不同的原始告警数据对应的系统，可以采用不同的jieba分词进行数据清洗处理，并在数据清洗完成后，会对原始告警数据进行格式转换，以获取清洗数据。但是进行数据清洗的方式并不仅仅局限于jieba分词，还可以是其它方式等。

由于现有的技术中，各个系统的数据告警相互独立，一般是针对自己系统的规则进行数据分析从而实现告警。而实际应用过程中，系统之间的数据相互有关联性，若是各个系统独立的规则进行分析，告警分析的结果不太精确，而且效率也低。基于此，本发明实施例中，通过告警收敛对多个系统的相关数据进行收敛，其中，告警收敛是将多条相关性的告警内容合并处理为一条告警信息。FP-growth(Frequent Pattern Tree,频繁模式树)算法是将数据集存储在一个特定的称作FP树的结构，以进行频繁项集或频繁项对的挖掘。关联分析是关联告警系统的上下游系统的告警信息，进行告警的根因分析或告警关联。告警自动屏蔽是根据关联分析结果，对于已知可自动处理的告警(即告警管理平台可以根据一定的规则自行进行恢复处理，而不用人工干预的告警)，调用现有告警管理平台进行自动屏蔽。原始告警数据是告警平台中已有的告警数据。告警平台用户接收各个系统的告警信息(如告警数据)。清洗数据是经过数据清洗的原始告警数据。

在本实施例中，是在传统监控告警系统的告警收敛框架上增加机器学习算法进行告警收敛的优化，并会关联上下游系统的告警与产品自身特性配置进行告警的关联，即如图4所示，告警管理平台先对多个分布式系统告警信息进行告警信息收集，并根据上下游系统关联信息和提前设置人工规则确定目标告警数据，并通过告警分析工具对目标告警数据进行分析，以确定是否需要进行告警自动屏蔽，若是，则进行告警自动屏蔽，若否，则进行告警输出。因此，在本实施例中，需要先获取告警平台中的告警数据，再根据提前设置的数据清洗工具(如jieba分词)对告警数据进行告警数据清理，以获取清洗后的告警数据。

需要说明的是获取收敛告警数据的方式除了FP-growth算法，还可以采用Apriori算法、kMeans聚类等方式获取，在本实施例中，优选采用FP-growth算法。而传统的FP-growth算法，生成的FP树只是针对单个系统(或者针对系统内的单个部件)的数据进行分析，导致FP树生成的维度较为简略，无法对多系统的数据进行关联分析。

本发明实施例中，目标告警数据是事先从各个不同系统中获取的，或者从系统所有配置部件部分中获取的，以便于后续针对更加全面的数据进行分析。也就是在本实施例中可以快速定位上下游系统的关联告警数据，使得针对告警数据的分析结果是关联了上下游系统的关联告警数据后进行分析得到的，提高了对本次的目标告警数据分析的准确性。或者是根据系统自身所有配置部件的配置告警信息进行关联，使得针对本次的目标告警数据分析更加准确。也就是先根据告警数据构建频繁模式树，然后从频繁模式树上挖掘出频繁项集，并根据此频繁项集和人工配置规则生成关联规则，并根据此关联规则将同一故障引起的告警信息进行合并处理，以得到收敛告警数据。因此在获取到清洗数据后，可以先对清洗数据进行两次扫描，第一次扫描是统计清洗数据中所有元素项出现的频度。第二次扫描是根据各个频度对应的元素项构建频繁模式树，具体地：从空集开始，向其中不断添加频繁项集，若频繁模式树中存在现有元素，则增加现有元素的值，若不存在，就向频繁模式树添加一个分支，直至频繁模式树中的最终子节点(频繁模式树分支的最高一个节点)只包含预设数量的元素项，如只包含一个元素项。其中，元素项为清洗后的告警数据中的单个元素。频繁项包括一个或多个元素项和元素项对应的频度。

例如，如图5所示，假设当获取到的频繁项为z：5，r：3，x：4，y：3，s：3，t：3，则可以基于此频繁项进行频繁模式树的创建，从空集开始形成多个分支，如空集到z：5和x:1。并且x：1到s：1，再到r：1，而z：5是到r：1和x：3，再从x：3到y：3，再从y：3到s：2，t：2和从y：3到r：1到t：1。并在频繁模式树创建完成后，可以直接在频繁模式树中获取到各个频繁项对应的条件模式基(即前缀路径)，如z的条件模式基是{}5；r的条件模式基是{x，s}1，{z，x，y}1，{z}1；x的条件模式基是{z}3，{}1；y的条件模式基是{z，x}3；s的条件模式基是{z，x，y}2，{x}1；t的条件模式基是{z，x，y，s}2，{z，x，y，r}1，并根据这些条件模式基进行频繁项集的挖掘，以t为例，由图5可知，t的条件模式基是{z，x，y，s}2，{z，x，y，r}1，若设置的最小支持度是3，则需要对t的条件模式基中小于最小支持度的内容进行去除处理，即去除s和r，得到新的条件模式基{z，x，y}2，{z，x，y}1，并根据新的条件模式基构建条件FP树。再从条件FP树中挖掘频繁项t的频繁项集。也就是先根据元素项获取频繁项，再根据频繁项从空集开始创建频繁模式树，并根据创建好的频繁模式树获取各个频繁项对应的条件模式基，再对这些条件模式基进行相应处理，如对最小支持度的内容进行去除处理，得到各个条件模式即对应的新的条件模式基，再根据各个新的条件模式基构建条件频繁模式树，并根据条件频繁模式树获取各个频繁项对应的频繁项集。

当获取到频繁项集后，需要根据频繁项集生成关联规则，即先获取预设的规则(比如从所有频繁项集中遍历每个元素项，拉取包含每个元素项长度最长的集合；或者是从频繁项集中遍历每个元素项，针对遍历的每个元素项对应的集合都进行相似度计算，拉取每个元素项相似度最高的集合等)，再根据预设的规则和频繁项集生成关联规则，再根据此关联规则在告警管理平台中拉取和关联规则对应的告警数据，并进行整合处理(如摒弃告警内容相互包含的告警信息)，得到收敛告警数据。并且由于告警管理平台是接收多个系统的告警信息的，因此还需要确定收敛告警数据对应的系统是否存在关联系统产生的关联告警数据，若有，则需要在告警平台中获取关联告警数据。

步骤S20，将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；

将获取到的收敛告警数据和关联告警数据进行合并处理，得到目标告警数据，再检测目标告警数据是否和预设的告警处理规则匹配，并根据不同的检测结果执行不同的操作。例如，如图6所示，在获取到收敛后告警信息(即收敛告警数据)和人工配置规则1，先读取该人工配置规则1，判断是否存在和收敛后告警信息匹配的告警关联方，若可以匹配到人工规则1的告警信息，则可以根据规则匹配到的系统关联方获取上下游系统配置与告警信息，然后关联收敛后的告警信息，其中，上游产品系统配置与告警信息包括上游系统A，上游系统B和上游系统C等，具体的上游系统的数量不限，同理下游产品系统配置与告警信息包括下游系统A，下游系统B和下游系统C等，具体的下游系统的数量不限。在和上下游系统的告警信息关联后，得到目标告警数据，需要在告警管理平台中获取人工配置规则2，即读取人工配置规则2，判断目标告警数据是否可以被提前设置的告警处理规则进行自动处理，也就是对命中规则的告警信息先调用告警管理平台进行屏蔽处理，然后将告警平台反馈信息关联到告警信息，并将未匹配到的告警信息进行正常输出。若未能命中人工配置规则1的告警信息，则需要通过告警管理平台获取配置管理数据库，并上传配置管理数据库或者自身系统的配置信息，如主机信息，db(数据库)信息等。再根据获取到的配置信息，上告警管理平台获取对应告警信息，然后关联收敛后的告警信息输出。最后整合单次扫描的告警信息，并且将告警信息输出。又例如，从人工配置规则1中匹配到A产品，实名认证相关，而且是交易量掉0告警，则去拉取A产品系统的产品配置信息与告警信息，分析其是否存在某个关联系统，在告警相关时间段存在灰卡的配置与告警(A产品，工行，在YYYY-MM-DD HH:mm:ss-YYYY-MM-DD HH:mm:ss存在灰卡告警)，没有关联到灰卡信息则拉取产品系统故障相关的告警信息与原收敛告警信息相关联。并且在匹配到产品的灰卡记录，而且命中人工规则2中系统可自动处理的规则，则带上告警内容与上一步或者到的银行灰卡时间段的信息调告警管理平台告警屏蔽的接口，进行告警的自动处理。

步骤S30，若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。

当经过判断发现目标告警数据和告警处理规则匹配，则根据此告警处理规则对目标告警数据进行处理。也就是对于已知可自动处理的目标告警数据，通过调用告警管理平台的告警屏蔽接口进行自动屏蔽，并根据告警处理规则自动进行处理。也就是对目标告警数据进行告警根源分析与自动屏蔽。若目标告警数据和告警处理规则不匹配，则直接输出目标告警数据。

另外，为辅助理解对告警数据处理的原理的理解，下面进行举例说明。

例如，如图7所示，告警管理平台先对多个分布式系统告警信息进行告警信息收集，再对告警管理平台中的原始告警数据进行告警数据清理(即可以使用jieba分词的TF-IDF算法对告警进行数据的处理)，再利用FP-growth算法进行告警收敛，并根据数据清理后的数据构建FP树，从FP树挖掘频繁项集，并根据人工配置规则生成关联规则，进行告警收敛输出，再关联上下游系统的告警与产品特性，进行告警根因分析与告警自动屏蔽，即根据上下游系统关联信息，上游产品系统和人工配置规则对收敛告警进一步处理，以确定是否需要对告警管理平台进行屏蔽处理，并在不需要进行屏蔽处理时，进行关联与根因分析后告警数据输出，直至将告警信息输出。

在本实施例中，通过基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。通过根据清洗后的告警数据构建频繁模式树，再根据频繁模式树获取收敛告警数据，并将收敛告警数据和告警关联方的关联告警数据进行合并处理，得到目标告警数据，在目标告警数据和告警处理规则匹配时，对目标告警数据进行处理，避免了现有技术中需要运维人员对各个告警数据进行人工分析的现象发生，降低了分析成本，并且由于会根据告警关联方的关联告警数据进行合并处理，从而也避免了只针对单个系统的告警数据进行分析的现象发生，提高了告警数据分析的准确性，并且不需要人工分析告警数据，也提高了告警数据处理的效率。

进一步地，基于本发明告警数据处理方法第一实施例，提出本发明告警数据处理方法第二实施例。本实施例是本发明第一实施例的步骤S10，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据的步骤的细化，包括：

步骤a，获取所述频繁模式树中的所有条件模式基，并根据预设的最小支持度和各所述条件模式基获取所有频繁项集；

在本实施例中，还需要获取频繁模式树中的所有条件模式基，即前缀路径。例如，若在FP树中，存在有空集到x：1,再到s：1，最后到r：1的分支，且r在FP树中有且只存在一个，则r的条件模式基就是{x，s，r}1。并在获取到某一个条件模式基后，需要获取用户提前设置的最小支持度，并将此条件模式基中小于最小支持度内容的元素项删除，形成新的条件模式基，根据此新的条件模式基在FP树中挖掘与该新的条件模式基对应的频繁项集。需要说明的是，在本实施例中，对获取到的所有条件模式基都采用相同的方式进行处理，以挖掘所有频繁项集。其中，频繁项集是元素项大于最小支持度的集合。

步骤b，根据所述频繁项集和预设的配置规则生成关联规则，并获取所述原始告警数据中和所述关联规则匹配的匹配告警数据。

当获取到所有频繁项集后，可以根据预设的配置规则在各个频繁项集中确定关联规则，并根据关联规则在告警管理平台中的原告警数据中获取和关联规则对应的告警数据，并对此告警数据进行处理(如摈弃告警内容相互包含的告警信息)，以获取收敛告警数据。其中，配置规则可以是用户提前设置的规则，例如，从频繁项集中遍历每个元素项，拉取包含每个元素项长度最长的集合，又或者是从频繁项集中遍历每个元素项，针对遍历的每个元素项对应的集合都进行相似度计算，拉取每个元素项相似度最高的集合等。并且当根据频繁项集获取到关联规则后，需要在原始告警数据中获取和关联规则匹配的匹配告警数据。例如，当关联规则是每个元素项长度最长的集合时，则需要在原始告警数据中获取和每个元素项长度最长的集合对应的告警数据，即匹配告警数据。例如，当频繁项t的频繁项集为{t}、{t，z}和{t，z，x，y}时，若预设的配置规则是选取元素项长度最长的集合，则可以确定{t，z，x，y}为关联规则，并根据{t，z，x，y}在告警数据中获取匹配告警数据。其中，关联规则的生成是根据预设的配置规则在频繁项集中进行刷选，并将刷选结果作为关联规则。

步骤c，根据所述关联规则对所述匹配告警数据进行优化处理，以获取收敛告警数据。

当获取到匹配告警数据后，需要根据此关联规则对匹配告警数据进行优化处理，例如摈弃告警内容相互包含的告警信息，格式调整等。并将经过优化处理后的匹配告警数据作为收敛告警数据。

在本实施例中，通过获取频繁模式树中的所有频繁项集，并根据所有频繁项集和关联规则获取目标告警数据，并对目标告警数据进行优化处理，以获取收敛告警数据，从而保障了获取到的收敛告警数据的有效性。

进一步地，根据预设的最小支持度和各所述条件模式基获取所有频繁项集的步骤，包括：

步骤d，获取各所述条件模式基对应的所有频繁项，并依次遍历各所述频繁项，确定当前遍历的当前频繁项对应的目标条件模式基，根据预设的最小支持度和所述目标条件模式基构建条件频繁模式树，并检测所述条件频繁模式树中的最终子节点是否只包含预设数量的元素项；

在本实施例中，当通过频繁模式树获取到所有条件模式基时，还需要获取所有条件模式基对应的各个频繁项。例如，如条件模式基是{x，s，r}1，则该条件模式基对应的频繁项就是r。并会依次遍历各个频繁项，确定当前遍历的当前频繁项对应的所有条件模式基，并将其作为目标条件模式基。其中，目标条件模式基的数量可以是一个或多个。然后再确定所有目标条件模式基中各个频繁项的支持度是否和预设的最小支持度匹配，并将不匹配的支持度对应的频繁项进行删除，得到新的目标条件模式基，再根据新的目标条件模式基构建条件频繁模式树，即从空集开始按照目标条件模式基中的顺序在频繁模式树中进行挖掘，并将挖掘过程形成的频繁树作为条件频繁模式树，并且会对条件频繁模式树进行检测，确定条件频繁模式树中的最终子节点(即条件频繁模式树中每个分支的最后一个节点)是否只包含预设数量(用户提前设置的任意数量，如一个)的元素项，并基于不同的检测结果执行不同的操作。其中，频繁模式树是包括清洗后的所有告警数据。条件模式树是只包括与目标频繁项相关的数据，并不会包括所有告警数据，且条件模式树是即频繁模式树获取的。

步骤e，若是，则在所述条件频繁模式树中获取所述目标频繁项的频繁项集，直至各所述频繁项遍历完成。

当经过判断发现条件频繁模式树中的最终子节点包含的元素项的数量超过预设数量，则继续进行分支构建，创建新的子节点，直至条件频繁模式树中新的最终子节点只包含预设数量的元素项。若最终子节点只包含预设数量的元素项，则可以直接在此条件频繁模式树中获取目标频繁项的频繁项集，直至各个频繁项遍历完成，也就是对每个频繁项都采用相同的操作，以获取所有频繁项集。

在本实施例中，通过先确定所有频繁项，再依次遍历各个频繁项，并根据当前频繁项对应的目标条件模式基构建条件频繁模式树，并在条件频繁模式树中获取频繁项集，直至各个频繁项遍历完成，从而保障了获取到的频繁项集的准确性。

进一步地，根据预设的最小支持度和目标条件模式基构建条件频繁模式树的步骤，包括：

步骤f，检测目标条件模式基中各频繁项的支持度是否和预设的最小支持度匹配；

在本实施例中，还需要获取所有目标条件模式基中的所有频繁项，并依次检测各个频繁项的支持度是否和预设的最小支持度(用户提前设置的任意支持度)匹配，并基于不同的检测结果执行不同的操作。其中，检测各频繁项的支持度是否和预设的最小支持度匹配的方式可以是检测各频繁项的支持度是否小于预设的最小支持度，若都不小于，则确定各频繁项的支持度和预设的最小支持度匹配。还可以是计算各频繁项的支持度和预设的最小支持度的差值，并检测各个差值是否大于一定值，若都大于，则确定各频繁项的支持度和预设的最小支持度匹配等。

步骤g，若在各所述频繁项的支持度中存在和预设的最小支持度不匹配的目标支持度，则将所述目标支持度对应的频繁项进行删除，以获取新的目标条件模式基，并根据所述新的目标条件模式基构建条件频繁模式树。

当经过判断发现在各个频繁项的支持度中存在和预设的最小支持度不匹配的目标支持度时，可以直接将目标支持度对应的频繁项进行删除，以获取新的目标条件模式基，并根据新的目标条件模式基构建条件频繁模式树。

在本实施例中，通过在确定目标条件模式基中存在目标支持度时，将目标支持度对应的频繁项删除，以获取新的目标条件模式基，再根据新的目标条件模式基构建条件频繁模式树，从而保障了构建的条件频繁模式树的准确性。

进一步地，基于清洗后的告警数据构建频繁模式树的步骤，包括：

步骤h，对清洗后的告警数据进行扫描，以获取所述清洗后的告警数据中所有元素项出现的频度，并基于各所述频度从预设的空集开始按照预设排列顺序添加各所述元素项，以获取频繁模式树。

在本实施例中，在构建频繁模式树时，需要对清洗后的告警数据进行至少两次扫描，第一次扫描是统计清洗后的告警数据中所有元素项出现的频度，第二次扫描是根据各个频度构建一颗FP树，从空集开始构建，不断添加个元素项，若FP树中存在元素项，就增加元素项的值，若不存在元素项就添加新分支。其中，频度是频繁的性质或状态。

在本实施例中，通过对清洗数据进行扫描，获取所有元素项出现的频度，并根据频度和各个元素项创建FP树，从而保障了FP树的正常建立。

进一步地，获取所述收敛告警数据对应的告警关联方的关联告警数据的步骤之前，包括：

步骤k，检测所述告警平台对应的所有系统中是否存在和所述收敛告警数据匹配的目标系统；

在本实施例中，当获取到收敛告警数据后，还需要确定告警平台会获取哪些系统的告警信息，并检测这些系统是否存在和收敛告警数据匹配的目标系统，并根据不同的检测结果执行不同的操作。也就是确定收敛告警数据对应的本系统，并确定本系统的上游关联系统和下游关联系统。

步骤m，若不存在，则确定所述收敛告警数据对应的告警系统中的配置信息，并获取所述配置信息的配置告警信息，将所述配置告警信息和所述收敛告警数据进行关联输出；

当经过判断发现不存在目标系统，则需要到CMDB(配置管理数据库)中获取收敛告警数据对应的告警系统的配置信息(如系统部署主机ip，db，消息中间件broker等配置信息)，再根据获取到的配置信息扫描告警平台中对应时间段的告警信息，即确定原始告警数据产生的时间段，并确定该时间段内配置信息产生的告警信息，即配置告警信息，并将配置告警信息和收敛告警数据进行关联输出。

步骤f，若存在，则将所述目标系统作为告警关联方。

当经过判断发现存在目标系统，则可以直接将目标系统作为告警关联方，并获取告警关联方的配置信息和告警信息。

在本实施例中，通过在告警平台对应的所有系统中存在和收敛告警数据匹配的目标系统时，将目标系统作为告警关联方，从而保障了获取到的告警关联方的准确性。并在确定不存在告警关联方时，根据收敛告警数据获取配置信息的配置告警信息，并将配置告警信息和收敛告警数据进行关联输出，从而保障了告警数据处理的效率。

进一步地，基于清洗后的告警数据构建频繁模式树的步骤之前，包括：

步骤h，基于预设的分词工具对所述告警数据进行告警数据清理，并将经过所述告警数据清理的告警数据的数据格式转换为目标格式，将具有目标格式的告警数据作为清洗后的告警数据。

在本实施例中，当获取到告警数据后，需要获取预设的分词工具(例如jieba分词)，再根据此分词工具对告警数据进行告警数据清理，即通过jieba分词工具中基于TF-IDF算法的关键词提取功能对告警数据进行处理，消除无用的、错误等噪声数据，并根据系统与业务的特性定制每个系统的jieba分词的用户字典，与停用词字典，也就是不同的告警数据对应的系统，可以采用不同的jieba分词进行数据清洗处理，并在数据清洗完成后，会对告警数据进行格式转换，即将经过告警数据清理的告警数据的数据格式转换为目标格式，如FP-growth算法支持的格式。并将具有目标格式的告警数据作为清洗后的告警数据。

在本实施例中，通过根据分词工具对告警数据进行告警数据清理，并进行格式转换，再将具有目标格式的告警数据作为清洗后的告警数据，从而保障了获取到的清洗后的告警数据的准确性。

本发明还提供一种告警数据处理装置，参照图3，所述告警数据处理装置包括：

获取模块A10，用于基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述原始告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据；

检测模块A20，用于将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；

处理模块A30，用于若匹配，则根据所述告警处理规则对所述目标告警数据进行处理。

可选地，所述获取模块A10，还用于：

获取所述频繁模式树中的所有条件模式基，并根据预设的最小支持度和各所述条件模式基获取所有频繁项集；

根据所述频繁项集和预设的配置规则生成关联规则，并获取所述告警数据中和所述关联规则匹配的目标告警数据；

根据所述关联规则对所述目标告警数据进行优化处理，以获取收敛告警数据。

可选地，所述获取模块A10，还用于：

获取各所述条件模式基对应的所有频繁项，并依次遍历各所述频繁项，确定当前遍历的当前频繁项对应的目标条件模式基，根据预设的最小支持度和所述目标条件模式基构建条件频繁模式树，并检测所述条件频繁模式树中的最终子节点是否只包含预设数量的元素项；

若是，则在所述条件频繁模式树中获取所述目标频繁项的频繁项集，直至各所述频繁项遍历完成。

可选地，所述获取模块A10，还用于：

检测目标条件模式基中各频繁项的支持度是否和预设的最小支持度匹配；

若在各所述频繁项的支持度中存在和预设的最小支持度不匹配的目标支持度，则将所述目标支持度对应的频繁项进行删除，以获取新的目标条件模式基，并根据所述新的目标条件模式基构建条件频繁模式树。

可选地，所述获取模块A10，还用于：

对清洗后的告警数据进行扫描，以获取所述清洗后的告警数据中所有元素项出现的频度，并基于各所述频度从预设的空集开始按照预设排列顺序添加各所述元素项，以获取频繁模式树。

可选地，所述获取模块A10，还用于：

检测所述告警平台对应的所有系统中是否存在和所述收敛告警数据匹配的目标系统；

若不存在，则确定所述收敛告警数据对应的告警系统中的配置信息，并获取所述配置信息的配置告警信息，将所述配置告警信息和所述收敛告警数据进行关联输出；

若存在，则将所述目标系统作为告警关联方。

可选地，所述获取模块A10，还用于：

基于预设的分词工具对告警数据进行告警数据清理，并将经过所述告警数据清理的告警数据的数据格式转换为目标格式，将具有目标格式的告警数据作为清洗后的告警数据。

上述各程序单元所执行的方法可参照本发明告警数据处理方法各个实施例，此处不再赘述。

本发明还提供一种计算机存储介质。

本发明计算机存储介质上存储有告警数据处理程序，所述告警数据处理程序被处理器执行时实现如上所述的告警数据处理方法的步骤。

其中，在所述处理器上运行的告警数据处理程序被执行时所实现的方法可参照本发明告警数据处理方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种告警数据处理方法，其特征在于，所述告警数据处理方法包括如下步骤：

基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据，其中，所述告警关联方包括所述收敛告警数据对应的上下游系统；

将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；

若匹配，则根据所述告警处理规则对所述目标告警数据进行处理；

所述根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据的步骤，包括：

获取所述频繁模式树中的所有条件模式基，并根据预设的最小支持度和各所述条件模式基获取所有频繁项集；

根据所述频繁项集和预设的配置规则生成关联规则，并获取所述告警数据中和所述关联规则匹配的匹配告警数据；

根据所述关联规则对所述匹配告警数据进行优化处理，以获取收敛告警数据；

所述根据预设的最小支持度和各所述条件模式基获取所有频繁项集的步骤，包括：

获取各所述条件模式基对应的所有频繁项，并依次遍历各所述频繁项，确定当前遍历的当前频繁项对应的目标条件模式基，根据预设的最小支持度和所述目标条件模式基构建条件频繁模式树，并检测所述条件频繁模式树中的最终子节点是否只包含预设数量的元素项；

若是，则在所述条件频繁模式树中获取所述目标频繁项的频繁项集，直至各所述频繁项遍历完成。

2.如权利要求1所述的告警数据处理方法，其特征在于，所述根据预设的最小支持度和目标条件模式基构建条件频繁模式树的步骤，包括：

检测目标条件模式基中各频繁项的支持度是否和预设的最小支持度匹配；

若在各所述频繁项的支持度中存在和预设的最小支持度不匹配的目标支持度，则将所述目标支持度对应的频繁项进行删除，以获取新的目标条件模式基，并根据所述新的目标条件模式基构建条件频繁模式树。

3.如权利要求1所述的告警数据处理方法，其特征在于，所述基于清洗后的告警数据构建频繁模式树的步骤，包括：

对清洗后的告警数据进行扫描，以获取所述清洗后的告警数据中所有元素项出现的频度，并基于各所述频度从预设的空集开始按照预设排列顺序添加各所述元素项，以获取频繁模式树。

4.如权利要求1所述的告警数据处理方法，其特征在于，所述获取所述收敛告警数据对应的告警关联方的关联告警数据的步骤之前，包括：

检测告警平台对应的所有系统中是否存在和所述收敛告警数据匹配的目标系统；

若不存在，则确定所述收敛告警数据对应的告警系统中的配置信息，并获取所述配置信息的配置告警信息，将所述配置告警信息和所述收敛告警数据进行关联输出；

若存在，则将所述目标系统作为告警关联方。

5.如权利要求1-4任一项所述的告警数据处理方法，其特征在于，所述基于清洗后的告警数据构建频繁模式树的步骤之前，包括：

基于预设的分词工具对告警数据进行告警数据清理，并将经过所述告警数据清理的告警数据的数据格式转换为目标格式，将具有目标格式的告警数据作为清洗后的告警数据。

6.一种告警数据处理装置，其特征在于，所述告警数据处理装置包括：

获取模块，用于基于清洗后的告警数据构建频繁模式树，根据所述频繁模式树对应的关联规则在所述告警数据中获取收敛告警数据，并获取所述收敛告警数据对应的告警关联方的关联告警数据，其中，所述告警关联方包括所述收敛告警数据对应的上下游系统；

检测模块，用于将所述收敛告警数据和所述关联告警数据进行合并处理，以获取目标告警数据，并检测所述目标告警数据是否和预设的告警处理规则匹配；

处理模块，用于若匹配，则根据所述告警处理规则对所述目标告警数据进行处理；

获取模块，还用于：

获取所述频繁模式树中的所有条件模式基，并根据预设的最小支持度和各所述条件模式基获取所有频繁项集；

根据所述频繁项集和预设的配置规则生成关联规则，并获取所述告警数据中和所述关联规则匹配的匹配告警数据；

根据所述关联规则对所述匹配告警数据进行优化处理，以获取收敛告警数据；

获取模块，还用于：

获取各所述条件模式基对应的所有频繁项，并依次遍历各所述频繁项，确定当前遍历的当前频繁项对应的目标条件模式基，根据预设的最小支持度和所述目标条件模式基构建条件频繁模式树，并检测所述条件频繁模式树中的最终子节点是否只包含预设数量的元素项；

若是，则在所述条件频繁模式树中获取所述目标频繁项的频繁项集，直至各所述频繁项遍历完成。

7.一种告警数据处理设备，其特征在于，所述告警数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的告警数据处理程序，所述告警数据处理程序被所述处理器执行时实现如权利要求1至5中任一项所述的告警数据处理方法的步骤。

8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有告警数据处理程序，所述告警数据处理程序被处理器执行时实现如权利要求1至5中任一项所述的告警数据处理方法的步骤。

Images