发明内容
本申请实施例提供了一种告警事件识别方法、系统、电子设备及存储介质,以至少解决现有告警事件识别方法效率低下的问题。
第一方面,本申请实施例提供了一种告警事件识别方法,包括:预处理步骤,对原始告警信号进行预处理,提取所述原始告警信号的信号信息,并根据所述信号信息生成相应的节点数据;图构建步骤,根据所述节点数据构建一关系图;向量提取步骤,将所述关系图输入至一图神经网络模型,并提取信号节点embedding;事件识别步骤,使用一分类算法,根据所述信号节点embedding识别出告警事件。
优选的,所述预处理步骤包括:提取原始告警信号的信号节点特征,生成信号节点数据;提取设备节点,生成非信号节点数据;提取原始告警信号时间戳,根据时间相邻关系生成信号间边数据;根据所述原始告警信号与设备的关系,生成信号设备间边数据。
优选的,所述图构建步骤还包括:根据所述节点数据,采用torch_geometric模块构建适用于图神经网络的图格式数据。
优选的,还包括一模型训练步骤,包括:对所述原始告警信号进行人工标注事件名称,并生成为节点训练标签,将所述节点训练标签与所述关系图输入至一图神经网络模型,对所述图神经网络模型进行训练。
第二方面,本申请实施例提供了一种告警事件识别系统,适用于上述一种告警事件识别方法,包括:预处理单元,对原始告警信号进行预处理,提取所述原始告警信号的信号信息,并根据所述信号信息生成相应的节点数据;图构建单元,根据所述节点数据构建一关系图;向量提取单元,将所述关系图输入至一图神经网络模型,并提取信号节点embedding;事件识别单元,使用一分类算法,根据所述信号节点embedding识别出告警事件。
在其中一些实施例中,所述预处理单元包括:提取原始告警信号的信号节点特征,生成信号节点数据;提取设备节点,生成非信号节点数据;提取原始告警信号时间戳,根据时间相邻关系生成信号间边数据;根据所述原始告警信号与设备的关系,生成信号设备间边数据。
在其中一些实施例中,所述图构建单元还包括:根据所述节点数据,采用torch_geometric模块构建适用于图神经网络的图格式数据。
在其中一些实施例中,还包括一模型训练单元,包括:对所述原始告警信号进行人工标注事件名称,并生成为节点训练标签,将所述节点训练标签与所述关系图输入至一图神经网络模型,对所述图神经网络模型进行训练。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种告警事件识别方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种告警事件识别方法。
相比于相关技术,本申请实施例提供的一种告警事件识别方法综合考虑告警信号的时间关联和设备间的拓扑,通过构建信号时空关系图,采用图神经网络生成告警信号的向量表达,并完成告警信号的事件识别,有效从告警信号序列中识别出对应告警事件,提高了判别效率和准确度。通过告警信号的历史监控序列和空间拓扑关系构建信号图,识别告警信号所属告警事件,实现了告警信号的事件化合并化。该方法可以有效减少业务人员的工作量,为故障的隔离和恢复提供决策支持,提高告警信号的处理效率,为设备的运维提供有效技术支持和保障。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下,结合附图详细介绍本发明的实施例:
图1为本发明的告警事件识别方法流程图,请参见图1,本发明告警事件识别方法包括如下步骤:
S1:对原始告警信号进行预处理,提取所述原始告警信号的信号信息,并根据所述信号信息生成相应的节点数据。
可选的,依据告警信号的时间戳和信号与设备的拓扑关系,分别生成信号的图数据,包括信号节点、非信号节点、信号-信号边、信号-设备边:
对原始告警信号进行预处理,提取信号节点的相关特征,生成信号节点数据;
从原始数据中提取设备节点,生成非信号节点数据;
提取原始告警信号时间戳,根据时间相邻关系生成信号间边数据;在具体实施中,依据告警信号时间戳,选择合适的时间间隔,如60s,将信号节点序列进行切分。在同一个时间窗内的信号节点,由于时间相邻,则信号两两之间构建时间连接,生成信号-信号边数据;
根据所述原始告警信号与设备的对应关系,生成信号设备间边数据。
S2:根据所述节点数据构建一关系图。
可选的,根据所述节点数据,采用torch_geometric模块构建适用于图神经网络的图格式数据。
在具体实施中,基于上述信号节点、非信号节点、信号-信号边、信号-设备边,采用torch_geometric模块构成所需图格式数据。
S3:对所述原始告警信号进行人工标注事件名称,并生成为节点训练标签,将所述节点训练标签与所述关系图输入至一图神经网络模型,对所述图神经网络模型进行训练。
图4为本发明的图神经网络模型的结构图,请参加图4,在具体实施中,选取GNN中一类典型模型图卷积神经网络(GCN)用于节点分类及embedding提取,本发明所采用的模型结构包括GCN层和softmax层,输入为构建的图数据,人工标注事件名称为训练标签。基于torch_geometric模块,搭建GCN分类模型。数据的拆分比例为训练、验证、测试3:1:1。模型的评价指标为多分类的准确率,依据验证集和测试集的准确率进行调优和选择模型。
S4:将所述关系图输入至一图神经网络模型,并提取信号节点embedding。
在具体实施中,在上述GCN节点分类模型训练完成后,从模型输出的前一层提取出输入信号节点的embedding,信号节点的embedding向量维度由模型对应层的节点数m决定,则每个信号节点都可得到1×m的向量表示。输入的信号图中同时包含了信号的时间相邻关系和空间拓扑关联,GCN模型对节点及其邻居节点信息进行聚合。因此,从GCN模型中提取出的节点embedding更有效的表征信号节点信息。
S5:使用一分类算法,根据所述信号节点embedding识别出告警事件。
在具体实施中,基于挖掘的有效节点embedding,下游建立有监督分类任务。本发明使用随机森林算法,对节点embedding分类,实现告警信号的事件识别。随机森林是一种基于决策树的集成学习方法,实现简单、鲁棒性高、在很多数据集上都有较好的性能。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种告警事件识别系统,适用于上述的一种告警事件识别方法。如以下所使用的,术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图2为根据本发明的告警事件识别系统的框架图,请参见图2,包括:
预处理单元1:对原始告警信号进行预处理,提取所述原始告警信号的信号信息,并根据所述信号信息生成相应的节点数据。
可选的,依据告警信号的时间戳和信号与设备的拓扑关系,分别生成信号的图数据,包括信号节点、非信号节点、信号-信号边、信号-设备边:
对原始告警信号进行预处理,提取信号节点的相关特征,生成信号节点数据;
从原始数据中提取设备节点,生成非信号节点数据;
提取原始告警信号时间戳,根据时间相邻关系生成信号间边数据;在具体实施中,依据告警信号时间戳,选择合适的时间间隔,如60s,将信号节点序列进行切分。在同一个时间窗内的信号节点,由于时间相邻,则信号两两之间构建时间连接,生成信号-信号边数据;
根据所述原始告警信号与设备的对应关系,生成信号设备间边数据。
图构建单元2:根据所述节点数据构建一关系图。
可选的,根据所述节点数据,采用torch_geometric模块构建适用于图神经网络的图格式数据。
在具体实施中,基于上述信号节点、非信号节点、信号-信号边、信号-设备边,采用torch_geometric模块构成所需图格式数据。
模型训练单元3:对所述原始告警信号进行人工标注事件名称,并生成为节点训练标签,将所述节点训练标签与所述关系图输入至一图神经网络模型,对所述图神经网络模型进行训练。
图4为本发明的图神经网络模型的结构图,请参加图4,在具体实施中,选取GNN中一类典型模型图卷积神经网络(GCN)用于节点分类及embedding提取,本发明所采用的模型结构包括GCN层和softmax层,输入为构建的图数据,人工标注事件名称为训练标签。基于torch_geometric模块,搭建GCN分类模型。数据的拆分比例为训练、验证、测试3:1:1。模型的评价指标为多分类的准确率,依据验证集和测试集的准确率进行调优和选择模型。
向量提取单元4:将所述关系图输入至一图神经网络模型,并提取信号节点embedding。
在具体实施中,在上述GCN节点分类模型训练完成后,从模型输出的前一层提取出输入信号节点的embedding,信号节点的embedding向量维度由模型对应层的节点数m决定,则每个信号节点都可得到1×m的向量表示。输入的信号图中同时包含了信号的时间相邻关系和空间拓扑关联,GCN模型对节点及其邻居节点信息进行聚合。因此,从GCN模型中提取出的节点embedding更有效的表征信号节点信息。
事件识别单元5:使用一分类算法,根据所述信号节点embedding识别出告警事件。
在具体实施中,基于挖掘的有效节点embedding,下游建立有监督分类任务。本发明使用随机森林算法,对节点embedding分类,实现告警信号的事件识别。随机森林是一种基于决策树的集成学习方法,实现简单、鲁棒性高、在很多数据集上都有较好的性能。
另外,结合图1描述的一种告警事件识别方法可以由电子设备来实现。图3为本发明的电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地,上述处理器61可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器62可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器62可在数据处理装置的内部或外部。在特定实施例中,存储器62是非易失性(Non-Volatile)存储器。在特定实施例中,存储器62包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令,以实现上述实施例中的任意一种告警事件识别方法。
在其中一些实施例中,电子设备还可包括通信接口63和总线60。其中,如图4所示,处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线60可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种告警事件识别方法。
另外,结合上述实施例中的一种告警事件识别方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种告警事件识别方法。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。