CN113285840B - 存储网络故障根因分析方法及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种存储网络故障根因分析方法及计算机可读存储介质。该方法具体为：接收存储网络中各个节点设备的告警，对其中至少一个告警a0执行根因分析步骤，根因分析步骤包括如下步骤：从预存的根因关系链中寻找与本告警a0的告警类型A存在根因关系的告警类型B；在所接收到的告警当中查找告警类型为B的告警b0；遍历与引发本告警a0的节点设备a存在上下游链路关系的节点设备，判断告警b0是否由与节点设备a存在上下游链路关系的节点设备引发，若是则判断出告警b0与本告警a0存在根因关系。该方法对故障告警能在根源上进行分析，以便于快速定位节点设备产生故障的根本原因。

Description

存储网络故障根因分析方法及计算机可读存储介质

技术领域

本发明涉及存储网络故障分析技术领域，尤其涉及一种存储网络故障根因分析方法及计算机可读存储介质。

背景技术

随着业务快速扩展，企业所需要的数据中心的规模越来越大，支撑业务的各类IT资源类型和数量越来越多，虚拟机规模也日益增大，大规模的异构环境使得虚拟机故障的分析定位面临巨大的挑战。

在数据中心中，虚拟化服务器、FC-SAN存储设备（以下简称存储设备）、FC-SAN存储网关（以下简称存储网关）、光纤交换机会组成一个FC-SAN存储网络，以便虚拟机能使用到存储设备上的磁盘空间。虚拟机的运行依赖于虚拟化服务器、存储设备、存储网关、光纤交换机，任一被依赖的设备出现故障都会导致虚拟机宕机。当虚拟化服务器、光纤交换机、存储设备、存储网关这些硬件设备出现故障时，会导致大量虚拟机发生宕机，如此则会产生大量的虚拟机故障告警，导致虚拟化服务器、光纤交换机、存储设备、存储网关这些硬件设备的故障告警淹没在这些虚拟机告警里，难以快速定位虚拟机产生故障的根因。

发明内容

本发明所要解决的技术问题是提供一种存储网络故障根因分析方法以及存储了被执行时实现上述方法的计算机程序的计算机可读存储介质，该方法对故障告警能在根源上进行分析，以便于快速定位节点设备产生故障的根本原因。

为了解决上述技术问题，本发明的存储网络故障根因分析方法，接收存储网络中各个节点设备的告警，对其中至少一个告警a0执行根因分析步骤，根因分析步骤包括如下步骤：

从预存的根因关系链中寻找与本告警a0的告警类型A存在根因关系的告警类型B；

在所接收到的告警当中查找告警类型为B的告警b0；

遍历与引发本告警a0的节点设备a存在上下游链路关系的节点设备，判断告警b0是否由与节点设备a存在上下游链路关系的节点设备引发，若是则判断出告警b0与本告警a0存在根因关系。

可选地，在判断出告警b0与本告警a0存在根因关系之后，标记本告警a0和告警b0这两者的根因关系。

可选地，所述的告警类型B包括根因告警类型B1和/或现象告警类型B2，现象告警类型B2相对告警类型A为果，根因告警类型B1相对告警类型A为因。

可选地，所述的“标记本告警a0和告警b0这两者的根因关系”具体系“若告警b0为现象告警类型B2，则对告警b0标记其根因告警是告警a0；若告警b0为根因告警类型B1，则对告警a0标记其根因告警是告警b0”。

可选地，对告警a0，在执行根因分析步骤之后执行如下告警通知步骤：若本告警a0没标记有根因告警，则将本告警a0作为根因告警进行发送；且/或，若本告警a0标记有根因告警，则不发送本告警a0。

可选地，具体系对接收到的每个告警都执行根因分析步骤。

可选地，所述的“遍历与引发本告警a0的节点设备a存在上下游链路关系的节点设备”具体通过遍历节点设备a的关系拓扑图中的节点设备来实现。

可选地，根据存储网络中各个节点设备可能会发生的告警类型之间的因果关系，构建根因关系链。

可选地，具体系在所接收到的未分析的全部告警当中查找告警类型为B的告警b0。

可选地，所述存储网络为FC-SAN存储网络。

一种计算机可读存储介质，其上存储有可执行的计算机程序，所述计算机程序被执行时实现如上所述的存储网络故障根因分析方法。

该存储网络故障根因分析方法利用根因关系链确定与本告警的存在根因关系的告警类型，从所接收到的告警中筛选出符合上述告警类型的告警，然后根据节点设备之间的上下游链路关系判断所筛选出来的告警是否与本告警存在根因关系，从而实现对故障告警进行根源分析，以便于快速定位节点设备产生故障的根本原因。

附图说明

图1是本发明提供的一种根因关系链的示意图。

具体实施方式

以下结合具体实施方式对本发明创造作进一步详细说明。

本发明的存储网络故障根因分析方法通过计算机程序来实现，该计算机程序被打包成一个故障分析模块，存储在计算机可读存储介质中。该计算机可读存储介质应用在对FC-SAN存储网络进行监控的运维监控系统中，运维监控系统的处理器执行上述计算机可读存储介质上的故障分析模块从而实现上述存储网络故障根因分析方法。

FC-SAN存储网络包括虚拟机、虚拟化服务器、存储设备、存储网关、光纤交换机等节点设备，这些节点设备通过光纤连接在一起从而组成存储网络。运维人员预先根据FC-SAN存储网络各个节点设备可能会发生的告警类型之间的因果关系构建出如图1所示的根因关系链（图中箭头两端，起点端的告警类型相对终点端的告警类型为果，即为现象告警类型，终点端的告警类型相对于起点端的告警类型为因，即为根因告警类型），上传到运维监控系统中，供故障分析模块进行调用。运维监控系统定时采集FC-SAN存储网络中各个节点设备的信息并根据所采集到的信息判断各个节点设备是否发生故障。假设运维监控系统检测到虚拟机、虚拟化服务器、存储设备陆续出现宕机状态，就会生成对应的告警a0、告警b0、告警c0，并把上述告警发送给故障分析模块。故障分析模块接收上述告警并将其放入告警列表中，告警列表中还包含有在此之前放入的其他告警，例如告警b1、b2。告警分为根因告警和现象告警，根因告警导致了现象告警，只有解决根因告警的问题，现象告警的问题才得以恢复，为此需要对告警进行分析，确定哪个告警属于根因告警，因此，故障分析模块会从告警列表中逐个取出各个告警进行根因分析，以告警a0的分析过程为例，具体分析过程如下：

实施例一

故障分析模块从告警列表中取出告警a0，该告警a0的告警类型为虚拟机宕机，故障分析模块判断出图1所示的根因关系链中存在虚拟机宕机这一告警类型，然后从图1中的根因关系链中获取含有虚拟机宕机这一告警类型的关系链路，共有5条关系链路，分别为：1号关系链路，虚拟化服务器宕机<虚拟机宕机（此处的“<”表示在图1中是虚拟机宕机指向虚拟化服务器宕机的，意味着虚拟化服务器宕机相对于虚拟机宕机来说为因，下同）；2号关系链路，虚拟化服务器宕机<光纤交换机端口down<虚拟机宕机；3号关系链路，光纤交换机宕机<光纤交换机端口down<虚拟机宕机；4号关系链路，存储设备宕机<光纤交换机端口down<虚拟机宕机；5号关系链路，存储网关宕机<光纤交换机端口down<虚拟机宕机。

故障分析模块在1号关系链路中寻找告警a0的根因告警类型，找到了虚拟化服务器宕机这个根因告警类型，然后从告警列表中查找告警类型为虚拟化服务器宕机的告警，找到告警b0、b1。

运维监控系统在把告警发送给故障分析模块的同时，会在FC-SAN存储网络的拓扑图中对应的节点设备上标记其告警。故障分析模块在找到告警类型为虚拟化服务器宕机的告警b0、b1之后，从运维监控系统获取引发告警a0的虚拟机a的关系拓扑图，该关系拓扑图是从FC-SAN存储网络拓扑图中提取出来的，该关系拓扑图中仅包含与虚拟机a存在上下游链路关系的节点设备。在获取到虚拟机a的关系拓扑图之后，故障分析模块就遍历虚拟机a的关系拓扑图中的虚拟化服务器，获取虚拟化服务器所标记的告警，若所获取到的告警当中有告警b0，表明告警b0是由与虚拟机a存在上下游链路关系的虚拟化服务器引发的，据此认为告警b0与告警a0存在根因关系，告警b0是告警a0的根因告警，遂以告警b0的ID作为告警a0的根因告警ID，在告警a0上标记作为其根因告警的告警b0的ID。

根据1号关系路确定了告警a0的根因告警之后，故障分析模块就在1号关系链路中寻找告警a0的现象告警类型，找不到其现象告警类型，然后在2号关系链路中寻找告警a0的现象告警类型，找不到其现象告警类型，再依次在3~5号关系链路中寻找，都没有找到告警a0的现象告警类型，则结束分析流程，至此，告警a0已分析完毕。分析完之后，故障分析模块发现告警a0标记有作为根因告警的告警b0的ID，意味着告警a0是由根因告警b0引起的现象告警，不能反映故障的根本原因，则不把告警a0发送给运维人员，按照对告警a0的根因分析方式，对告警b0进行根因分析，依次类推，直至确定最终的根因告警，才把最终的根因告警发送给运维人员，如此则筛掉了不能反映故障根本原因的现象告警，便于运维人员快速定位故障的根本原因。

实施例二

本实施例与实施例一大部分相同，下文仅描述本实施例的不同之处，在虚拟机a的关系拓扑图中的虚拟化服务器上获取到的告警当中没有告警b0，表明告警b0不是由与虚拟机a存在上下游链路关系的虚拟化服务器引发的，如此故障分析模块则认为告警b0不是告警a0的根因告警，故障分析模块则再判断在虚拟机a的关系拓扑图中的虚拟化服务器上获取到的告警当中是否有告警b1，发现有告警b1，表明告警b1是由与虚拟机a存在上下游链路关系的虚拟化服务器引发的，据此认为告警b1是告警a0的根因告警，遂以告警b1的ID作为告警a0的根因告警ID，在告警a0上标记作为其根因告警的告警b1的ID。

根据1号关系路确定了告警a0的根因告警之后，对1号关系链路，故障分析模块在该链路中寻找告警a0的现象告警类型，找不到其现象告警类型，然后在2号关系链路中寻找告警a0的现象告警类型，找不到其现象告警类型，再依次在3~5号关系链路中寻找，都没有找到告警a0的现象告警类型，则结束分析流程，至此，告警a0已分析完毕。分析完之后，故障分析模块发现告警a0标记有作为根因告警的告警b1的ID，意味着告警a0是由根因告警b1引起的现象告警，不能反映故障的根本原因，则不把告警a0发送给运维人员，按照对告警a0的根因分析方式，对告警b1进行根因分析，依次类推，直至确定最终的根因告警，才把最终的根因告警发送给运维人员，如此则筛掉了不能反映故障根本原因的现象告警，便于运维人员快速定位故障的根本原因。

实施例三

本实施例与实施例一大部分相同，下文仅描述本实施例的不同之处，告警b0、b1都不在虚拟机a的关系拓扑图中的虚拟化服务器上获取到的告警当中，表明告警b0、b1都不是由与虚拟机a存在上下游链路关系的虚拟化服务器引发的，根据1号关系链路无法确定告警a0的根因告警，然后故障分析模块就在1号关系链路上获取告警a0的现象告警类型，找不到其现象告警类型，则在2号关系链路上查找告警a0的根因告警类型和现象告警类型。

故障分析模块在2号关系链路中寻找告警a0的根因告警类型，找到两级根因告警类型：第一级根因告警类型，光纤交换机端口down；第二级根因告警类型，虚拟化服务器宕机。故障分析模块先从告警列表中获取属于第一级根因告警类型光纤交换机端口down的告警，没有找到这类告警，就再从告警列表中获取属于第二级根因告警类型虚拟化服务器宕机的告警，找到告警b0、b1，由上文可知，告警b0、b1都不在虚拟机a的关系拓扑图中的虚拟化服务器上获取到的告警当中，根据2号关系链路也无法确定告警a0的根因告警，然后故障分析模块就在2号关系链路上获取告警a0的现象告警类型，找不到其现象告警类型，则在3号关系链路上查找告警a0的根因告警类型和现象告警类型。

故障分析模块在3号关系链路中寻找告警a0的根因告警类型，找到两级根因告警类型：第一级根因告警类型，光纤交换机端口down；第二级根因告警类型，光纤交换机宕机。故障分析模块先从告警列表中获取属于第一级根因告警类型光纤交换机端口down的告警，没有找到这类告警，就再从告警列表中获取属于第二级根因告警类型光纤交换机宕机的告警，也没有找到这类告警。根据3号关系链路无法确定告警a0的根因告警，然后故障分析模块就在3号关系链路上获取告警a0的现象告警类型，找不到其现象告警类型，则在4号关系链路上查找告警a0的根因告警类型和现象告警类型。

故障分析模块在4号关系链路中寻找告警a0的根因告警类型，找到两级根因告警类型：第一级根因告警类型，光纤交换机端口down；第二级根因告警类型，存储设备宕机。故障分析模块先从告警列表中获取属于第一级根因告警类型光纤交换机端口down的告警，没有找到这类告警，就再从告警列表中获取属于第二级根因告警类型存储设备宕机的告警，找到了告警c0，故障分析模块就遍历虚拟机a的关系拓扑图中的存储设备，获取存储设备所标记的告警，若所获取到的告警当中具有告警c0，表明告警c0是由与虚拟机a存在上下游链路关系的存储设备引发的，据此认为告警c0是告警a0的根因告警，遂以告警c0的ID作为告警a0的根因告警ID，在告警a0上标记作为其根因告警的告警c0的ID。

根据4号关系链路确定了告警a0的根因告警之后，故障分析模块就在4号关系链路中寻找告警a0的现象告警类型，找不到其现象告警类型，然后在5号关系链路中寻找告警a0的现象告警类型，也找不到其现象告警类型，则结束分析流程，至此，告警a0已分析完毕。分析完之后，故障分析模块发现告警a0标记有作为根因告警的告警c0的ID，意味着告警a0是由根因告警c0引起的现象告警，则不把告警a0发送给运维人员。在其他实施例中，假设根据1~5关系链路都无法确定告警a0的根因告警，那么告警a0就没有标记有根因告警ID，故障分析模块就会把告警a0作为根因告警发送给运维人员。

实施例四

本实施例与实施例一完全不同，具体地，故障分析模块从告警列表中取出告警a0，该告警a0的告警类型为光纤交换机端口down，故障分析模块判断出图1所示的根因关系链中存在光纤交换机端口down这一告警类型，然后从图1中的根因关系链中获取含有光纤交换机端口down这一告警类型的关系链路，共有4条关系链路，分别为：1号关系链路，虚拟化服务器宕机<光纤交换机端口down<虚拟机宕机；2号关系链路，光纤交换机宕机<光纤交换机端口down<虚拟机宕机；3号关系链路，存储设备宕机<光纤交换机端口down<虚拟机宕机；4号关系链路，存储网关宕机<光纤交换机端口down<虚拟机宕机。

故障分析模块在1号关系链路中寻找告警a0的根因告警类型，找到了虚拟化服务器宕机这一根因告警类型，然后从告警列表中查找告警类型为虚拟化服务器宕机的告警，找到告警b0、b1。

运维监控系统在把告警发送给故障分析模块的同时，会在FC-SAN存储网络的拓扑图中对应的节点设备上标记其告警。故障分析模块在找到告警类型为虚拟化服务器宕机的告警之后，向运维监控系统获取引发告警a0的光纤交换机a的关系拓扑图，该关系拓扑图是从FC-SAN存储网络拓扑图中提取出来的，该关系拓扑图中仅包含与光纤交换机a存在上下游链路关系的节点设备。在获取到光纤交换机a的关系拓扑图之后，故障分析模块就遍历光纤交换机a的关系拓扑图中的虚拟化服务器，获取虚拟化服务器所标记的告警，若所获取到的告警当中具有告警b0，表明告警b0是由与光纤交换机a存在上下游链路关系的虚拟化服务器引发的，据此认为告警b0与告警a0存在根因关系，告警b0是告警a0的根因告警，遂以告警b0的ID作为告警a0的根因告警ID，在告警a0上标记作为其根因告警的告警b0的ID。

根据1号关系路确定了告警a0的根因告警之后，故障分析模块就在1号关系链路中寻找告警a0的现象告警类型，找到了虚拟机宕机这个现象告警类型，然后从告警列表中查找告警类型为虚拟机宕机的告警b2，故障分析模块就遍历光纤交换机a的关系拓扑图中的虚拟机，获取虚拟机所标记的告警，若所获取到的告警当中具有告警b2，表明告警b2是由与光纤交换机a存在上下游链路关系的虚拟机引发的，据此认为告警b2与告警a0存在根因关系，告警b2是告警a0的现象告警，从而以告警a0的ID作为告警b2的根因告警ID，在告警b2上标记其根因告警ID，至此，告警a0已分析完毕。在分析完之后，故障分析模块判断出告警a0标记有作为根因告警的告警b0的ID，意味着告警a0是由根因告警b0引起的现象告警，不能反映故障的根本原因，则不把告警a0发送给运维人员。而告警b2标记有作为根因告警的告警a0的ID，是告警a0的现象告警，亦不发送给运维人员。

如上所述仅为本发明创造的实施方式，不以此限定专利保护范围。本领域技术人员在本发明创造的基础上作出非实质性的变化或替换，仍落入专利保护范围。

Claims (11)

1.存储网络故障根因分析方法，其特征是：接收存储网络中各个节点设备的告警，对其中至少一个告警a0执行根因分析步骤，根因分析步骤包括如下步骤：

从预存的根因关系链中寻找与本告警a0的告警类型A存在根因关系的告警类型B；

在所接收到的告警当中查找告警类型为B的告警b0；

遍历与引发本告警a0的节点设备a存在上下游链路关系的节点设备，判断告警b0是否由与节点设备a存在上下游链路关系的节点设备引发，若是则判断出告警b0与本告警a0存在根因关系。

2.如权利要求1所述的存储网络故障根因分析方法，其特征是：在判断出告警b0与本告警a0存在根因关系之后，标记本告警a0和告警b0这两者的根因关系。

3.如权利要求2所述的存储网络故障根因分析方法，其特征是：所述的告警类型B包括根因告警类型B1和/或现象告警类型B2，现象告警类型B2相对告警类型A为果，根因告警类型B1相对告警类型A为因。

4.如权利要求3所述的存储网络故障根因分析方法，其特征是：所述的“标记本告警a0和告警b0这两者的根因关系”具体系“若告警b0为现象告警类型B2，则对告警b0标记其根因告警是告警a0；若告警b0为根因告警类型B1，则对告警a0标记其根因告警是告警b0”。

5.如权利要求4所述的存储网络故障根因分析方法，其特征是：对告警a0，在执行根因分析步骤之后执行如下告警通知步骤：若本告警a0没标记有根因告警，则将本告警a0作为根因告警进行发送；且/或，若本告警a0标记有根因告警，则不发送本告警a0。

6.如权利要求1所述的存储网络故障根因分析方法，其特征是：具体系对接收到的每个告警都执行根因分析步骤。

7.如权利要求1所述的存储网络故障根因分析方法，其特征是：所述的“遍历与引发本告警a0的节点设备a存在上下游链路关系的节点设备”具体通过遍历节点设备a的关系拓扑图中的节点设备来实现。

8.如权利要求1所述的存储网络故障根因分析方法，其特征是：根据存储网络中各个节点设备可能会发生的告警类型之间的因果关系，构建根因关系链。

9.如权利要求1所述的存储网络故障根因分析方法，其特征是：具体系在所接收到的未分析的全部告警当中查找告警类型为B的告警b0。

10.如权利要求1至9任一项所述的存储网络故障根因分析方法，其特征是：所述存储网络为FC-SAN存储网络。

11.一种计算机可读存储介质，其上存储有可执行的计算机程序，其特征是：所述计算机程序被执行时实现如权利要求1至10当中任一项所述的存储网络故障根因分析方法。

Images