CN105743699A - 一种虚拟化环境的故障预警方法及系统 - Google Patents

Abstract

本发明公开了一种虚拟化环境的故障预警方法及系统，属于虚拟化环境故障检测技术领域。包括处于虚拟化环境之外的实体故障预警服务器，处于虚拟化环境内部的虚拟系统日志服务器，以及连接上述两者的独立高速通信链路。所述虚拟系统日志服务器用于提供虚拟化环境内所有虚拟单元的实时日志数据；所述故障预警服务器接收这些虚拟日志数据，并采用神经网络对数据进行处理，经过神经网络的分类和识别后，得到的输出结果对应着虚拟化系统的故障状态，并可提前做出预警，通信链路采用独占带宽的千兆以上以太网链路或千兆以上光纤链路，通过该故障预警方法及系统，使得故障预警的可靠性更高，预警结果更加可靠。

Description

一种虚拟化环境的故障预警方法及系统

技术领域

本发明属于虚拟化环境故障检测技术领域，具体涉及一种虚拟化环境的故障预警方法及系统。

背景技术

随着信息化技术的创新与发展，对企业数据中心(计算中心)的计算和服务能力提出了更高的要求，为提升数据中心的计算能力，提高设备的利用率，目前数据中心普遍采用了虚拟化技术。

虚拟化技术的使用提高了数据中心设备的利用率，但也带来一些潜在的问题。若系统中任务的资源需求与资源分配不匹配、部分资源长时间负载过重，进而导致资源失效，即服务器或虚拟机不能接受任务或者任务在没有完成的时候被意外终止。一个虚拟资源的失效势必对其他资源请求造成影响，进而产生连锁反应，最后导致任务的失败。

一般的虚拟化系统，自身通常提供日志服务，将虚拟化环境内所有虚拟单元的实时日志数据采集并存储，并根据这些数据对发生的故障进行记录；有些系统如VMware还能做一些简单的数据处理，对发生的故障情况进行归并。但这些故障检测方案都工作于虚拟化环境内部或与虚拟化服务器关联过大，若虚拟化环境发生严重故障甚至崩溃，则故障检测无法正常工作；更重要的是这些方案无法进行故障预警，无法使管理者提前进行干预与应对。

除了虚拟化系统自身的故障记录功能以外，现有技术中，也存在一些通过虚拟化环境相关联的其它设备进行故障检测，这些故障检测方案也同上述虚拟化系统自身的故障检测方案一样缺乏预警功能，并缺乏相对于虚拟化环境的独立性；还有个别方案，关注于方法与流程，缺乏具体的系统结构和拓扑结构设计。

发明内容

为了解决上述问题，本发明提出了一种虚拟化环境的故障预警系统，用以解决现有技术中虚拟化环境的故障的预警问题。

本发明首先提供了一种虚拟化环境的故障预警方法，主要包括：

S1、获取虚拟化环境内所有虚拟单元的实时日志数据；

S2、将所述实时日志数据发送至实体故障预警服务器；

S3、所述实体故障预警服务器根据所述实时日志数据匹配故障模型数据库中的故障类型，若匹配到故障，则进行相应故障的预警，所述故障模型数据库中设置有故障类型及在Δt时间后触发任一故障类型的神经网络计算结果，所述神经网络计算结果由所述实时日志数据经神经网络计算获得。

优选的是，所述实时日志数据通过传输速率为千兆以上的以太网链路发送至所述实体故障预警服务器。

优选的是，所述实时日志数据通过传输速率为千兆以上的光纤链路发送至所述实体故障预警服务器。

优选的是，在所述步骤S3中，所述故障模型数据库的建立包括：

所述实体故障预警服务器将所有虚拟单元的实时虚拟日志数据作为输入数据传给神经网络，经过神经网络的分类和识别后，得到的输出结果与所述实体故障预警服务器在接收到所述实时虚拟日志数据Δt时间后触发的故障类型形成数据对，并将包含有所有故障类型的数据对进行存储，形成所述故障模型数据库。

优选的是，所述神经网络包括ELM算法。

本发明另一方面提供了一种虚拟化环境的故障预警系统，包括实体故障预警服务器、虚拟系统日志服务器以及通信链路，所述实体故障预警服务器位于所述虚拟化环境外部，所述虚拟系统日志服务器位于所述虚拟化环境内部，所述通信链路用于连接所述虚拟系统日志服务器与所述实体故障预警服务器，其中，

所述虚拟系统日志服务器用于提供虚拟化环境内所有虚拟单元的实时日志数据，并将所述实时日志数据发送至所述实体故障预警服务器；

所述实体故障预警服务器包括接收单元、神经网络处理单元、故障模型数据库及预警单元，所述接收单元用于接收所述实时日志数据，所述神经网络处理单元用于对所述实时日志数据进行神经算法处理，获得神经网络计算结果，所述故障模型数据库中设置有故障类型及在Δt时间后触发任一故障类型的神经网络计算结果，所述预警单元根据所述故障模型数据库中设置的故障类型做出预警；

所述通信链路为采用独占带宽且独占设备的独立通信链路。

优选的是，所述通信链路为传输速率为千兆以上的以太网链路。

优选的是，所述通信链路为传输速率为千兆以上的光纤链路。

本发明与现有技术相比具有以下优点：

1、故障预警服务器采用实体机，故障检测和预警的可靠性更高；

2、采用独占带宽、独占设备的千兆以上以太网链路或千兆以上光纤链路，故障检测和预警的可靠性更高；

3、根据从虚拟化环境采集的历史和实时日志数据，进行故障预警，其故障预警的判断依据是通过神经网络算法对历史和实时日志数据进行训练，获取的神经网络计算结果与故障类型匹配更加准确。

附图说明

图1为本发明虚拟化环境的故障预警系统的一优选实施例的结构示意图。

图2为本发明虚拟化环境的故障预警方法的一优选实施例的流程示意图。

图3为本发明另一优选实施例的故障检测示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明提出了一种虚拟化环境的故障预警方法及系统，用以解决现有技术中虚拟化环境的故障预警问题。

本发明首先提供了一种虚拟化环境的故障预警方法，主要包括以下步骤：

S1、获取虚拟化环境内所有虚拟单元的实时日志数据；

S2、将所述实时日志数据发送至故障预警服务器；

S3、所述实体故障预警服务器根据所述实时日志数据匹配故障模型数据库中的故障类型，若匹配到故障，则进行相应故障的预警，所述故障模型数据库中设置有故障类型及在Δt时间后触发任一故障类型的神经网络计算结果，所述神经网络计算结果由所述实时日志数据经神经网络计算获得。

本实施例中，所述实时日志数据通过传输速率为千兆以上的以太网链路发送至所述实体故障预警服务器。

作为本实施例的一个备选实施方式，所述实时日志数据通过传输速率为千兆以上的光纤链路发送至所述实体故障预警服务器。

本实施例中，在所述步骤S3中，所述故障模型数据库的建立包括：

所述实体故障预警服务器将所有虚拟单元的实时虚拟日志数据作为输入数据传给神经网络，经过神经网络的分类和识别后，得到的输出结果与所述实体故障预警服务器在接收到所述实时虚拟日志数据Δt时间后触发的故障类型形成数据对，并将包含有所有故障类型的数据对进行存储，形成所述故障模型数据库。

比如，本实施例采用ELM算法进行故障类型的训练，经过该神经网络的分类和识别后，得到的输出结果对应着虚拟化系统的故障状态，并可预测未来一段时间内各个虚拟机的运行状态，据此可提前做出预警：如果虚拟机的CPU状态、网络状态、内存状态、磁盘状态等不在可信任区间内，后续将可能进入故障状态，则发出预警信息。

如图2所示，为本实施例虚拟日志服务器与实体故障预警服务器之间的信息传递流程示意图，可以理解，在进行故障训练生成故障模型数据库时，本实施例还包括将历史日志数据发送给故障预警服务器，以n个时间点的历史日志数据为例，根据虚拟系统提供的海量历史日志数据，分析提取并定义故障发生前1*Δt、2*Δt、3*Δt、......、n*Δt时间序列的历史日志数据相关特征，将不同的历史日志数据匹配到不同的故障模式，形成“故障发生前Δt时间序列的历史日志数据——故障模式预警”的数据对，利用这种大量的“数据对”，对神经网络进行有监督的训练学习。最终，故障预警系统就可以根据Δt时间序列的历史日志数据和当前的实时日志输入数据，预测判断虚拟系统在Δt时间后是否可能发生故障，属于何种故障类型，进而做出预警。

下列以二维数据进行故障预警示例说明，根据不同的存储单元的日志文件的组合进行故障情况的判断，以三个存储器以及三个故障进行举例说明，所述三个存储器里存储的日志文件分别为设备x的值，设备y的值、设备z的值，正常状态下x＝x0，y＝y0，z＝z0，三个故障分别为故障A、故障B以及故障C，假设发生故障A的前兆是：时间序列上1*Δt时间点的值x＝x0，y＝y1，z＝z1，时间序列上其它Δt时间点的值均为初值0，发生故障B的前兆为1*Δt时间点的值x＝x0，y＝y1，z＝z1，2*Δt时间点的值x＝x2，y＝y0，z＝z0，其它Δt时间点的值均为初值0，发生故障C的前兆为1*Δt时间点的值x＝x0，y＝y0，z＝z1，2*Δt时间点的值x＝x2，y＝y2，z＝z1，其它Δt时间点的值均为初值0，据此可以看出在时间序列上至少要选取两个Δt时间进行故障预警的数据处理，而不能仅仅接收实时虚拟日志数据(1*Δt时间点)，否则将会判断将会不精确，比如，只接收实时虚拟日志数据时x＝x0，y＝y1，z＝z1，此时，将无法判断在Δt时间后是会出现故障A还是故障B。

图3给出了通过本发明给出的另一种启示，即故障检测方法，根据虚拟系统提供的海量历史日志数据，分析、提取并定义故障数据的相关特征，将不同的日志数据匹配到不同的故障模式，形成“日志数据——故障模式”的数据对。利用这种大量的“数据对”，对神经网络进行有监督的训练学习。最终，故障预警系统就可以根据当前的实时日志输入数据，检测判断虚拟系统是否有故障，属于何种故障类型。

本发明另一方面提供了一种虚拟化环境的故障预警系统，如图1所示，包括实体故障预警服务器、虚拟系统日志服务器以及通信链路，所述实体故障预警服务器位于所述虚拟化环境外部，所述虚拟系统日志服务器位于所述虚拟化环境内部，所述通信链路用于连接所述虚拟系统日志服务器与所述实体故障预警服务器，其中，

所述虚拟系统日志服务器用于提供虚拟化环境内所有虚拟单元的实时日志数据，并将所述实时日志数据发送至所述实体故障预警服务器；

所述实体故障预警服务器包括接收单元、神经网络处理单元、故障模型数据库及预警单元，所述接收单元用于接收所述实时日志数据，所述神经网络处理单元用于对所述实时日志数据进行神经算法处理，获得神经网络计算结果，所述故障模型数据库中设置有故障类型及在Δt时间后触发任一故障类型的神经网络计算结果，所述预警单元根据所述故障模型数据库中设置的故障类型做出预警；

所述通信链路为采用独占带宽且独占设备的独立通信链路。

可以理解的是，拟系统日志服务器用于提供虚拟化环境内所有虚拟单元的实时日志数据。在VMware虚拟化环境下，可采用该系统提供的日志管理功能作为虚拟系统日志服务器。实体故障预警服务器接收这些实时虚拟日志数据，并作为输入数据传给运行在其中的故障预警程序。可采用一台高性能的主流PC机作为实体故障预警服务器，其拥有3.0GHz的CPU、16G内存、千兆电口网卡、6T硬盘。本实施例中，故障预警服务器采用实体机，目的是在虚拟化环境发生严重故障甚至崩溃时仍可正确实施故障检测和预警。

本实施例中，所述通信链路为传输速率为千兆以上的以太网链路。

或者，所述通信链路为传输速率为千兆以上的光纤链路。

可以理解的是，本实施例中，千兆以太网，独占千兆信道带宽，并且所用的千兆以太网交换机是独立使用的，不与其他系统共享，避免与虚拟化系统的网络设备共用或无关耦合，目的也是可靠工作、正确预警。同时，为减少日志信息的中转次数，可以将故障预警服务器放置在与虚拟系统日志服务器毗邻的楼层，只需设置一台全千兆电口的以太网交换机即可。

作为本发明的一备选实施方式，所述故障模型数据库包含至少一张故障表，所述故障表包含信息如下：故障类型、故障解决方法、故障抑制方法、报警信息，其中，故障类型以代码形式存在在表格的首栏，其用于连接日志服务器内的存储有日志信息的表格，预警单元读取到报警信息后，进行报警，本实施例中，设置报警信息的目的在于预警单元根据不同的报警信息可以发出不同的报警信号，比如，某一故障可以通过一些操作进行抑制，从而避免t时间后发生该故障，则可以发出两次短声进行警报，而有些故障则已经无法避免其发生，则发生长时间鸣声来进行警报，提示操作人员关闭系统(虚拟化环境)，进行故障维修，或进行系统内各部件的查错、调节等。

本发明与现有技术相比具有以下优点：

1、故障预警服务器采用实体机，故障检测和预警的可靠性更高；

2、采用独占带宽、独占设备的千兆以上以太网链路或千兆以上光纤链路，故障检测和预警的可靠性更高；

3、根据从虚拟化环境采集的历史和实时日志数据，进行故障预警，其故障预警的判断依据是通过神经网络算法对历史和实时日志数据进行训练，获取的神经网络计算结果与故障类型匹配更加准确。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种虚拟化环境的故障预警方法，其特征在于，包括：

S1、获取虚拟化环境内所有虚拟单元的实时日志数据；

S2、将所述实时日志数据发送至实体故障预警服务器；

S3、所述实体故障预警服务器根据所述实时日志数据匹配故障模型数据库中的故障类型，若匹配到故障，则进行相应故障的预警，所述故障模型数据库中设置有故障类型及在Δt时间后触发任一故障类型的神经网络计算结果，所述神经网络计算结果由所述实时日志数据经神经网络计算获得。

2.如权利要求1所述的虚拟化环境的故障预警方法，其特征在于，所述实时日志数据通过传输速率为千兆以上的以太网链路发送至所述实体故障预警服务器。

3.如权利要求1所述的虚拟化环境的故障预警方法，其特征在于，所述实时日志数据通过传输速率为千兆以上的光纤链路发送至所述实体故障预警服务器。

4.如权利要求1所述的虚拟化环境的故障预警方法，其特征在于，在所述步骤S3中，所述故障模型数据库的建立包括：

所述实体故障预警服务器将所有虚拟单元的实时虚拟日志数据作为输入数据传给神经网络，经过神经网络的分类和识别后，得到的输出结果与所述实体故障预警服务器在接收到所述实时虚拟日志数据Δt时间后触发的故障类型形成数据对，并将包含有所有故障类型的数据对进行存储，形成所述故障模型数据库。

5.如权利要求1所述的虚拟化环境的故障预警方法，其特征在于，所述神经网络包括ELM算法。

6.一种虚拟化环境的故障预警系统，其特征在于，包括实体故障预警服务器、虚拟系统日志服务器以及通信链路，所述实体故障预警服务器位于所述虚拟化环境外部，所述虚拟系统日志服务器位于所述虚拟化环境内部，所述通信链路用于连接所述虚拟系统日志服务器与所述实体故障预警服务器，其中，

所述虚拟系统日志服务器用于提供虚拟化环境内所有虚拟单元的实时日志数据，并将所述实时日志数据发送至所述实体故障预警服务器；

所述实体故障预警服务器包括接收单元、神经网络处理单元、故障模型数据库及预警单元，所述接收单元用于接收所述实时日志数据，所述神经网络处理单元用于对所述实时日志数据进行神经算法处理，获得神经网络计算结果，所述故障模型数据库中设置有故障类型及在Δt时间后触发任一故障类型的神经网络计算结果，所述预警单元根据所述故障模型数据库中设置的故障类型做出预警；

所述通信链路为采用独占带宽且独占设备的独立通信链路。

7.如权利要求6所述的虚拟化环境的故障预警系统，其特征在于，所述通信链路为传输速率为千兆以上的以太网链路。

8.如权利要求6所述的虚拟化环境的故障预警系统，其特征在于，所述通信链路为传输速率为千兆以上的光纤链路。