CN104699606B - 一种基于隐马尔科夫模型的软件系统状态预测方法 - Google Patents

Abstract

一种基于隐马尔科夫模型的软件系统状态预测方法，包括以下步骤：构造训练样本集，采用K均值聚类算法将训练样本集中的样本聚为k簇；构造隐马尔科夫模型λ＝[π,A,B]，将训练样本集中的k个簇作为模型的观测状态，将系统状态作为隐藏状态；对隐马尔科夫模型进行训练，得到新的隐马尔科夫模型；利用采集的系统观测值和新的隐马尔科夫模型对系统实际状态进行预测。本发明基于隐马尔科夫模型对系统实际状态和系统观测参数之间关系进行建模，进而根据系统观测值对系统实际状态进行预测，能够根据系统的观测值对系统软件状态进行准确的预测，有助于运维人员及早发现和处理可能的问题，防止功能降级,或者系统崩溃，预测准确率高。

Description

一种基于隐马尔科夫模型的软件系统状态预测方法

技术领域

本发明涉及计算机软件技术领域，具体地，涉及一种基于隐马尔科夫模型的软件系统状态预测方法，主要应用于大型软件管理系统的运行状态预测。

背景技术

随着计算机的普及和应用，各个企业对大型软件管理系统需求越来越高。各式各样的软件管理系统成为各个企业安全、可靠和稳定运行的重要保障。因此，迫切要求提出以评估软件系统运行状态为基础的系统评估和预测机制，提高其运行的可靠性，以保证软件系统中各向功能的安全使用。但是软件状态预测方面，其理论与技术的发展仍然处在一个初级的阶段。

软件状态预测指通过历史信息以及软件系统当前状态信息，对于软件系统未来时间可能出现的状态进行预测。准确的预测软件状态有助于运维人员及早发现和处理可能的问题，防止功能降级,或者系统崩溃等。

当前主流预测方法主要基于时间序列法，从以往系统状态序列中找到一定模式进而推测未来系统状态，预测准确率低，且该方法并未发掘系统实际状态和系统观测参数之间的联系。

发明内容

本发明的目的就在于克服现有技术在软件运行状态预测中的缺点和不足，提供一种基于隐马尔科夫模型的软件系统状态预测方法。该方法基于隐马尔科夫模型对系统实际状态和系统观测参数之间关系进行建模，进而根据系统观测值对系统实际状态进行预测。

本发明解决上述问题所采用的技术方案是：

一种基于隐马尔科夫模型的软件系统状态预测方法，包括以下步骤：

步骤1、构造训练样本集，采用K均值聚类算法将训练样本集中的样本聚为k簇；

步骤2、构造隐马尔科夫模型λ＝[π,A,B]，将步骤一中的k个簇作为模型的观测状态，将系统状态作为隐藏状态；π为初始状态的概率分布，A为隐藏状态转移矩阵，B为隐藏状态与观测状态关系矩阵；

步骤3、对隐马尔科夫模型进行训练，得到新的隐马尔科夫模型

步骤4、利用采集的系统观测值和新的隐马尔科夫模型对系统实际状态进行预测。

作为本发明的进一步改进，所述步骤2包括以下步骤：

步骤21、将步骤1中的k个簇作为隐马尔科夫模型的观测状态,观测状态个数为M，M＝k；

步骤22、系统状态由正常、注意、异常和危险四个状态构成，这四个状态作为隐马尔科夫模型的隐藏状态，隐藏状态个数为N，N＝4。

进一步，所述步骤3包括以下步骤：

步骤31、随机赋值初始化隐马尔科夫模型的参数，得到初始化的隐马尔科夫模型；

步骤32、选定一组已知的观测序列O＝{o₁,o₂,…,o_T}，利用该观测序列和初始化的隐马尔科夫模型和对隐马尔科夫模型进行重估，并对重估后的隐马尔科夫模型进行反复迭代重估，直至收敛，得到训练好的隐马尔科夫模型。

进一步，步骤1包括以下步骤：

步骤11、从系统运行历史数据中采集T个时刻的软件运行状态参数，构造训练样本集X，训练集合为{x⁽¹⁾，x⁽²⁾，x⁽³⁾，…，x^(T)}；

步骤12、采用K均值聚类算法将样本集中的所有样本聚为k类，具体包括以下步骤：

(b1)随机选取k个聚类质心点：μ_1，μ₂，...，μ_k；

(b2)重复b21-b22直到收敛：

(b21)对于每一个样本x^(q)，q＝1,2，…，T，计算其应该属于的类：

c^(q)表示每一个样本x^(q)应该属于的类，c^(q)的取值范围为{1,…,k}；

(b22)在步骤(b21)将所有样本分类完成后，对于每一个类，重新计算该类的质心：

进一步，步骤12中，将采用K均值聚类算法将样本集中的所有样本聚为8类。

进一步，步骤32包括以下步骤：

步骤321.选定一组已知的观测序列O＝{o₁,o₂,…,o_T}；

步骤322.设定收敛条件，收敛条件为ε＝10^-3，为重估的隐马尔科夫模型中观察到观测序列O的概率，P(O|λ)为当前的隐马尔科夫模型中观察到观测序列O的概率；

步骤323.利用观测序列O对当前隐马尔科夫模型参数进行重估，得到新的隐马尔科夫模型

步骤324.判断是否收敛，是则将重估得到的最新隐马尔科夫模型作为训练好的隐马尔科夫模型，结束重估；否则，将重估得到的最新隐马尔科夫模型作为当前隐马尔科夫模型并跳转到步骤323。

进一步，所述步骤323包括以下步骤：

步骤3231：计算在当前隐马尔科夫模型λ和观测序列O下，在时刻t时系统处于隐藏状态s_i、时刻t+1系统处于隐藏状态s_j的概率ξ_t(i,j)_：

a_ij表示隐藏状态s_i向隐藏状态s_j转移的概率；b_j(o_t+1)表示隐藏状态与观测状态关系矩阵B中观测到观测序列O中的o_t+1状态时处于隐藏状态s_j的概率；α_t(i)为在时刻t，系统处于隐藏状态s_i，并且部分观测序列为o₁,o₂,…,o_t的概率；β_t+1(j)为在时刻t，系统处在隐藏状态s_j，并且部分观测序列为o_t+1,o_t+2,…,o_T的概率；

步骤3232：计算观测序列O中从隐藏状态s_i转移到隐藏状态s_j的期望次数：

步骤3233：计算在时刻t观测序列O中从隐藏状态s_i出发的转换的期望次数：

步骤3234：重估公式：

(a)重估隐藏状态初始状态的概率分布，将t＝1代入公式(5)得到t＝1时处在隐藏状态s_i的期望概率

(b)重估隐藏状态转移矩阵：

(c)重估隐藏状态与观测状态关系矩阵：

其中v_f为观测状态取值；

通过步骤(a)-(c)得到新的隐马尔科夫模型的新参数

进一步，所述步骤324包括以下步骤：

步骤3241：计算当前隐马尔科夫模型λ的参数下时间T范围内观测到观测状态序列O＝{o₁,…,o_T}的概率P(O|λ)，其中o_d∈V_，此处d＝1,2,...，T_；V为观察状态的集合：假定观测到观测状态序列O＝{o₁,…,o_T}时对应的状态链为Q＝{q₁,q₂,...，q_T}；则：

其中，(d＝1,2,...，T)表示隐藏状态初始状态的概率分布π中q_d的初始概率，(d＝1,2,...，T)表示隐藏状态与观测状态关系矩阵B中观测到o_d时处于隐藏状态q_d的概率，(d＝2,3,...，T)表示隐藏状态转移矩阵A中，从由状态q_d-1转移到q_d的概率；

步骤3242：计算新的隐马尔科夫模型的新参数下观测到状态序列O＝{o₁,…,o_T}的概率假定观测到观测状态序列O＝{o₁,…,o_T}时对应的状态链为Q＝{q₁,q₂,...，q_T}；则：

其中，(d＝1,2,...，T)表示新的隐马尔科夫模型下隐藏状态初始状态的概率分布中q_d的初始概率，(d＝1,2,...，T)表示新的隐马尔科夫模型下隐藏状态与观测状态关系矩阵B中观测到o_d时处于隐藏状态q_d的概率，(d＝2,3,...，T)表示新的隐马尔科夫模型下隐藏状态转移矩阵A中，从由状态q_d-1转移到q_d的概率；

步骤3243：判断是否成立，若是结束迭代程序，得到训练好的隐马尔科夫模型令否则，令将新的隐马尔科夫模型作为当前隐马尔科夫模型，回到步骤323进行循环。

综上，本发明的有益效果是：

1、本发明基于隐马尔科夫模型对系统实际状态和系统观测参数之间关系进行建模，进而根据系统观测值对系统实际状态进行预测；

2、本发明能够根据系统的观测值对系统软件状态进行准确的预测，有助于运维人员及早发现和处理可能的问题，防止功能降级,或者系统崩溃，预测准确率高。

附图说明

图1是本发明的方法的流程示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

本发明为一种基于隐马尔科夫模型软件系统状态预测方法，基于隐马尔科夫模型(Hidden Markov Model，HMM，又叫隐马尔可夫模型)对系统状态和系统参数之间关系进行建模，进而根据系统参数观测值对系统状态进行预测。

系统状态分为四个状态：正常、注意、异常和危险。但是这些状态是无法直接评估得到的(称为隐藏状态)，然而系统状态却和其他一些因素相关，这些因素却是容易观测和测量的(称为观测状态)。因此，隐马尔科夫模型通过系统历史数据建立观测状态和隐藏状态的联系，当获得一个观测状态后可以推测出系统可能的隐藏状态。

如图1所示，本发明的预测方法步骤如下：

步骤一.构造训练样本集：从系统运行历史数据中采集T个时刻的软件运行状态参数，本实施例中，每个时刻采集表1中的45个状态参数：

表1–系统采集参数

将每个时刻采集的状态参数构造为一个样本x^(q)，其中，x^(q)∈R⁴⁵，q＝1,2，3，…，T；R⁴⁵表示45维的实数空间，x^(q)的每个分量对应一个状态参数，由于步骤1中共采集45个参数，每个训练样本维度为45。由于步骤1中采集T个时刻的系统运行历史数据，那么训练集合大小为T，训练样本集为{x⁽¹⁾,x⁽²⁾，…,x^(T)}；实际应用中，本步骤中的状态参数及其个数可以根据不同的软件系统进行调整。

步骤二.利用K均值聚类算法(K-means算法)将训练集合中的样本聚为k簇，具体步骤如下：

1)随机选取k个聚类质心点，μ₁,μ₂，…,μ_K；其中，μ_r∈R⁴⁵，r＝1,2，…,k；

2)重复步骤(a)-(b)，直到样本收敛形成k个簇不再变化：

(a)对于每一个样本x^(q)，计算其应该属于的类：

上式中，c^(q)表示每一个样本x^(q)应该属于的类，c^(q)的取值范围为{1,2，…,k}；

(b)在步骤(a)将所有样本分类完成后，对于每一个类，重新计算该类的质心：

本实施例中，将所有样本聚为8类(8类即8簇)，即k＝8。通过大量实验表明，当k＝8时，聚类得到的样本占到总样本的数量的70％左右，涵盖了大多数正常状态。

步骤三.构造隐马尔科夫模型λ＝[π,A,B]：

将上述收敛后的k个簇作为隐马尔科夫模型的观测状态,M为观测状态个数，M＝k。设观测状态取值范围为{1,…,k}，即观测值空间为{1,…,k}。

系统状态作为隐马尔科夫模型的隐藏状态，N为隐藏状态个数，本实施例中系统状态由正常、注意、异常和危险四个状态构成，N＝4，假设取值范围为{1,2,3,4}，即状态空间为{1,2,3,4}。

设隐马尔科夫模型中的Markov链即状态链为Q＝{q₁,q₂,...，q_t,...}，观测链为O＝{o₁,o₂,...，o_t,...}。

隐马尔科夫模型的参数有：

(1)N-隐藏状态个数，设隐藏状态的集合为S＝{s₁,s₂,...，s_N}，当t时刻Markov链状态为q_t，则q_t∈S；

(2)M-观测状态个数，设观测状态的集合为V＝{v₁,v₂,...，v_M}，当t时刻观测链状态为o_t，则o_t∈V；

(3)A-隐藏状态转移矩阵，A＝{a_ij}，1≤j≤N，1≤i≤N，a_ij＝P(q_t+1＝s_j|q_t＝s_i)，表示隐藏状态s_i向隐藏状态s_j转移的概率，满足

(4)B-为隐藏状态与观测状态关系矩阵，B＝{B_j(f)}，1≤f≤M，1≤j≤N，b_j(f)＝P(o_t＝v_f|q_t＝s_j)，表示观察状态为o_f时处于隐藏状态s_j的概率，满足

(5)π-隐藏状态初始状态的概率分布，π＝{π_i}，1≤i≤N，这里，π_i＝P(q₁＝s_i)，满足π_i＞0且π_i表示开始时刻初始状态s_i被选中的概率。

步骤四.对隐马尔科夫模型进行训练：利用Baum-Welch算法通过反复迭代确定隐马尔科夫模型λ系统参数：即确定隐藏状态转移矩阵A、隐藏状态与观测状态关系矩阵B和隐藏状态初始分布概率π，包括下述步骤1-步骤5：

步骤1.初始化：随机地给π_i、a_ij、b_j(f)赋值，得到初始化的隐马尔科夫模型。

步骤2.从训练样本集中选定一组已知的观测序列O＝{o₁,o₂,…,o_T}。

步骤3.设置迭代终止条件即收敛条件，本实施例中终止条件为：

为重估的隐马尔科夫模型中观察到观测序列O的概率，P(O|λ)为当前的隐马尔科夫模型中观察到观测序列O的概率。

步骤4.利用观测序列O在当前的隐马尔科夫模型λ系统参数基础上重新评估系统参数得到新的隐马尔科夫模型

步骤4包括步骤41-步骤44：

步骤41：计算参数ξ_t(i,j)，ξ_t(i,j)为给定的当前隐马尔科夫模型λ和观测序列O、在时刻t时系统处于隐藏状态s_i，时刻t+1系统处于隐藏状态s_j的概率，即ξ_t(i,j)＝P(q_t＝s_i,q_t+1＝s_j|O,λ),其中q_t为t时刻的隐藏状态，q_t+1为t+1时刻的隐藏状态，O＝{o₁,o₂,…,o_T}_。ξ_t(i,j)计算过程如下_：

a_ij表示隐藏状态s_i向隐藏状态s_j转移的概率；b_j(o_t+1)表示隐藏状态与观测状态关系矩阵B中观测到观测序列O中的o_t+1状态时处于隐藏状态s_j的概率；α_t(i)为在时刻t，系统处于隐藏状态s_i，并且部分观测序列为o₁,o₂,…,o_t的概率；β_t+1(j)为在时刻t，系统处在隐藏状态s_j，并且部分观测序列为o_t+1,o_t+2,…,o_T的概率。

α_t(i)的计算通过下式递归推导得到：

依此类推计算，直到

其中：

α₁(i)＝π_ib_i(o₁),1≤i≤N_；

b_j(o_t)表示观测到观测序列O中的o_t状态时处于隐藏状态s_j的概率；b_j(o_t-1)表示观测到观测序列O中的o_t-1状态时处于隐藏状态s_j的概率；b_j(o_t-2)表示观测到观测序列O中的o_t-2状态时处于隐藏状态s_j的概率；依此类推。

β_t+1(j)通过下式迭代计算得到：

以此类推，直到

其中，

β_T(i)＝1,1≤i≤N_，

b_j(o_t)表示观测到观测序列O中的o_t状态时处于隐藏状态s_j的概率；b_j(o_t-1)表示观测到观测序列O中的o_t-1状态时处于隐藏状态s_j的概率；依此类推，b_j(o₂)表示观测到观测序列O中的o₂状态时处于隐藏状态s_j的概率。

步骤42：计算观测序列O中从隐藏状态s_i转移到隐藏状态s_j的期望次数：

步骤43：根据公式(5)，计算时刻t，观测序列O中从隐藏状态s_i出发的转换的期望次数：

步骤44：重估公式：

(a)重估隐藏状态初始状态的概率分布，将t＝1代入公式(5)得到t＝1时处在隐藏状态s_i的期望概率

(b)重估隐藏状态转移矩阵，计算从隐藏状态s_i到隐藏状态s_j的转换的期望概率除以隐藏状态s_i出发的期望概率：

(c)重估隐藏状态与观测状态关系矩阵：

计算

其中v_f为观测状态取值；

通过步骤(a)-(c)得到新的隐马尔科夫模型的新参数

步骤5.判断是否收敛，包括步骤51-53：

步骤51：计算当前隐马尔科夫模型λ的参数下时间T范围内观测到观测状态序列O＝{o₁,…,o_T}的概率P(O|λ)，其中o_d∈V_，此处d＝1,2,...，T：假定观测到观测状态序列O＝{o₁,…,o_T}时对应的状态链为Q＝{q₁,q₂,...，q_T}；则：

其中，(d＝1,2,...，T)表示隐藏状态初始状态的概率分布π中q_d的初始概率，(d＝1,2,...，T)表示隐藏状态与观测状态关系矩阵B中观测到o_d时处于隐藏状态q_d的概率，(d＝2,3,...，T)表示隐藏状态转移矩阵A中，从由状态q_d-1转移到q_d的概率。

步骤52：计算新的隐马尔科夫模型的新参数下观测到状态序列O＝{o₁,…,o_T}的概率假定观测到观测状态序列O＝{o₁,…,o_T}时对应的状态链为Q＝{q₁,q₂,...，q_T}；则：

其中，(d＝1,2,...，T)表示新的隐马尔科夫模型下隐藏状态初始状态的概率分布中q_d的初始概率，(d＝1,2,...，T)表示新的隐马尔科夫模型下隐藏状态与观测状态关系矩阵B中观测到o_d时处于隐藏状态q_d的概率，(d＝2,3,...，T)表示新的隐马尔科夫模型下隐藏状态转移矩阵A中，从由状态q_d-1转移到q_d的概率。

步骤53：判断若是结束迭代程序，得到训练好的隐马尔科夫模型令否则，令将新的隐马尔科夫模型作为当前隐马尔科夫模型，回到步骤4进行循环。

步骤五.在步骤四中最后确定的新的隐马尔科夫模型的新参数基础上，采用Viterbi算法代入观测值求解系统的隐藏状态，Viterbi算法就是根据隐马尔科夫模型(HMM)及一个相应的观测序列，找到生成此序列最可能的隐藏状态序列，该方法为本领域常用的隐马尔科夫模型的解码问题，本实施例中不再详述其求解方法。在实际预测过程中，采集到某时刻的系统观测值后，能够根据公式(1)迅速确定该时刻的系统观测值所属于的类即所属的簇，也即获得了隐马尔科夫模型的观测状态，再利用步骤四中训练好的隐马尔科夫模型λ就对系统实际状态进行预测。采集到时间t之前几个时刻的观测值就可构成隐马儿科夫模型的时间t之前的观测序列。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，包括以下步骤：

步骤1、构造训练样本集，采用K均值聚类算法将训练样本集中的样本聚为k个簇；

步骤2、构造隐马尔科夫模型λ＝[π,A,B]，将步骤1中的k个簇作为模型的观测状态，将系统状态作为隐藏状态；π为初始状态的概率分布，A为隐藏状态转移矩阵，B为隐藏状态与观测状态关系矩阵；

步骤3、对隐马尔科夫模型进行训练，得到新的隐马尔科夫模型

步骤4、利用采集的系统观测值和新的隐马尔科夫模型对系统实际状态进行预测；

所述步骤3包括步骤31和步骤32：

步骤31、随机赋值初始化隐马尔科夫模型的参数，得到初始化的隐马尔科夫模型；

步骤32、选定一组已知的观测序列O＝{o₁,o₂,…,o_T}，利用该观测序列和初始化的隐马尔科夫模型对隐马尔科夫模型进行重估，并对重估后的隐马尔科夫模型进行反复迭代重估，直至收敛，得到训练好的隐马尔科夫模型，为重估的隐马尔科夫模型中观察到观测序列O的概率。

2.根据权利要求1所述的一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，所述步骤2包括以下步骤：

步骤21、将步骤1中的k个簇作为隐马尔科夫模型的观测状态,观测状态个数为M，M＝k；

步骤22、系统状态由正常、注意、异常和危险四个状态构成，这四个状态作为隐马尔科夫模型的隐藏状态，隐藏状态个数为N，N＝4。

3.根据权利要求1所述的一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，步骤1包括以下步骤：

步骤11、从系统运行历史数据中采集T个时刻的软件运行状态参数，构造训练样本集X，训练集合为{x⁽¹⁾，x⁽²⁾，x⁽³⁾，…，x^(T)}；

步骤12、采用K均值聚类算法将样本集中的所有样本聚为k类，具体包括以下步骤：

(b1)随机选取k个聚类质心点：μ₁，μ₂，...，μ_k；

(b2)重复b21-b22直到收敛：

(b21)对于每一个样本x^(q)，q＝1,2，…，T，计算其属于的类：

$c^{\left(q\right)}=\arg \underset{r}{min}\left|\right|x^{\left(q\right)}-{\mathrm{\μ}}_r|{|}^2,r=1,2,...,k,---\left(1\right);$

c^(q)表示每一个样本x^(q)属于的类，c^(q)的取值范围为{1,…,k}；

(b22)在步骤(b21)将所有样本分类完成后，对于每一个类，重新计算每一个类的质心：

${\mathrm{\μ}}_r=\frac{\underset{q=1}{\overset{T}{\Σ}}1\{c^{\left(q\right)}=r\}{x}^{\left(q\right)}}{\underset{q=1}{\overset{T}{\Σ}}1\{c^{\left(q\right)}=r\}}---\left(2\right).$

4.根据权利要求3所述的一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，步骤12中，将采用K均值聚类算法将样本集中的所有样本聚为8类。

5.根据权利要求1所述的一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，步骤32包括以下步骤：

步骤321.选定一组已知的观测序列O＝{o₁,o₂,…,o_T}；

步骤322.设定收敛条件，收敛条件为 为重估的隐马尔科夫模型中观察到观测序列O的概率，P(O|λ)为当前的隐马尔科夫模型中观察到观测序列O的概率；

步骤323.利用观测序列O对当前隐马尔科夫模型参数进行重估，得到新的隐马尔科夫模型

步骤324.判断是否收敛，是则将重估得到的新的隐马尔科夫模型作为训练好的隐马尔科夫模型，结束重估；否则，将重估得到的新的隐马尔科夫模型作为当前隐马尔科夫模型并跳转到步骤323。

6.根据权利要求5所述的一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，所述步骤323包括以下步骤：

步骤3231：计算在当前隐马尔科夫模型λ和观测序列O下，在时刻t时系统处于隐藏状态s_i、时刻t+1系统处于隐藏状态s_j的概率ξ_t(i,j)：

${\mathrm{\ξ}}_t(i,j)=\frac{{\mathrm{\α}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\β}}_{t+1}\left(j\right)}{\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\α}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\β}}_{t+1}\left(j\right)}---\left(3\right);$

a_ij表示隐藏状态s_i向隐藏状态s_j转移的概率；b_j(o_t+1)表示隐藏状态与观测状态关系矩阵B中观测到观测序列O中的o_t+1状态时处于隐藏状态s_j的概率；α_t(i)为在时刻t，系统处于隐藏状态s_i，并且部分观测序列为o₁,o₂,…,o_t的概率；β_t+1(j)为在时刻t，系统处在隐藏状态s_j，并且部分观测序列为o_t+1,o_t+2,…,o_T的概率；

步骤3232：计算观测序列O中从隐藏状态s_i转移到隐藏状态s_j的期望次数：

$\mathrm{\ψ}=\underset{t=1}{\overset{T-1}{\Σ}}{\mathrm{\ξ}}_t(i,j)---\left(4\right);$

步骤3233：计算在时刻t观测序列O中从隐藏状态s_i出发的转换的期望次数：

${\mathrm{\γ}}_t\left(i\right)=\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\ξ}}_t(i,j)---\left(5\right);$

步骤3234：重估公式：

(a)重估隐藏状态初始状态的概率分布，将t＝1代入公式(5)得到t＝1时处在隐藏状态s_i的期望概率

(b)重估隐藏状态转移矩阵：

${\stackrel{\‾}{a}}_{ij}=\frac{\underset{t=1}{\overset{T-1}{\Σ}}{\mathrm{\ξ}}_t(i,j)}{\underset{t=1}{\overset{T-1}{\Σ}}{\mathrm{\γ}}_t\left(i\right)}---\left(7\right);$

(c)重估隐藏状态与观测状态关系矩阵：

${\stackrel{\‾}{b}}_j\left(f\right)=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(j\right)\×\mathrm{\δ}\left(o_t,f\right)}{\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(j\right)},1\≤f\≤M,1\≤j\≤N,---\left(8\right);$

其中v_f为观测状态取值，f为观测状态编号；

通过步骤(a)-(c)得到新的隐马尔科夫模型的新参数

7.根据权利要求5所述的一种基于隐马尔科夫模型的软件系统状态预测方法，其特征在于，所述步骤324包括以下步骤：

步骤3241：计算当前隐马尔科夫模型λ的参数下时间T范围内观测到观测状态序列O＝{o₁,…,o_T}的概率P(O|λ)，其中o_d∈V，此处d＝1,2,...，T；V为观察状态的集合：假定观测到观测状态序列O＝{o₁,…,o_T}时对应的状态链为Q＝{q₁,q₂,...，q_T}；则：

$\begin{array}{c}P\left(O\right|\mathrm{\λ})=\underset{q_d\∈Q}{\Σ}P(O,Q|\mathrm{\λ})\\ =\underset{q_1,q_2,q_3,...,q_T}{\mathrm{\Σ}}{\mathrm{\π}}_{q_1}{b}_{q_1}\left(o_1\right)a_{q_1{q}_2}{b}_{q_2}\left(o_2\right)a_{q_2{q}_3}\mathrm{...}{a}_{q_{T-1}{q}_T}{b}_{q_T}\left(o_T\right)\end{array}---\left(9\right);$

其中，表示隐藏状态初始状态的概率分布π中q_d的初始概率，表示隐藏状态与观测状态关系矩阵B中观测到o_d时处于隐藏状态q_d的概率，表示隐藏状态转移矩阵A中，从由状态q_d-1转移到q_d的概率；

步骤3242：计算新的隐马尔科夫模型的新参数下观测到状态序列O＝{o₁,…,o_T}的概率假定观测到观测状态序列O＝{o₁,…,o_T}时对应的状态链为Q＝{q₁,q₂,...，q_T}；则：

$\begin{array}{c}P\left(O\right|\stackrel{\‾}{\mathrm{\λ}})=\underset{q_d\∈Q}{\Σ}P\left(O,Q|\stackrel{\‾}{\mathrm{\λ}}\right)\\ =\underset{q_1,q_2,q_3,...,q_T}{\mathrm{\Σ}}{\stackrel{\‾}{\mathrm{\π}}}_{q_1}{\stackrel{\‾}{b}}_{q_1}\left(o_1\right){\stackrel{\‾}{a}}_{q_1{q}_2}{\stackrel{\‾}{b}}_{q_2}\left(o_2\right){\stackrel{\‾}{a}}_{q_2{q}_3}...{\stackrel{\‾}{a}}_{q_{T-1}{q}_T}{\stackrel{\‾}{b}}_{q_T}\left(o_T\right)\end{array}---\left(10\right);$

其中，表示新的隐马尔科夫模型下隐藏状态初始状态的概率分布中q_d的初始概率，表示新的隐马尔科夫模型下隐藏状态与观测状态关系矩阵B中观测到o_d时处于隐藏状态q_d的概率，表示新的隐马尔科夫模型下隐藏状态转移矩阵A中，从由状态q_d-1转移到q_d的概率；

步骤3243：判断是否成立，若是结束迭代程序，得到训练好的隐马尔科夫模型令否则，令将新的隐马尔科夫模型作为当前隐马尔科夫模型，回到步骤323进行循环。