CN107544904B - 一种基于深度cg-lstm神经网络的软件可靠性预测方法 - Google Patents

Abstract

本发明公开了一种基于深度CG‑LSTM神经网络的软件可靠性预测模型，属于计算机软件技术领域。本发明包括模型训练和模型预测两部分，模型训练部分：对软件失效数据集进行数据归一化处理；利用归一化处理后的软件失效数据集训练基于深度CG‑LSTM神经网络的软件可靠性预测模型，获得预测模型。模型预测部分：获取当前软件失效数据并采进行数据归一化处理，然后输入获得的预测模型进行未来的软件失效预测，得到预测结果。本发明克服基于传统神经网络的软件可靠性预测模型的梯度消失问题、泛化能力差问题，模型预测精度更高、适用性更广。

Description

一种基于深度CG-LSTM神经网络的软件可靠性预测方法

技术领域

本发明涉及一种基于深度CG-LSTM神经网络的软件可靠性预测方法，属于计算机软件技术领域。

背景技术

随着互联网技术的迅猛发展，计算机应用软件的规模越来越大，复杂程度越来越高，由此导致软件系统的可靠性越来越难以保证。

软件可靠性指的是在规定条件下，规定时间内，软件不会失效的概率。软件可靠性预测通常是指将软件测试或运行过程中收集的失效数据作为数据源，对软件未来失效情况做出预测，准确的预测软件的运行状态，有助于及早发现和处理软件可能出现的问题，防止软件故障的出现。

现有的软件可靠性预测模型领域研究最多的是随机过程可靠性模型及传统神经网络可靠性模型。随机过程模型由于需要对软件故障的属性和软件失效过程做出许多先验的假设,这导致在不同的项目中各模型表现出极大的预测精度差异，即模型的适用性较差。传统的神经网络可靠性模型一方面由于其本身结构的原因容易产生梯度消失、梯度爆炸、过拟合等问题，使得应用该模型预测时往往存在泛化能力弱的问题；另一方面，由于其并不能对时间序列上的变化进行建模，从而导致预测精度差的问题。LSTM(Long Short TermMemory)神经网络作为近几年取得重大突破的网络模型，避免了神经网络反向传导的梯度消失问题，并且能够学习时序数据之间的长短时间关联关系，对于输入的时序数据自动决定历史数据对预测数据的贡献。

发明内容

本发明克服传统的软件可靠性预测模型在预测中的缺点和不足,提出一种基于深度 CG-LSTM(Control Gate-Long Short Term Memory)神经网络软件可靠性预测方法。在常规LSTM神经网络基础上,引入一个控制门,通过控制门增强邻近LSTM单元信息之间的信息传输,使得CG-LSTM神经网络更适合处理时序数据,近而有效地提高了软件失效时间预测的准确率。

本发明的目的是这样实现的：

一种基于深度CG-LSTM神经网路的软件可靠性预测方法，包括模型训练和模型预测两部分，其特征在于，所述模型训练部分包括以下步骤：

步骤一对软件失效数据集进行数据归一化处理，所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间X_i，软件失效时间经过数据归一化处理为M_i。

提取软件失效数据集中的软件失效时间最大值X_max；提取软件失效数据集中的软件失效时间最小值X_min；使用min-max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：

步骤二利用归一化处理后的软件失效数据集训练基于深度CG-LSTM神经网络的软件可靠性预测模型，获得预测模型；CG-LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间X_t,输出数据为预测的t+1时刻的软件失效时间

CG-LSTM神经网络由输入层、输出层、隐含层组成；隐含层由CG-LSTM单元构成，CG-LSTM单元是在多层全连接的标准LSTM单元基础上改进而来。

标准LSTM单元包括输入门(input gate)、记忆门(forget gate)、输出门(outputgate) 和cell单元；设输入序列为(x₁，x₂，...，x_t)，则在t时刻input门、forget门、output门、cell单元、标准LSTM单元输出计算公式如下所示：

i_t＝sigmoid(W_i*[c_t-1，h_t-1，x_t]+b_i) (2)

ft＝sigmoid(W_f*[c_t-1，h_t-1，x_t]+b_f) (3)

o_t＝sigmoid(W_o*[c_t，h_t-1，x_t]+b_o) (4)

c_t＝f_t*c_t-1+i_t*tanh(W_c*[h_t-1，x_t]) (5)

h_t＝o_t*tanh(c_t) (6)

其中i_t表示t时刻input门的输出；W_i表示输入和input门之间的权重；c_t-1表示t-1时刻 cell单元输出；h_t-1表示t-1时刻标准LSTM单元输出；x_t表示经过归一化处理后的软件失效时间；b_i表示input门偏置；f_t表示t时刻forget门输出；W_f表示输入和forget门之间的权重； b_f表示forget门偏置；o_t表示t时刻output门输出；W_o表示输入和output门的权重；c_t表示t时刻cell单元输出；b_o表示output门偏置；W_c表示输和cell单元之间的权重；h_t表示t时刻标准LSTM单元输出；sigmoid与tanh为两种神经网络常用的神经元激活函数。

考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现；t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：

其中，上标L+1表示第L+1层的操作，

表示控制门的输出，

是控制门的偏置，

是将控制门与其输入层相关联的权重矩阵，

权重向量将该层的当前记忆单元与前记忆单元连接，权重向量

连接上一层的记忆单元。

控制门也可以用于连接第一层隐含层状态

与输入值

在这种情况下，当L＝0时，对于控制门的计算如下所示：

t时刻第L+1层记忆单元的输出

计算公式如下所示：

训练CG-LSTM神经网络的目标是使得网络的实际输出X_t+1和预测输出

相等，定义网络的损失函数J如公式(10)所示：

其中，Num表示预测次数，通过梯度下降法最小化J可以得到网络中的权值和偏置，得到预测模型。

所述模型预测部分包括以下步骤：

步骤三：获取软件的最近一次的失效时间数据T_t，以及最近一次时间以前的失效时间数据T_t-1，T_t-2，...，T_t-N。

步骤四：利用步骤一中方法，对T_t，T_t-1，T_t-2，...，T_t-N进行数据的归一化处理。

步骤五，将经过归一化处理过的T_t，T_t-1，T_t-2，...，T_t-N数据输入到步骤二所获得的预测模型，得到预测结果

进行反归一化后，得到下一次的软件失效时间

反归一化如公式(11)所示:

其中T_min表示软件失效数据中失效时间的最小值，T_max表示软件失效数据中是失效时间最大值。

所述步骤二的具体的训练过程包括以下步骤：

步骤一将归一化处理后的数据按照序列的时间顺序分为两组,时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集。

步骤二设定深度CG-LSTM神经网络的输入层神经元个数为5和输出层神经元个数为1，设定深度CG-LSTM神经网络隐含层的神经元个数为M，隐含层共3层，其中 M＝1，2，3，...M_max，M_max为预设值。

步骤三依次在M的每个取值所对应的CG-LSTM神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存M的每个取值下性能最优的CG-LSTM神经网络，选取性能最优的CG-LSTM神经网络结构作为预测模型。

上述步骤三包括以下步骤：

步骤一进行外循环初始化，设定M＝1；进行设定误差值的设置。

步骤二进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数。

步骤三基于结构风险最小化原理，利用训练集数据进行CG-LSTM神经网络的训练。

步骤四将验证集数据输入步骤A233训练好的改进的CG-LSTM神经网络，利用经验风险函数进行验证集误差的计算。

步骤五若验证集误差大于或等于当前最小误差，则直接迭代次数+1。

若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前 CG-LSTM神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：

若验证集误差小于设定误差，则读取CG-LSTM神经网络的参数，并执行步骤A238；若验证集误差大于或等于设定误差则迭代次数+1。

步骤六若迭代次数小于或等于最大迭代次数，则执行步骤A233。

若迭代次数大于最大迭代次数则M＝M+1，然后进行如下判断。

若M＞M_max则执行步骤A237；若M≤M_max则执行步骤A232。

步骤七对比不同M值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的CG-LSTM神经网络的参数。

步骤八依据所选择的网络参数确定CG-LSTM神经网络结构的软件可靠性的预测模型。

本发明的有益效果是：本发明所述的一种基于CG-LSTM神经网络的软件可靠性预测方法，克服基于传统神经网络的软件可靠性预测模型的梯度消失问题、泛化能力差问题，模型预测精度更高、适用性更广。

附图说明

图1基于CG-LSTM神经网络的软件可靠性预测方法框图；

图2标准LSTM单元结构图；

图3多层标准LSTM单元结构图；

图4CG-LSTM单元结构图；

图5CG-LSTM神经网络训练流程示意图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于解释本发明，并不构成对本发明的限制。

本发明提出一种基于CG-LSTM神经网路的软件可靠性预测方法。如图1 所示，该方法包括模型训练和模型预测两部分。

模型训练部分：

步骤A1：对软件失效数据集进行数据归一化处理；

所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间X_i，软件失效时间经过归一化为M_i。

数据归一化处理包括以下步骤：

步骤A11：提取软件失效数据集中的软件失效时间最大值X_max；

步骤A12：提取软件失效数据集中的软件失效时间最小值X_min；

步骤A13：使用min-max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：

步骤A2：利用归一化处理后的软件失效数据集训练基于深度CG-LSTM神经网络的软件可靠性预测模型，获得预测模型；

CG-LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间X_t,输出数据为预测的t+1时刻的软件失效时间

CG-LSTM神经网络由输入层、输出层、隐含层组成。隐含层由CG-LSTM单元构成，CG-LSTM单元是在多层全连接的标准LSTM单元基础上改进而来，标准LSTM单元结构如图2 所示,多层标准LSTM单元结构如图3 所示，CG-LSTM单元结构如图4 。

标准LSTM单元包括输入门(input gate)、记忆门(forget gate)、输出门(outputgate) 和cell单元。设输入序列为(x₁，x₂，...，x_t)，则在t时刻input门、forget门、output门、cell单元、标准LSTM单元输出计算公式如下所示：

i_t＝sigmoid(W_i*[c_t-1，h_t-1，x_t]+b_i)(2)

f_t＝sigmoid(W_f*[c_t-1，h_t-1，x_t]+b_f) (3)

o_t＝sigmoid(W_o*[c_t，h_t-1，x_t]+b_o) (4)

c_t＝f_t*c_t-1+i_t*tanh(W_c*[h_t-1，x_t]) (5)

h_t＝o_t*tanh(c_t) (6)

其中i_t表示t时刻input门的输出；W_i表示输入和input门之间的权重；c_t-1表示t-1时刻cell单元输出；h_t-1表示t-1时刻标准LSTM单元输出；x_t表示经过归一化处理后的软件失效时间；b_i表示input门偏置；f_t表示t时刻forget门输出；W_f表示输入和forget门之间的权重； b_f表示forget门偏置；o_t表示t时刻output门输出；W_o表示输入和output门的权重；c_t表示t时刻cell单元输出；b_o表示output门偏置；W_c表示输和cell单元之间的权重；h_t表示 t时刻标准LSTM单元输出；sigmoid与tanh为两种神经网络常用的神经元激活函数。

考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现。t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：

其中，上标L+1表示第L+1层的操作，

表示控制门的输出，

是控制门的偏置，

是将控制门与其输入层相关联的权重矩阵，

权重向量将该层的当前记忆单元与前记忆单元连接，权重向量

连接上一层的记忆单元。

控制门也可以用于连接第一层隐含层状态

与输入值

在这种情况下，当L＝0时，对于控制门的计算如下所示：

t时刻第L+1层记忆单元的输出

计算公式如下所示：

训练CG-LSTM神经网络的目标是使得网络的实际输出X_t+1和预测输出

相等，定义网络的损失函数J如公式(10)所示：

其中，Num表示预测次数，通过梯度下降法最小化J可以得到网络中的权值和偏置，得到预测模型。具体的训练过程包括以下步骤：

步骤A21,将归一化处理后的数据按照序列的时间顺序分为两组,时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；

步骤A22，设定深度CG-LSTM神经网络的输入层神经元个数为5和输出层神经元个数为 1，设定深度CG-LSTM神经网络隐含层的神经元个数为M，隐含层共3层，其中M＝ 1，2，3，...M_max，M_max为预设值；

步骤A23，依次在M的每个取值所对应的CG-LSTM神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存的每个取值下性能最优的CG-LSTM神经网络，选取性能最优的CG-LSTM神经网络结构作为预测模型。

步骤A23的过程如图5所示，包括以下步骤：

步骤A231：进行外循环初始化，设定M＝1；进行设定误差值的设置；

步骤A232：进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；

步骤A233：基于结构风险最小化原理，利用训练集数据进行CG-LSTM神经网络的训练；

步骤A234：将验证集数据输入步骤A233训练好的改进的CG-LSTM神经网络，利用经验风险函数进行验证集误差的计算；

步骤A235：若验证集误差大于或等于当前最小误差，则直接迭代次数+1；

若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前 CG-LSTM神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：

若验证集误差小于设定误差，则读取CG-LSTM神经网络的参数，并执行步骤A238；若验证集误差大于或等于设定误差则迭代次数+1；

步骤A236：若迭代次数小于或等于最大迭代次数，则执行步骤A233；

若迭代次数大于最大迭代次数则M＝M+1，然后进行如下判断：

若M＞M_max则执行步骤A237；若M≤M_max则执行步骤A232；

步骤A237：对比不同M值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的CG-LSTM神经网络的参数；

步骤A238：依据所选择的网络参数确定CG-LSTM神经网络结构的软件可靠性的预测模型。

模型预测部分：

步骤B1：获取当前软件失效数据并采用步骤A1同样的方法进行数据归一化处理，然后输入步骤A2所获得的预测模型进行未来的软件失效预测，得到预测结果。

步骤B11：获取软件的最近一次的失效时间数据T_t，以及最近一次时间以前的失效时间数据T_t-1，T_t-2，...，T_t-N；

步骤B12：利用步骤A1中方法，对T_t，T_t-1，T_t-2，...，T_t-N进行数据的归一化处理。

步骤B13，将经过归一化处理过的T_t，T_t-1，T_t-2，...，T_t-N数据输入到步骤A2所获得的预测模型，得到预测结果

进行反归一化后，得到下一次的软件失效时间

反归一化如公式(11)所示:

其中T_min表示软件失效数据中失效时间的最小值，T_max表示软件失效数据中是失效时间最大值。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度CG-LSTM神经网络的软件可靠性预测方法，包括模型训练和模型预测两部分，其特征在于，所述模型训练部分包括以下步骤：

步骤一对软件失效数据集进行数据归一化处理，所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间X_i，软件失效时间经过数据归一化处理为M_i；

提取软件失效数据集中的软件失效时间最大值X_max；提取软件失效数据集中的软件失效时间最小值X_min；使用min-max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：

步骤二利用归一化处理后的软件失效数据集训练基于深度CG-LSTM神经网络的软件可靠性预测模型，获得预测模型；CG-LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间X_t,输出数据为预测的t+1时刻的软件失效时间

CG-LSTM神经网络由输入层、输出层、隐含层组成；隐含层由CG-LSTM单元构成，CG-LSTM单元是在多层全连接的标准LSTM单元基础上改进而来；CG-LSTM指基于控制门的长短期记忆人工神经网络；

标准LSTM单元包括输入门、记忆门、输出门和cell单元；设输入序列为(x₁，x₂，...，x_t)，则在t时刻输入门、记忆门、输出门、cell单元、标准LSTM单元输出计算公式如下所示：

i_t＝sigmoid(W_i*[c_t-1，h_t-1，x_t]+b_i) (2)

f_t＝sigmoid(W_f*[c_t-1，h_t-1，x_t]+b_f) (3)

o_t＝sigmoid(W_o*[c_t，h_t-1，x_t]+b_o) (4)

c_t＝f_t*c_t-1+i_t*tanh(W_c*[h_t-1，x_t]) (5)

h_t＝o_t*tanh(c_t) (6)

其中i_t表示t时刻输入门的输出；W_i表示输入和输入门之间的权重；c_t-1表示t-1时刻cell单元输出；h_t-1表示t-1时刻标准LSTM单元输出；x_t表示经过归一化处理后的软件失效时间；b_i表示输入门偏置；f_t表示t时刻记忆门输出；W_f表示输入和记忆门之间的权重；b_f表示记忆门偏置；o_t表示t时刻输出门输出；W_o表示输入和输出门的权重；c_t表示t时刻cell单元输出；b_o表示输出门偏置；W_c表示输和cell单元之间的权重；h_t表示t时刻标准LSTM单元输出；sigmoid与anh为两种神经网络常用的神经元激活函数；

考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现；t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：

其中，上标L+1表示第L+1层的操作，

表示控制门的输出，

是控制门的偏置，

是将控制门与其输入层相关联的权重矩阵，

权重向量将该层的当前记忆单元与前记忆单元连接，权重向量

连接上一层的记忆单元；

控制门用于连接第一层隐含层状态

与输入值

在这种情况下，当L＝0时，对于控制门的计算如下所示：

t时刻第L+1层记忆单元的输出

计算公式如下所示：

训练CG-LSTM神经网络的目标是使得网络的实际输出X_t+1和预测输出

相等，定义网络的损失函数J如公式(10)所示：

其中，Num表示预测次数，通过梯度下降法最小化J得到网络中的权值和偏置，得到预测模型；

所述模型预测部分包括以下步骤：

步骤三：获取软件的最近一次的失效时间数据T_t，以及最近一次时间以前的失效时间数据T_t-1，T_t-2，...，T_t-N；

步骤四：利用步骤一中方法，对T_t，T_t-1，T_t-2，...，T_t-N进行数据的归一化处理；

步骤五，将经过归一化处理过的T_t，T_t-1，T_t-2，...，T_t-N数据输入到步骤二所获得的预测模型，得到预测结果

进行反归一化后，得到下一次的软件失效时间

反归一化如公式(11)所示:

其中T_min表示软件失效数据中失效时间的最小值，T_max表示软件失效数据中是失效时间最大值。

2.根据权利要求1所述的一种基于深度CG-LSTM神经网络的软件可靠性预测方法，其特征在于，所述步骤二的具体的训练过程包括以下步骤：

步骤(2.1)将归一化处理后的数据按照序列的时间顺序分为两组,时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；

步骤(2.2)设定深度CG-LSTM神经网络的输入层神经元个数为5和输出层神经元个数为1，设定深度CG-LSTM神经网络隐含层的神经元个数为M，隐含层共3层，其中M＝1，2，3，...M_max，M_max为预设值；

步骤(2.3)依次在M的每个取值所对应的CG-LSTM神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存M的每个取值下性能最优的CG-LSTM神经网络，选取性能最优的CG-LSTM神经网络结构作为预测模型。

3.根据权利要求2所述的一种基于深度CG-LSTM神经网络的软件可靠性预测方法，其特征在于，所述步骤三包括以下步骤：

步骤(3.1)进行外循环初始化，设定M＝1；进行设定误差值的设置；

步骤(3.2)进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；

步骤(3.3)基于结构风险最小化原理，利用训练集数据进行CG-LSTM神经网络的训练；

步骤(3.4)将验证集数据输入步骤(3.3)训练好的改进的CG-LSTM神经网络，利用经验风险函数进行验证集误差的计算；

步骤(3.5)若验证集误差大于或等于当前最小误差，则直接迭代次数+1；

若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前CG-LSTM神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：

若验证集误差小于设定误差，则读取CG-LSTM神经网络的参数，并执行步骤(3.8)；若验证集误差大于或等于设定误差则迭代次数+1；

步骤(3.6)若迭代次数小于或等于最大迭代次数，则执行步骤(3.3)；

若迭代次数大于最大迭代次数则M＝M+1，然后进行如下判断：

若M＞M_max则执行步骤(3.7)；若M≤M_max则执行步骤(3.2)；

步骤(3.7)对比不同M值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的CG-LSTM神经网络的参数；

步骤(3.8)依据所选择的网络参数确定CG-LSTM神经网络结构的软件可靠性的预测模型。

Images