CN107544904A - 一种基于深度cg‑lstm神经网络的软件可靠性预测模型 - Google Patents
一种基于深度cg‑lstm神经网络的软件可靠性预测模型 Download PDFInfo
- Publication number
- CN107544904A CN107544904A CN201710717237.5A CN201710717237A CN107544904A CN 107544904 A CN107544904 A CN 107544904A CN 201710717237 A CN201710717237 A CN 201710717237A CN 107544904 A CN107544904 A CN 107544904A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msubsup
- lstm
- software
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度CG‑LSTM神经网络的软件可靠性预测模型，属于计算机软件技术领域。本发明包括模型训练和模型预测两部分，模型训练部分：对软件失效数据集进行数据归一化处理；利用归一化处理后的软件失效数据集训练基于深度CG‑LSTM神经网络的软件可靠性预测模型，获得预测模型。模型预测部分：获取当前软件失效数据并采进行数据归一化处理，然后输入获得的预测模型进行未来的软件失效预测，得到预测结果。本发明克服基于传统神经网络的软件可靠性预测模型的梯度消失问题、泛化能力差问题，模型预测精度更高、适用性更广。
Description
技术领域
本发明涉及一种基于深度CG-LSTM神经网络的软件可靠性预测模型，属于计算机软件技术领域。
背景技术
随着互联网技术的迅猛发展，计算机应用软件的规模越来越大，复杂程度越来越高，由此导致软件系统的可靠性越来越难以保证。
软件可靠性指的是在规定条件下，规定时间内，软件不会失效的概率。软件可靠性预测通常是指将软件测试或运行过程中收集的失效数据作为数据源，对软件未来失效情况做出预测，准确的预测软件的运行状态，有助于及早发现和处理软件可能出现的问题，防止软件故障的出现。
现有的软件可靠性预测模型领域研究最多的是随机过程可靠性模型及传统神经网络可靠性模型。随机过程模型由于需要对软件故障的属性和软件失效过程做出许多先验的假设,这导致在不同的项目中各模型表现出极大的预测精度差异，即模型的适用性较差。传统的神经网络可靠性模型一方面由于其本身结构的原因容易产生梯度消失、梯度爆炸、过拟合等问题，使得应用该模型预测时往往存在泛化能力弱的问题；另一方面，由于其并不能对时间序列上的变化进行建模，从而导致预测精度差的问题。LSTM(Long ShortTermMemory)神经网络作为近几年取得重大突破的网络模型，避免了神经网络反向传导的梯度消失问题，并且能够学习时序数据之间的长短时间关联关系，对于输入的时序数据自动决定历史数据对预测数据的贡献。
发明内容
本发明克服传统的软件可靠性预测模型在预测中的缺点和不足,提出一种基于深度CG- LSTM(Control Gate-Long ShortTerm Memory)神经网络软件可靠性预测模型。在常规 LSTM神经网络基础上,引入一个控制门,通过控制门增强邻近LSTM单元信息之间的信息传输,使得CG-LSTM神经网络更适合处理时序数据,近而有效地提高了软件失效时间预测的准确率。
本发明的目的是这样实现的：
一种基于深度CG-LSTM神经网路的软件可靠性预测模型，包括模型训练和模型预测两部分，其特征在于，所述模型训练部分包括以下步骤：
步骤一对软件失效数据集进行数据归一化处理，所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间Xi，软件失效时间经过数据归一化处理为Mi。
提取软件失效数据集中的软件失效时间最大值Xmax；提取软件失效数据集中的软件失效时间最小值Xmin；使用min-max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：
步骤二利用归一化处理后的软件失效数据集训练基于深度CG-LSTM神经网络的软件可靠性预测模型，获得预测模型；CG-LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间Xt,输出数据为预测的t+1时刻的软件失效时间CG-LSTM神经网络由输入层、输出层、隐含层组成；隐含层由CG-LSTM单元构成，CG-LSTM单元是在多层全连接的标准LSTM单元基础上改进而来。
标准LSTM单元包括输入门(inputgate)、记忆门(forgetgate)、输出门(outputgate) 和cell单元；设输入序列为(x1,x2,…,xt)，则在t时刻input门、forget门、output门、cell单元、标准LSTM单元输出计算公式如下所示：
it＝sigmoid(Wi*[ct-1,ht-1,xt]+bi) (2)
ft＝sigmoid(Wf*[Ct-1,ht-1,xt]+bf) (3)
ot＝sigmoid(Wo*[Ct,ht-1,xt]+bo) (4)
ct＝ft*ct-1+it*tanh(Wc*[ht-1,xt]) (5)
ht＝ot*tanh(ct) (6)
其中it表示t时刻input门的输出；Wi表示输入和input门之间的权重；ct-1表示t-1时刻cell单元输出；ht-1表示t-1时刻标准LSTM单元输出；xt表示经过归一化处理后的软件失效时间；bi表示input门偏置；ft表示t时刻forget门输出；Wf表示输入和forget门之间的权重；bf表示forget门偏置；ot表示t时刻output门输出；Wo表示输入和output门的权重； ct表示t时刻cell单元输出；bo表示output门偏置；Wc表示输和cell单元之间的权重；ht表示t时刻标准LSTM单元输出；sigmoid与tanh为两种神经网络常用的神经元激活函数。
考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现；t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：
其中，上标L+1表示第L+1层的操作，表示控制门的输出，是控制门的偏置，是将控制门与其输入层相关联的权重矩阵，权重向量将该层的当前记忆单元与前记忆单元连接，权重向量连接上一层的记忆单元。
控制门也可以用于连接第一层隐含层状态与输入值在这种情况下，当L＝0时，对于控制门的计算如下所示：
t时刻第L+1层记忆单元的输出计算公式如下所示：
训练CG-LSTM神经网络的目标是使得网络的实际输出Xt+1和预测输出相等，定义网络的损失函数J如公式(10)所示：
其中，Num表示预测次数，通过梯度下降法最小化J可以得到网络中的权值和偏置，得到预测模型。
所述模型预测部分包括以下步骤：
步骤三：获取软件的最近一次的失效时间数据Tt，以及最近一次时间以前的失效时间数据Tt-1,Tt-2,…,Tt-N。
步骤四：利用步骤一中方法，对Tt,Tt-1,Tt-2,…,Tt-N进行数据的归一化处理。
步骤五，将经过归一化处理过的Tt,Tt-1,Tt-2,…,Tt-N数据输入到步骤二所获得的预测模型，得到预测结果进行反归一化后，得到下一次的软件失效时间
反归一化如公式(11)所示:
其中Tmin表示软件失效数据中失效时间的最小值，Tmax表示软件失效数据中是失效时间最大值。
所述步骤二的具体的训练过程包括以下步骤：
步骤一将归一化处理后的数据按照序列的时间顺序分为两组,时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集。
步骤二设定深度CG-LSTM神经网络的输入层神经元个数为5和输出层神经元个数为1，设定深度CG-LSTM神经网络隐含层的神经元个数为M，隐含层共3层，其中M＝ 1,2,3，…Mmax,Mmax为预设值。
步骤三依次在M的每个取值所对应的CG-LSTM神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存M 的每个取值下性能最优的CG-LSTM神经网络，选取性能最优的CG-LSTM神经网络结构作为预测模型。
上述步骤三包括以下步骤：
步骤一进行外循环初始化，设定M＝1；进行设定误差值的设置。
步骤二进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数。
步骤三基于结构风险最小化原理，利用训练集数据进行CG-LSTM神经网络的训练。
步骤四将验证集数据输入步骤A233训练好的改进的CG-LSTM神经网络，利用经验风险函数进行验证集误差的计算。
步骤五若验证集误差大于或等于当前最小误差，则直接迭代次数+1。
若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前 CG-LSTM神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：
若验证集误差小于设定误差，则读取CG-LSTM神经网络的参数，并执行步骤A238；若验证集误差大于或等于设定误差则迭代次数+1。
步骤六若迭代次数小于或等于最大迭代次数，则执行步骤A233。
若迭代次数大于最大迭代次数则M＝M+1，然后进行如下判断。
若M＞Mmax则执行步骤A237；若M≤Mmax则执行步骤A232。
步骤七对比不同M值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的CG-LSTM神经网络的参数。
步骤八依据所选择的网络参数确定CG-LSTM神经网络结构的软件可靠性的预测模型。
本发明的有益效果是：本发明所述的一种基于CG-LSTM神经网络的软件可靠性预测模型，克服基于传统神经网络的软件可靠性预测模型的梯度消失问题、泛化能力差问题，模型预测精度更高、适用性更广。
附图说明
图1基于CG-LSTM神经网络的软件可靠性预测模型框图；
图2标准LSTM单元结构图；
图3多层标准LSTM单元结构图；
图4CG-LSTM单元结构图；
图5CG-LSTM神经网络训练流程示意图。
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于解释本发明，并不构成对本发明的限制。
本发明提出一种基于CG-LSTM神经网路的软件可靠性预测模型。如图1所示，该模型包括模型训练和模型预测两部分。
模型训练部分：
步骤A1：对软件失效数据集进行数据归一化处理；
所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间Xi，软件失效时间经过归一化为Mi。
数据归一化处理包括以下步骤：
步骤A11：提取软件失效数据集中的软件失效时间最大值Xmax；
步骤A12：提取软件失效数据集中的软件失效时间最小值Xmin；
步骤A13：使用min-max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：
步骤A2：利用归一化处理后的软件失效数据集训练基于深度CG-LSTM神经网络的软件可靠性预测模型，获得预测模型；
CG-LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间Xt,输出数据为预测的t+1时刻的软件失效时间CG-LSTM神经网络由输入层、输出层、隐含层组成。隐含层由CG-LSTM单元构成，CG-LSTM单元是在多层全连接的标准LSTM单元基础上改进而来，标准LSTM单元结构如图2所示,多层标准LSTM单元结构如图3所示，CG-LSTM 单元结构如图4。
标准LSTM单元包括输入门(inputgate)、记忆门(forgetgate)、输出门(outputgate) 和cell单元。设输入序列为(x1,x2,…,xt)，则在t时刻input门、forget门、output门、cell单元、标准LSTM单元输出计算公式如下所示：
it＝sigmoid(Wi*[ct-1,ht-1,xt]+bi) (2)
ft＝sigmoid(Wf*[ct-1,ht-1,xt]+bf) (3)
ot＝sigmoid(Wo*[ct,ht-1,xt]+bo) (4)
ct＝ft*ct-1+it*tanh(Wc*[ht-1,xt]) (5)
ht＝ot*tanh(ct) (6)
其中it表示t时刻input门的输出；Wi表示输入和input门之间的权重；ct-1表示t-1时刻cell单元输出；ht-1表示t-1时刻标准LSTM单元输出；xt表示经过归一化处理后的软件失效时间；bi表示input门偏置；ft表示t时刻forget门输出；Wf表示输入和forget门之间的权重；bf表示forget门偏置；ot表示t时刻output门输出；Wo表示输入和output门的权重； ct表示t时刻cell单元输出；bo表示output门偏置；Wc表示输和cell单元之间的权重；ht表示t时刻标准LSTM单元输出；sigmoid与tanh为两种神经网络常用的神经元激活函数。
考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现。t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：
其中，上标L+1表示第L+1层的操作，表示控制门的输出，是控制门的偏置，是将控制门与其输入层相关联的权重矩阵，权重向量将该层的当前记忆单元与前记忆单元连接，权重向量连接上一层的记忆单元。
控制门也可以用于连接第一层隐含层状态与输入值在这种情况下，当L＝0时，对于控制门的计算如下所示：
t时刻第L+1层记忆单元的输出计算公式如下所示：
训练CG-LSTM神经网络的目标是使得网络的实际输出Xt+1和预测输出相等，定义网络的损失函数J如公式(10)所示：
其中，Num表示预测次数，通过梯度下降法最小化J可以得到网络中的权值和偏置，得到预测模型。具体的训练过程包括以下步骤：
步骤A21,将归一化处理后的数据按照序列的时间顺序分为两组,时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；
步骤A22，设定深度CG-LSTM神经网络的输入层神经元个数为5和输出层神经元个数为1，设定深度CG-LSTM神经网络隐含层的神经元个数为M，隐含层共3层，其中M＝1,2,3，…Mmax,Mmax为预设值；
步骤A23，依次在M的每个取值所对应的CG-LSTM神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存M的每个取值下性能最优的CG-LSTM神经网络，选取性能最优的CG-LSTM神经网络结构作为预测模型。
步骤A23的过程如图5所示，包括以下步骤：
步骤A231：进行外循环初始化，设定M＝1；进行设定误差值的设置；
步骤A232：进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤A233：基于结构风险最小化原理，利用训练集数据进行CG-LSTM神经网络的训练；
步骤A234：将验证集数据输入步骤A233训练好的改进的CG-LSTM神经网络，利用经验风险函数进行验证集误差的计算；
步骤A235：若验证集误差大于或等于当前最小误差，则直接迭代次数+1；
若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前 CG-LSTM神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：
若验证集误差小于设定误差，则读取CG-LSTM神经网络的参数，并执行步骤A238；若验证集误差大于或等于设定误差则迭代次数+1；
步骤A236：若迭代次数小于或等于最大迭代次数，则执行步骤A233；
若迭代次数大于最大迭代次数则M＝M+1，然后进行如下判断：
若M＞Mmax则执行步骤A237；若M≤Mmax则执行步骤A232；
步骤A237：对比不同M值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的CG-LSTM神经网络的参数；
步骤A238：依据所选择的网络参数确定CG-LSTM神经网络结构的软件可靠性的预测模型。
模型预测部分：
步骤B1：获取当前软件失效数据并采用步骤A1同样的方法进行数据归一化处理，然后输入步骤A2所获得的预测模型进行未来的软件失效预测，得到预测结果。
步骤B11：获取软件的最近一次的失效时间数据Tt，以及最近一次时间以前的失效时间数据Tt-1,Tt-2,…,Tt-N；
步骤B12：利用步骤A1中方法，对Tt,Tt-1,Tt-2,…,Tt-N进行数据的归一化处理。
步骤B13，将经过归一化处理过的Tt,Tt-1,Tt-2,…,Tt-N数据输入到步骤A2所获得的预测模型，得到预测结果进行反归一化后，得到下一次的软件失效时间
反归一化如公式(11)所示:
其中Tmin表示软件失效数据中失效时间的最小值，Tmax表示软件失效数据中是失效时间最大值。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于深度CG-LSTM神经网路的软件可靠性预测模型，包括模型训练和模型预测两部分，其特征在于，所述模型训练部分包括以下步骤：
步骤一 对软件失效数据集进行数据归一化处理，所述的软件失效数据集来源于软件数据采集系统，数据集中包括软件失效时间Xi，软件失效时间经过数据归一化处理为Mi；
提取软件失效数据集中的软件失效时间最大值Xmax；提取软件失效数据集中的软件失效时间最小值Xmin；使用min-max标准化方法对软件失效数据集数据进行归一化的处理，具体公式如(1)所示：
<mrow>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>X</mi>
<mi>max</mi>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤二利用归一化处理后的软件失效数据集训练基于深度CG-LSTM神经网络的软件可靠性预测模型，获得预测模型；CG-LSTM神经网络输入数据为归一化处理后的t时刻的软件失效时间Xt,输出数据为预测的t+1时刻的软件失效时间CG-LSTM神经网络由输入层、输出层、隐含层组成；隐含层由CG-LSTM单元构成，CG-LSTM单元是在多层全连接的标准LSTM单元基础上改进而来；
标准LSTM单元包括输入门(inputgate)、记忆门(forgetgate)、输出门(outputgate)和cell单元；设输入序列为(x1,x2,…,xt)，则在t时刻input门、forget门、output门、cell单元、标准LSTM单元输出计算公式如下所示：
it＝sigmoid(Wi*[ct-1,ht-1,xt]+bi) (2)
ft＝sigmoid(Wf*[ct-1,ht-1,xt]+bf) (3)
ot＝sigmoid(Wo*[ct,ht-1,xt]+bo) (4)
ct＝ft*ct-1+it*tanh(Wc*[ht-1,xt]) (5)
ht＝ot*tanh(ct) (6)
其中it表示t时刻input门的输出；Wi表示输入和input门之间的权重；ct-1表示t-1时刻cell单元输出；ht-1表示t-1时刻标准LSTM单元输出；xt表示经过归一化处理后的软件失效时间；bi表示input门偏置；ft表示t时刻forget门输出；Wf表示输入和forget门之间的权重；bf表示forget门偏置；ot表示t时刻output门输出；Wo表示输入和output门的权重；ct表示t时刻cell单元输出；bo表示output门偏置；Wc表示输和cell单元之间的权重；ht表示t时刻标准LSTM单元输出；sigmoid与tanh为两种神经网络常用的神经元激活函数；
考虑到各个时段之间的时序关联，t时段的同一时刻邻近的两层LSTM单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层LSTM的记忆单元向邻近高层记忆单元的信息流传输实现；t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门计算公式如下：
<mrow>
<msubsup>
<mi>d</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>b</mi>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>W</mi>
<mrow>
<mi>x</mi>
<mi>d</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&omega;</mi>
<mrow>
<mi>l</mi>
<mi>d</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>c</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，上标L+1表示第L+1层的操作，表示控制门的输出，是控制门的偏置，是将控制门与其输入层相关联的权重矩阵，权重向量将该层的当前记忆单元与前记忆单元连接，权重向量连接上一层的记忆单元；
控制门也可以用于连接第一层隐含层状态与输入值在这种情况下，当L＝0时，对于控制门的计算如下所示：
t时刻第L+1层记忆单元的输出计算公式如下所示：
<mrow>
<msubsup>
<mi>c</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>d</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>c</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mrow>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>i</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>*</mo>
<mi>tanh</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>W</mi>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>&lsqb;</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>h</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
训练CG-LSTM神经网络的目标是使得网络的实际输出Xt+1和预测输出相等，定义网络的损失函数J如公式(10)所示：
其中，Num表示预测次数，通过梯度下降法最小化J可以得到网络中的权值和偏置，得到预测模型；
所述模型预测部分包括以下步骤：
步骤三：获取软件的最近一次的失效时间数据Tt，以及最近一次时间以前的失效时间数据Tt-1,Tt-2,…,Tt-N；
步骤四：利用步骤一中方法，对Tt,Tt-1,Tt-2,…,Tt-N进行数据的归一化处理；
步骤五，将经过归一化处理过的Tt,Tt-1,Tt-2,…,Tt-N数据输入到步骤二所获得的预测模型，得到预测结果进行反归一化后，得到下一次的软件失效时间
反归一化如公式(11)所示:
其中Tmin表示软件失效数据中失效时间的最小值，Tmax表示软件失效数据中是失效时间最大值。
2.根据权利要求一所述的一种基于深度CG-LSTM神经网路的软件可靠性预测模型，其特征在于，所述步骤二的具体的训练过程包括以下步骤：
步骤一 将归一化处理后的数据按照序列的时间顺序分为两组,时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；
步骤二 设定深度CG-LSTM神经网络的输入层神经元个数为5和输出层神经元个数为1，设定深度CG-LSTM神经网络隐含层的神经元个数为M，隐含层共3层，其中M＝1,2,3，…Mmax,Mmax为预设值；
步骤三 依次在M的每个取值所对应的CG-LSTM神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存M的每个取值下性能最优的CG-LSTM神经网络，选取性能最优的CG-LSTM神经网络结构作为预测模型。
3.根据权利要求2所述的一种基于深度CG-LSTM神经网路的软件可靠性预测模型，其特征在于，所述步骤三包括以下步骤：
步骤一 进行外循环初始化，设定M＝1；进行设定误差值的设置；
步骤二 进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤三 基于结构风险最小化原理，利用训练集数据进行CG-LSTM神经网络的训练；
步骤四 将验证集数据输入步骤A233训练好的改进的CG-LSTM神经网络，利用经验风险函数进行验证集误差的计算；
步骤五 若验证集误差大于或等于当前最小误差，则直接迭代次数+1；
若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前CG-LSTM神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：
若验证集误差小于设定误差，则读取CG-LSTM神经网络的参数，并执行步骤A238；若验证集误差大于或等于设定误差则迭代次数+1；
步骤六 若迭代次数小于或等于最大迭代次数，则执行步骤A233；
若迭代次数大于最大迭代次数则M＝M+1，然后进行如下判断：
若M＞Mmax则执行步骤A237；若M≤Mmax则执行步骤A232；
步骤七 对比不同M值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的CG-LSTM神经网络的参数；
步骤八 依据所选择的网络参数确定CG-LSTM神经网络结构的软件可靠性的预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710717237.5A CN107544904B (zh) | 2017-08-21 | 2017-08-21 | 一种基于深度cg-lstm神经网络的软件可靠性预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710717237.5A CN107544904B (zh) | 2017-08-21 | 2017-08-21 | 一种基于深度cg-lstm神经网络的软件可靠性预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107544904A true CN107544904A (zh) | 2018-01-05 |
| CN107544904B CN107544904B (zh) | 2020-11-03 |
Family
ID=60958395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710717237.5A Active CN107544904B (zh) | 2017-08-21 | 2017-08-21 | 一种基于深度cg-lstm神经网络的软件可靠性预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107544904B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376116A (zh) * | 2018-01-31 | 2018-08-07 | 浙江理工大学 | 基于改进粒子群算法的测试用例生成方法 |
| CN108510132A (zh) * | 2018-07-03 | 2018-09-07 | 华际科工（北京）卫星通信科技有限公司 | 一种基于lstm的海表面温度预测方法 |
| CN108932197A (zh) * | 2018-06-29 | 2018-12-04 | 同济大学 | 基于参数Bootstrap重抽样的软件失效时间预测方法 |
| CN109272745A (zh) * | 2018-08-20 | 2019-01-25 | 浙江工业大学 | 一种基于深度神经网络的车辆轨迹预测方法 |
| CN109344960A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法 |
| CN109409200A (zh) * | 2018-09-01 | 2019-03-01 | 哈尔滨工程大学 | 一种基于sgru神经网络的uuv集群行为识别技术 |
| CN109462520A (zh) * | 2018-11-19 | 2019-03-12 | 电子科技大学 | 基于lstm模型的网络流量资源态势预测方法 |
| CN109492516A (zh) * | 2018-09-01 | 2019-03-19 | 哈尔滨工程大学 | 一种基于dgru神经网络的uuv集群行为识别方法 |
| CN111580999A (zh) * | 2020-04-30 | 2020-08-25 | 上海应用技术大学 | 基于长短期记忆网络的cps软件可靠性预测系统 |
| CN112149288A (zh) * | 2020-09-10 | 2020-12-29 | 中车长春轨道客车股份有限公司 | 一种列车网络控制系统的可靠性预计方法 |
| CN112215400A (zh) * | 2020-09-14 | 2021-01-12 | 山东省地质矿产勘查开发局第一地质大队 | 一种地下水开采过度预警方法与系统 |
| CN112687349A (zh) * | 2020-12-25 | 2021-04-20 | 广东海洋大学 | 一种降低辛烷值损失模型的构建方法 |
| WO2021148926A1 (en) * | 2020-01-23 | 2021-07-29 | International Business Machines Corporation | Neural flow attestation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110016531A1 (en) * | 2009-07-16 | 2011-01-20 | Michael Yeung | System and method for automated maintenance based on security levels for document processing devices |
| CN105975504A (zh) * | 2016-04-28 | 2016-09-28 | 中国科学院计算技术研究所 | 一种基于循环神经网络的社交网络消息爆发检测方法及系统 |
| CN106096767A (zh) * | 2016-06-07 | 2016-11-09 | 中国科学院自动化研究所 | 一种基于lstm的路段行程时间预测方法 |
-
2017
- 2017-08-21 CN CN201710717237.5A patent/CN107544904B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110016531A1 (en) * | 2009-07-16 | 2011-01-20 | Michael Yeung | System and method for automated maintenance based on security levels for document processing devices |
| CN105975504A (zh) * | 2016-04-28 | 2016-09-28 | 中国科学院计算技术研究所 | 一种基于循环神经网络的社交网络消息爆发检测方法及系统 |
| CN106096767A (zh) * | 2016-06-07 | 2016-11-09 | 中国科学院自动化研究所 | 一种基于lstm的路段行程时间预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡新辰: "基于LSTM的语义关系分类研究", 《硕士学位论文》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376116A (zh) * | 2018-01-31 | 2018-08-07 | 浙江理工大学 | 基于改进粒子群算法的测试用例生成方法 |
| CN108932197A (zh) * | 2018-06-29 | 2018-12-04 | 同济大学 | 基于参数Bootstrap重抽样的软件失效时间预测方法 |
| CN108932197B (zh) * | 2018-06-29 | 2021-10-08 | 同济大学 | 基于参数Bootstrap重抽样的软件失效时间预测方法 |
| CN108510132A (zh) * | 2018-07-03 | 2018-09-07 | 华际科工（北京）卫星通信科技有限公司 | 一种基于lstm的海表面温度预测方法 |
| CN109272745A (zh) * | 2018-08-20 | 2019-01-25 | 浙江工业大学 | 一种基于深度神经网络的车辆轨迹预测方法 |
| CN109344960A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法 |
| CN109409200A (zh) * | 2018-09-01 | 2019-03-01 | 哈尔滨工程大学 | 一种基于sgru神经网络的uuv集群行为识别技术 |
| CN109492516A (zh) * | 2018-09-01 | 2019-03-19 | 哈尔滨工程大学 | 一种基于dgru神经网络的uuv集群行为识别方法 |
| CN109462520A (zh) * | 2018-11-19 | 2019-03-12 | 电子科技大学 | 基于lstm模型的网络流量资源态势预测方法 |
| WO2021148926A1 (en) * | 2020-01-23 | 2021-07-29 | International Business Machines Corporation | Neural flow attestation |
| GB2608033A (en) * | 2020-01-23 | 2022-12-21 | Ibm | Neural flow attestation |
| US11783201B2 (en) | 2020-01-23 | 2023-10-10 | International Business Machines Corporation | Neural flow attestation |
| CN111580999A (zh) * | 2020-04-30 | 2020-08-25 | 上海应用技术大学 | 基于长短期记忆网络的cps软件可靠性预测系统 |
| CN112149288A (zh) * | 2020-09-10 | 2020-12-29 | 中车长春轨道客车股份有限公司 | 一种列车网络控制系统的可靠性预计方法 |
| CN112215400A (zh) * | 2020-09-14 | 2021-01-12 | 山东省地质矿产勘查开发局第一地质大队 | 一种地下水开采过度预警方法与系统 |
| CN112687349A (zh) * | 2020-12-25 | 2021-04-20 | 广东海洋大学 | 一种降低辛烷值损失模型的构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107544904B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107544904A (zh) | 一种基于深度cg‑lstm神经网络的软件可靠性预测模型 | |
| Wilby et al. | Detection of conceptual model rainfall—runoff processes inside an artificial neural network | |
| Blackard et al. | Comparative accuracies of artificial neural networks and discriminant analysis in predicting forest cover types from cartographic variables | |
| CN105488528B (zh) | 基于改进自适应遗传算法的神经网络图像分类方法 | |
| CN109523021B (zh) | 一种基于长短时记忆网络的动态网络结构预测方法 | |
| CN109214191A (zh) | 一种利用深度学习预测软件安全漏洞的方法 | |
| CN107563567A (zh) | 基于稀疏自编码的核极限学习机洪水预报方法 | |
| CN102495919B (zh) | 一种生态系统碳交换影响因素提取方法及系统 | |
| CN104598611B (zh) | 对搜索条目进行排序的方法及系统 | |
| CN102411687B (zh) | 未知恶意代码的深度学习检测方法 | |
| Ouali et al. | Fully nonlinear statistical and machine‐learning approaches for hydrological frequency estimation at ungauged sites | |
| CN113297174B (zh) | 基于深度学习的土地利用变化模拟方法 | |
| CN108182260A (zh) | 一种基于语义选择的多变量时间序列分类方法 | |
| CN110083125A (zh) | 一种基于深度学习的机床热误差建模方法 | |
| CN109101717A (zh) | 基于现实与模糊数据深度融合学习的固体火箭发动机可靠性预测方法 | |
| CN111445010A (zh) | 一种基于证据理论融合量子网络的配网电压趋势预警方法 | |
| CN111753207A (zh) | 一种基于评论的神经图协同过滤模型 | |
| CN110399286A (zh) | 一种基于独立路径的测试数据自动生成方法 | |
| CN114723095A (zh) | 缺失测井曲线预测方法及装置 | |
| CN114818548B (zh) | 一种基于卷积生成对抗网络的含水层参数场反演方法 | |
| CN109783629A (zh) | 一种融合全局事件关系信息的微博客事件谣言检测方法 | |
| CN116345555A (zh) | 一种基于cnn-isca-lstm模型的短期光伏发电功率预测方法 | |
| Parasuraman et al. | Cluster-based hydrologic prediction using genetic algorithm-trained neural networks | |
| CN115310782A (zh) | 一种基于神经图灵机的电力用户需求响应潜力评估方法及装置 | |
| CN110716998B (zh) | 一种精细尺度人口数据空间化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |