CN107103359A - 基于卷积神经网络的大服务系统在线可靠性预测方法 - Google Patents

Abstract

本发明提出一种基于卷积神经网络的大服务系统在线可靠性预测方法，包括如下步骤：数据预处理，对任意响应时间参数时间序列，以及吞吐量参数时间序列进行归一化处理；motifs发现，通过k‑means聚类算法寻找吞吐量，响应时间和可靠性三组参数中的motifs；使用motifs进行标注；卷积神经网络模型的训练；使用最近邻时间段内相应时间和吞吐量相应参数时间序列带入到训练好的CNN模型中，得到组件系统的在线可靠性时间序列预测结果。本发明能够预测一个有效的时间周期内的时间序列的可靠性，基于此可以优化选择系统构建过程中的服务选择同时还可以根据预测的结果及时发现和替换可能会出错的组件，提高系统的可靠性能。

Description

基于卷积神经网络的大服务系统在线可靠性预测方法

技术领域

本发明属于预测方法技术领域，涉及一种利用卷积神经网络对面向服务的系统中成员系统的可靠性进行在线时间序列预测的方法。

背景技术

近年来，具有动态架构软件系统的需求逐渐增加，系统的系统(System-of-System，简称SoS)通过集成成员系统构建满足更为复杂的用户需求。所构建的系统一般需要高效的运行和分析技术，使得组合得到的系统可以有效的协作。其中每一个组件都运行在一个动态多变的网络环境下，某些重要的组件出现问题时会对整个构建的系统产生重大的影响，因此可靠性已经成为SoS中一个十分重要的问题。

目前有关SoS的研究主要集中在系统的构建等问题上，针对SoS可靠性的预测方面，尚未有较多的研究。目前已有的一些方法比如：

(1)个性化可靠性预测方法，通过引入协同过滤的技术，开展原子服务的Qualityof Service，QoS(包括可靠性)预测。通过客户端对Web服务的调用测试以评估一个Web服务的可靠性。因为客户端环境的不同，不同客户端调用同一个Web服务，可靠性是不同的。在有限数量的客户端/Web服务的可靠性评估的基础上，可以得到一个稀疏的客户端-Web服务的可靠性评估矩阵，使用协同过滤技术预测矩阵中的空缺值从未预测任意客户端调用任意Web服务的可靠性。

(2)聚类方法，通过考虑用户、服务和环境方面的参数，通过给定时间窗口内的上述三类参数开展k-means聚类，聚类结果可用于寻找与带预测的Web服务相似的服务，最终以相似Web服务的可靠性作为待预测的Web服务的可靠性预测结果。

现有的这些技术虽然能部分适用于解决可靠性的在线预测问题，但这些预测方法和技术都不能完全支持基于服务组合的SoS系统运行环境的复杂多变性，组件系统本身的不稳定性以及由此导致的错误时间的不确定性等特征。以往的这些有关在线错误预测模型或方法大多只能建模错误的发生在时间上满足泊松分布的错误事件，对于基于服务组合的SoS系统中由于网络，吞吐量和系统的工作状态等原因造成的随机波动下环境不确定性错误事件的可靠性时间序列预测问题尚缺乏足够的支持。

面临大服务应用，每个组件系统的多变的观测参数迅速积累。所聚集的原来越多的观测参数，将为开展组建系统运行状态时序演化规律的学习提供大量的训练数据。但由于组件系统面临复杂多变的内部工作状态以及不确定的运行环境，同时需要实时的预测组件系统在不远的未来的运行时可靠性时间序列，这就需要使用一种能够适应大服务系统的在线可靠性时间序列预测的模型以及方法。

发明内容

为了解决上述问题，本发明提出一种基于卷积神经网络模型的大服务组建系统的在线可靠性预测方法，使得系统能够满足在动态不确定环境下的可靠运行。

为了提高服务系统的可靠性，我们使用了在线的可靠性预测，也就是预测在不远的未来，系统被调用的周期内的可靠性。由于不同的系统被调用的持续的时间不同，为了满足不同用户的应用的需求，我们需要预测一个有效的时间周期内的时间序列也就是多个时间点的可靠性。为应对大服务系统在线可靠性时间序列的预测挑战，捕捉大数据环境下组建系统复杂的时序演化规律。本发明中应用卷积神经网络(Convolutional NeuralNetworks，CNN)模型以学习大服务系统中的组件系统的可靠性时间序列由当前时间向未来的有效预测时间进行转换的时序演化规律，并以此构建模型，开展组建系统的在线可靠性时间序列预测。

为了达到上述目的，本发明提供如下技术方案：

基于卷积神经网络的大服务系统在线可靠性预测方法，包括如下步骤：

步骤1，数据预处理，对任意响应时间参数时间序列，以及吞吐量参数时间序列进行归一化处理；

步骤2，motifs发现，通过k-means聚类算法寻找吞吐量，响应时间和可靠性三组参数中的motifs；

步骤3，使用motifs进行标注，有效预测时间周期内的每一个可靠性时间序列采用距离最近的motif进行标注，当前时间周期内的相应时间，吞吐量等参数也将采用与之对应的有效预测时间周期内的可靠性时间序列motifs类别进行标注；

步骤4，卷积神经网络模型的训练；

步骤5，使用组件系统的最近邻时间段内所观测到的相应时间和吞吐量相应参数时间序列带入到训练好的CNN模型中，得到组件系统的在线可靠性时间序列预测结果。

进一步的，所述步骤1具体包括如下过程：

对于任意响应时间参数时间序列以及吞吐量参数时间序列采用以下的公式对参数中的每一个值和进行归一化处理：

以及

其中，和分别表示响应时间参数的最大最小值，和分别表示吞吐量参数的最大最小值。

进一步的，所述步骤2具体包括如下过程：

KL散度来计算任意两个可靠性时间序列之间的距离，设分别为该组件系统在有效预测时间周期内的两个任意可靠性时间序列，其距离可以表示为：

将上述距离公式应用于K-means算法，多次迭代后，算法收敛，所有聚簇的中心点将作为有效预测时间周期内的可靠性时间序列的motifs，我们将其形式化地表示为：

其中，k为预先设定的参数，表示motifs的数量；

利用和上面相同的方法，对数据窗口时间内的响应时间，吞吐量参数进行聚类处理，发现motifs。

进一步的，所述步骤3具体包括如下过程：

有效预测时间周期内的每一个可靠性时间序列采用距离最近的motif进行标注，相应的当前时间周期内的相应时间，吞吐量等参数也将采用与之对应的有效预测时间周期内的可靠性时间序列motifs类别进行标注；

设为历史可靠性时间序列在有效预测周期内的motifs，其中i∈{1，...，k}，每一组数据窗口时间周期内的响应时间，吞吐量相应时间序列被标志为：

其中

j＜g，g定义为该参数总的时间序列个。

进一步的，所述步骤4具体包括如下过程：

步骤4-1，为神经网络设置层数l以及每层中神经元的个数m，初始化CNN中每个弧边的权值ω_(m-1)m以及第l层的m个神经元的偏置值b_(m)；

步骤4-2，令j＝1tos_n，其中s_n表示训练集中样本数量，计算每个样本的最优的输出解空间；

设u＝1to k，表示输出层神经元的motifs标号，与人一个输出神经元之间的相似度定义为CNN网络的最优输出解空间(oos)，因此有：

步骤4-3，使用sigmoid函数计算每个神经元的输出值，即：

对于输入样本最后一层的第u个神经与的输出定义为yu(j)，对于当前权值ω和偏置值b，神经网络的总体的代价函数为：

步骤4-4，为加快神经网络训练过程的收敛速度，同时对CNN模型的学习过程定义卷积操作，令l₁＝2to l-1，τ＝1to m/2当且仅当

|y_(2ρ-1)(j)-y_(2ρ)(j)|≤δ

时开展卷积操作，为相似的神经元设置相同的权值和偏置值，即：

以及：

在此基础上，使用梯度下降的方法更新所有的权值和偏置值，即：

以及：

其中，τ∈[0，1]为学习率；

步骤4-5，重复上述步骤4-3，步骤4-4，直到J(ω，b)取得收敛。

进一步的，所述步骤5具体包括如下过程：

设组件系统在临近时间段的相应时间和吞吐量时间参数分别为得到该组件系统的在线可靠性预测结果为：

其中，

其中，为CNN模型中最后一层第u个神经元的输出，其中u≤k。

与现有技术相比，本发明具有如下优点和有益效果：

通过本发明方法，能够获得一个未来有效时间周期内的可靠性时间序列，预测准确率高。通过对该时间序列的分析我们可以对组件系统进行优化选择，对在未来有较大可能出现异常的组件系统进行替换，从而提高整个系统的可靠性，使其更能适应动态不确定的应用环境。

附图说明

图1为在线预测技术的有效预测时间段。

图2为神经网络模型。

图3为卷积神经网络模型。

图4为本发明与其他预测方法的预测准确率的比较数据。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

卷积神经网络(模型如图3所示)是深度学习技术中的一种。深度学习通过多层神经网络(模型如图2所示)构建计算机模型，通过模拟人脑认识事物的基本原理，比传统的统计学习，概率学习具有更复杂的结构，可以更加准确的学习和表达数据之间的复杂关系。深度学习模型一般是一个五层以上的复杂神经网络。网络中的每一层由多个神经元构成，用于接受输入并形成输出。每一层神经元的输出将作为下一层神经元的输入，以此来描述数据之间复杂的决定关系。

神经网络模型中的每一个神经元接收上一层所有神经元的输出作为该神经元的输入，并为每一个输入设置一个权值ω同时每一个神经元具有一个偏置值参数b。因此每一个神经元的输出为：

output＝∑_jω_j×x_j+b

其中x_j为该神经元接收的某一个输入，ω_j为该输入所对应的权值。

为使得每个神经网络的输出单调递增并归一化输入、输出、权值和偏置值，在神经网络中使用sigmoid函数来计算每一个神经元的输出，即：

构建这样一个神经网络，需要通过大量的训练数据，对网络展开学习，调整权值和偏置值，使得总体的代价函数C(ω，b)最小

其中，代价函数为：

式中，n为训练集样本个数，a表示当输入为x时准确的输出向量，y表示根据当前的(ω，b)计算得到的网络输出向量，||v||表示均方根误差函数。

基于以上神经网络模型，本发明方法包括如下步骤：

步骤1，数据预处理

由于对于CNN模型的参数，吞吐量和相应时间具有不同的量纲。一般而言，相应时间越大，表明组件调用过程中网络性能越差，或者服务负载越大，或者系统的运行状态不正常。另一方面，吞吐量越大表明服务具有更好的分发数据的性能。为了降低本发明中模型的计算复杂度，使用最小最大变化法将模型中输入参数的每一个值进行归一化处理，并且使得不同的变量具有统一的量纲。经过无量纲化处理后，每一个相应时间，吞吐量参数的值被映射为[0，1]之间的一个实数，并且值越大表示组件性能越好。

对于任意响应时间参数时间序列以及吞吐量参数时间序列本发明采用以下的公式对参数中的每一个值和进行归一化处理：

以及

其中，和分别表示响应时间参数的最大最小值，和分别表示吞吐量参数的最大最小值。

步骤2，motifs发现

定义motifs：令Q为组件系统的某一长期的QoS参数，我们将Q按照时间片0，1，...，T划分为连续的时间序列，即通过对使用聚类算法，的motifs定义为相应的聚簇的中心点，即其中k为聚簇的个数。

为了训练CNN模型，首先需要对大服务系统中的每一个组件系统的历史观测参数进行预处理。具体而言，首先需要对如图1所示的有效预测时间周期内的可靠性时间序列展开K-means聚类，以发现其motifs。通过k-means聚类算法寻找吞吐量，响应时间和可靠性三组参数中的motifs。并以聚类结果中的簇中心点作为每类系统参数时间序列的motifs。

本发明采用KL散度(Kullback-Leibler divergence)来计算任意两个可靠性时间序列之间的距离。设分别为该组件系统在有效预测时间周期内的两个任意可靠性时间序列，其距离可以表示为：

将上述距离公式应用于K-means算法，多次迭代后，算法收敛，所有聚簇的中心点将作为有效预测时间周期内的可靠性时间序列的motifs，我们将其形式化地表示为：

其中，k为预先设定的参数，表示motifs的数量。

利用和上面相同的方法，来对数据窗口时间内的响应时间，吞吐量参数进行聚类处理，发现motifs。

步骤3，使用motifs进行标注

有效预测时间周期内的每一个可靠性时间序列将采用距离最近的motif进行标注。相应的当前时间周期内的相应时间，吞吐量等参数也将采用与之对应的有效预测时间周期内的可靠性时间序列motifs类别进行标注。

设为历史可靠性时间序列在有效预测周期内的motifs，其中i∈{1，...，k}，每一组数据窗口时间周期内的响应时间，吞吐量相应时间序列(j＜g，g定义为该参数总的时间序列个，将被标志为：

其中

步骤4，卷积神经网络模型的训练

步骤4-1，为神经网络设置层数(l)以及每层中神经元的个数(m)，初始化CNN中每个弧边的权值(ω_(m-1)m)以及第l层的m个神经元的偏置值(b_(m))。

步骤4-2，令j＝1tos_n(其中s_n表示训练集中样本数量)，计算每个样本的最优的输出解空间。设u＝1to k，表示输出层神经元的motifs标号。与人一个输出神经元之间的相似度定义为CNN网络的最优输出解空间(oos)，因此有：

步骤4-3，使用sigmoid函数计算每个神经元的输出值，即：

对于输入样本最后一层的第u个神经与的输出定义为y_u(j)。对于当前权值ω和偏置值b，神经网络的总体的代价函数为：

步骤4-4，为加快神经网络训练过程的收敛速度，同时对CNN模型的学习过程定义卷积操作。令l₁＝2to l-1，τ＝1to m/2当且仅当

|y_(2ρ-1)(j)-y_(2ρ)(j)|≤δ

时开展卷积操作，δ为事先设置的阈值，为相似的神经元设置相同的权值和偏置值，即：

以及：

在此基础上，使用梯度下降的方法更新所有的权值和偏置值，即：

以及：

其中，τ∈[0，1]为学习率，值越大梯度越大。

步骤4-5，重复上述步骤4-3，步骤4-4，直到J(ω，b)取得收敛。

步骤5，模型训练完成，使用组件系统的最近邻时间段内所观测到的相应时间和吞吐量相应参数时间序列带入到训练好的CNN模型中，得到组件系统的在线可靠性时间序列预测结果。设组件系统在临近时间段的相应时间和吞吐量时间参数分别为该组件系统的在线可靠性预测结果为：

其中，

式中，为CNN模型中最后一层第u个神经元的输出，其中u≤k。

图4为本发明与其他预测方法的预测准确率的比较数据(k为motifs数量，α为multi_DBNs模型参数，s为multi_DBNs模型中轨迹数量，τ为CNN模型中学习率参数)，表格中比较的数据为平均绝对误差(Mean Absolute Error，MAE)，将作为在线可靠性序列预测结果，为采集到的有效预测时间周期内的组件系统的真实可靠性序列，MAE的定义如下：

其中和分别为和中的第i个时间点的值，N为预测次数。由此公式可以得出越小的MA值反映出越高的预测准确率。因此，由图4可以看出，本发明预测准确率较高。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.基于卷积神经网络的大服务系统在线可靠性预测方法，其特征在于，包括如下步骤：

步骤1，数据预处理，对任意响应时间参数时间序列，以及吞吐量参数时间序列进行归一化处理；

步骤2，motifs发现，通过k-means聚类算法寻找吞吐量，响应时间和可靠性三组参数中的motifs；

步骤3，使用motifs进行标注，有效预测时间周期内的每一个可靠性时间序列采用距离最近的motif进行标注，当前时间周期内的相应时间，吞吐量等参数也将采用与之对应的有效预测时间周期内的可靠性时间序列motifs类别进行标注；

步骤4，卷积神经网络模型的训练；

步骤5，使用组件系统的最近邻时间段内所观测到的相应时间和吞吐量相应参数时间序列带入到训练好的CNN模型中，得到组件系统的在线可靠性时间序列预测结果。

2.根据权利要求1所述的基于卷积神经网络的大服务系统在线可靠性预测方法，其特征在于，所述步骤1具体包括如下过程：

对于任意响应时间参数时间序列以及吞吐量参数时间序列采用以下的公式对参数中的每一个值和进行归一化处理：

以及

其中，和分别表示响应时间参数的最大最小值，和分别表示吞吐量参数的最大最小值。

3.根据权利要求1所述的基于卷积神经网络的大服务系统在线可靠性预测方法，其特征在于，所述步骤2具体包括如下过程：

KL散度来计算任意两个可靠性时间序列之间的距离，设分别为该组件系统在有效预测时间周期内的两个任意可靠性时间序列，其距离可以表示为：

将上述距离公式应用于K-means算法，多次迭代后，算法收敛，所有聚簇的中心点将作为有效预测时间周期内的可靠性时间序列的motifs，我们将其形式化地表示为：

其中，k为预先设定的参数，表示motifs的数量；

利用和上面相同的方法，对数据窗口时间内的响应时间，吞吐量参数进行聚类处理，发现motifs。

4.根据权利要求1所述的基于卷积神经网络的大服务系统在线可靠性预测方法，其特征在于，所述步骤3具体包括如下过程：

有效预测时间周期内的每一个可靠性时间序列采用距离最近的motif进行标注，相应的当前时间周期内的相应时间，吞吐量等参数也将采用与之对应的有效预测时间周期内的可靠性时间序列motifs类别进行标注；

设为历史可靠性时间序列在有效预测周期内的motifs，其中i∈{1，...，k}，每一组数据窗口时间周期内的响应时间，吞吐量相应时间序列被标志为：

其中

j＜g，g定义为该参数总的时间序列个。

5.根据权利要求1所述的基于卷积神经网络的大服务系统在线可靠性预测方法，其特征在于，所述步骤4具体包括如下过程：

步骤4-1，为神经网络设置层数l以及每层中神经元的个数m，初始化CNN中每个弧边的权值ω(m-1)m以及第l层的m个神经元的偏置值b_(m)；

步骤4-2，令j＝1 tos_n，其中s_n表示训练集中样本数量，计算每个样本的最优的输出解空间；设u＝1 to k，表示输出层神经元的motifs标号，与人一个输出神经元之间的相似度定义为CNN网络的最优输出解空间(oos)，因此有：

步骤4-3，使用sigmoid函数计算每个神经元的输出值，即：

对于输入样本最后一层的第u个神经与的输出定义为yu(j)，对于当前权值ω和偏置值b，神经网络的总体的代价函数为：

步骤4-4，为加快神经网络训练过程的收敛速度，同时对CNN模型的学习过程定义卷积操作，令l₁＝2 to l-1，τ＝1 to m/2当且仅当

|y_(2ρ-1)(j)-y_(2ρ)(j)|≤δ

时开展卷积操作，为相似的神经元设置相同的权值和偏置值，即：

以及：

在此基础上，使用梯度下降的方法更新所有的权值和偏置值，即：

以及：

其中，τ∈[0，1]为学习率；

步骤4-5，重复上述步骤4-3，步骤4-4，直到J(ω，b)取得收敛。

6.根据权利要求1所述的基于卷积神经网络的大服务系统在线可靠性预测方法，其特征在于，所述步骤5具体包括如下过程：

设组件系统在临近时间段的相应时间和吞吐量时间参数分别为得到该组件系统的在线可靠性预测结果为：

其中，

其中，为CNN模型中最后一层第u个神经元的输出，其中u≤k。