CN103763350A - 基于误差反向传播神经网络的web服务选择方法 - Google Patents

Abstract

本发明揭示了一种基于反向传播神经网络的web服务选择方法，包括：建立反向传播神经网络；训练反向传播神经网络；使用反向传播神经网络评估web服务；选择web服务。本发明在传统的反向传播神经网络算法的基础上增加了一个平缓项，克服了传统反向传播算法收敛速度慢、训练过程振荡的缺陷，加快了网络收敛，从而使得web服务的选择更加快捷和准确。

Description

基于误差反向传播神经网络的web服务选择方法

技术领域

本发明涉及网络技术，尤其涉及基于误差反向传播神经网络的web服务选择方法。

背景技术

Internet网络如同空气和水一样，自然而深刻地融入人类的日常生活和工作中。它能够满足个人和社会的需求，利用现有的和新的信息传输技术，提供人与人、人与物、物与物之间按需进行的信息获取、传递、存储、认知、决策、使用等信息服务。Internet网络无处不在，具备超强的环境感知、内容感知和连接任何物体的能力，能够为个人和社会提供泛在的、无所不含的信息服务和应用。但是由于在网络计算环境中，计算复杂度和人的移动性的提升，越来越多的任务不可能由一个单独的服务来完成，所以必须有多于一个的服务来合作完成这个目标任务。随着web服务提供者数量的激增，具有相同或相似功能的web服务可能由许多不同的web服务提供者来提供，但是它们会有不同的服务质量。例如，不同的响应时间、不同的价格、不同的信誉等等。因此，如何从所有相同或相似的服务中来选择一个最合适的服务提供给用户，已经成为了web服务环境下亟待解决的关键问题。

反向传播神经网络（即BP神经网络）被广泛应用在很多重要的互联网应用中，如语音识别，图像识别，自然语言处理等，是目前应用最为广泛和成功的神经网络之一。典型的BP神经网络是一种具有三层或三层以上结构的无反馈的、层内无互连结构的前向网络，典型的三层BP神经网络结构如图1所示，其中首尾两层分别称为输入层和输出层，中间各层称为隐藏层。BP神经网络中各层之间的神经元为全连接关系，层内的各个神经元之间无连接。

与其它智能优化算法（如：遗传算法，模拟退火，禁忌搜索等）相比，神经网络最主要的优点在于并行计算性、容错性以及可硬件实现性等优点。但是神经网络存在一定的缺陷，主要表现在：神经网络的初始条件严重影响计算结果，在优化计算过程中很容易得不到最优解或合理解，更不容易收敛到全局最优解，并且学习收敛速度慢以及容易陷入局部极小值。在web服务选择问题中，如果得不到合理解，会使得整个工程无法正常运行，而收敛速度不够快，会影响系统的时效性，降低竞争力。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题就是基于反向传播神经网络选择web服务时如何避免学习收敛速度慢的缺陷。

（二）技术方案

为了解决上述技术问题，本发明提供了一种基于误差反向传播神经网络的web服务选择方法，该方法包括：

建立包括输入层、隐藏层和输出层的三层反向传播神经网络，输入层的每个节点对应web服务的一种属性，输出层的各节点对应web服务的各目标属性；

使用一个目标属性值已知的web服务训练反向传播神经网络，所述训练包括：

第一步：将该web服务的各种属性的属性值对应输入到输入层的各个节点，为输入层到隐藏层以及隐藏层到输出层的各节点之间设定初始连接权值；

第二步：求得输出层节点的实际输出值，根据实际输出值与目标属性值得到误差值，若误差值小于或等于设定的误差精度时，结束训练，否则进入第三步；

第三步：若为第一次得到的误差值，则使用设定的初始学习因子作为学习因子；否则若本次得到的误差值大于上一次得到的误差值，则将学习因子减小，若小于则将学习因子增大，若等于则学习因子不变；

第四步：用第三步得到的学习因子乘以误差梯度下降值得到第一项，用设定的动量因子乘以上一次连接权值的变化量得到第二项，用本次得到的实际输出值减去目标属性值的结果乘以设定的平缓因子得到第三项；

第五步，将连接权值加上第四步中的第一项、第二项和第三项作为新的连接权值，转到第二步；

对于所有待选择的web服务，将每个web服务的各种属性的属性值对应输入到训练完毕的反向传播神经网络输入层的各节点分别得到输出值；

选择其输出值在设定目标范围内的Web服务。

优选地，该方法还包括：

在使用一个目标属性值已知的web服务将反向传播神经网络训练完毕后，还可以依次使用另外多个目标属性值已知的web服务训练反向传播神经网络。

优选地，所述设定的初始学习因子为0.5，所述设定的动量因子为0.1，所述设定的平缓因子为1.2.

优选地，该方法还包括：

反向传播神经网络中，隐藏层的节点数比输入层的节点数的两倍多一个。

优选地，所述输入层到隐藏层以及隐藏层到输出层的各节点之间设定的初始连接权值为大于-1小于1的随机浮点数。

优选地，该方法还包括：

在输出值在设定目标范围内的Web服务中，选择对应输出值与设定的标准目标值最接近的web服务。

优选地，该方法还包括：

对web服务的每种输入属性的属性值进行归一化处理。

优选地，从输入层到隐藏层、从隐藏层到输出层的传递函数（也称为激活、激励函数）均为sigmoid函数。

优选地，其特征在于，UPS服务为所述Web服务中的一种。

优选地，所述输入层的节点对应的属性包括输入电压、输出电压、频率、转换时间、输出电压功率和电压稳定性，所述输出层的节点对应的目标属性为电源频率稳定性。

（三）有益效果

本发明在传统的反向传播神经网络算法的基础上增加了一个平缓项，引入该项之后，克服了传统反向传播算法收敛速度慢、训练过程振荡的缺陷。该项使连接权值的调整大幅向着梯度下降方向进行，即使两次连接权值调整的方向不同，也可以减小振荡趋势，加快网络收敛，从而缩短训练反向传播神经网络的时间，加快选择web服务的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个反向传播神经网络的示意图；

图2为根据本发明一个实施例的基于反向传播神经网络的web服务选择方法流程图；

图3为以UPS服务为例来建立和训练反向传播神经网络的流程图；

图4为传统算法和改进算法的训练收敛比较图；

图5为传统算法和改进算法对UPS服务的选择结果的比较图；

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例仅用于说明本发明，但不能用来限制本发明的范围。

图2示出了本发明一个实施例的基于反向传播神经网络的web服务选择方法流程图。如图所示，该方法包括如下步骤：

S1：建立反向传播神经网络。建立包括输入层、隐藏层和输出层的三层反向传播神经网络，输入层的每个节点对应web服务的一种属性，输出层的节点对应web服务的目标属性。

S2：训练反向传播神经网络。使用一个目标属性值已知的web服务训练反向传播神经网络，所述训练包括：

第一步：将该web服务的各种属性的属性值对应输入到输入层的各个节点，为输入层到隐藏层，隐藏层到输出层的各节点之间设定初始连接权值；

第二步：求得输出层节点的实际输出值，根据实际输出值与目标属性值得到误差，若误差小于或等于设定的误差精度时，结束训练，否则进入第三步；

第三步：若为第一次得到的误差值，则使用设定的初始学习因子作为学习因子；否则若本次得到的误差值大于上一次得到的误差值，则将学习因子减小，若小于则将学习因子增大，若等于则学习因子不变；

第四步：用第三步得到的学习因子乘以误差梯度下降值得到第一项，用设定的动量因子乘以上一次连接权值的变化量得到第二项，用本次得到的实际输出值减去目标属性值的结果乘以设定的平缓因子得到第三项；

第五步，将连接权值加上第四步的第一项、第二项和第三项作为新的连接权值，转到第二步。

S3：使用反向传播神经网络评估web服务。对于所有待选择的web服务，将每个web服务的各种属性的属性值对应输入到训练完毕的反向传播神经网络输入层的各个节点分别得到输出值。

S4：选择web服务。选择其输出值在设定目标范围内的Web服务。

其中，该方法还可以优选包括：在使用一个目标属性值已知的web服务将反向传播神经网络训练完毕后，还可以依次使用另外多个目标属性值已知的web服务训练反向传播神经网络。所述设定的初始学习因子为0.5，所述设定的动量因子为0.1，所述设定的平缓因子为1.2。反向传播神经网络中，隐藏层的节点数比输入层的节点数的两倍多一个。所述输入层到隐藏层以及隐藏层到输出层的各节点之间设定的初始连接权值为大于-1小于1的随机值。在输出值在设定目标范围内的Web服务中，选择对应输出值与设定的标准目标值最接近的web服务。对web服务的每种输入属性的属性值进行归一化处理。从输入层到隐藏层、从隐藏层到输出层的传递函数均为sigmoid函数。

该实施例在传统的反向传播神经网络算法的基础上增加了一个平缓项，引入该项之后，克服了传统反向传播算法收敛速度慢、训练过程振荡的缺陷。该项使连接权值的调整向着梯度下降方向进行，即使两次连接权值调整的方向不同，也可以减小振荡趋势，加快了网络收敛，从而缩短了训练反向传播神经网络的时间，加快了选择web服务的速度。

下面以UPS服务为例来详细说明建立和训练反向传播神经网络的流程，其中仅包括了使用一个UPS服务进行训练的过程，若是使用多个UPS服务进行训练，则在使用一个UPS服务完成训练之后，还需依次用其余的UPS服务在前次UPS服务训练好的神经网络的基础上进行训练。步骤如下：

步骤101：初始化神经网络，选取三层BP神经网络，分为：输入层、隐藏层和输出层，为每层设定节点数目，在本例中将输出层节点数设为1，关于隐藏层节点个数的确定，往往是需要根据设计者的经验和多次实验来确定，并且与问题所要求的学习误差、输入单元数目和输出单元数目都有着直接关系。通过实验验证，对于输入层节点数为m的三层前馈神经网络，隐藏层具有2m+1个节点时，网络能以任意精度逼近任何一个可微函数。在本方例中，输入层节点数目设为6，则隐藏层的节点数目为13个。

步骤102：将UPS服务对象的各项属性值，包括：输入电压、输出电压、频率、转换时间、输出电压功率和电压稳定性，当做神经网络的输入向量。将电源频率稳定性作为目标属性，开始训练网络。

步骤103：将输入参数做归一化处理：

$x_i^{\′}=\mathrm{\μ}+\mathrm{\θ}\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}---\left(2\right)$

x_max，x_min是每组属性值的最大值和最小值；x_i，x′_i分别是归一化前和归一化后的值。μ和θ为参数，这两个值的大小都在0和1之间，其选定一般根据经验和实验的输入参数来确定。在本方案中，μ设为0，θ设为1。

步骤104：分别求隐藏层和输出层各单元的输出。从输入层到隐藏层、从隐藏层到输出层的神经元传递函数均为sigmoid函数：

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left(3\right)$

根据前向传播的规则：

$x_i^k=f\left(u_i^k\right)---\left(4\right)$

表示第k层的第i个神经元的输入总和，输出

不断一层一层向输出层传递，最终在输出层可以得到输出

第m层为输出层，

表示输出层的第i个节点，在本方案中输出层只有一个节点。

步骤105：求标准目标值与实际输出值的偏差。把

和目标输出Y_i的值都输入误差函数E中进行运算，误差函数E的定义如式：

$E=\frac{1}{2}\underset{i}{\mathrm{\Σ}}{(x_i^m-Y_i)}^2---\left(5\right)$

将值计算出来后转步骤106。

步骤106：将步骤105得到的值与刚开始设定的误差值（在本例中，误差限定为小于ε，设为0.01。）进行比较。如果误差小于ε，那么训练目的已经达到，转步骤107。否则，进入下一个步骤，转步骤108。

步骤107：BP神经网络训练成功，误差已经达到限定范围内，停止训练。

步骤108：比较本次误差与前次误差的大小。为了更快的收敛，使学习速率根据网络训练的状态自动调整。

步骤109：在调整中，如果误差减小，说明误差修正方向正确，此时增加学习速率。

步骤110：如果误差增加，说明误差修正方向错误，此时减少学习速率。

上面三个步骤可以以下式表示，

$\mathrm{\&alpha;}(n+1)=\left\{\begin{array}{cc}{k}_{\mathrm{inc}}\mathrm{\&alpha;}\left(n\right)& E(n+1)<E\left(n\right)\\ k_{\mathrm{dec}}\mathrm{\&alpha;}\left(n\right)& E(n+1)\&GreaterEqual;E\left(n\right)\end{array}\right.---\left(8\right)$

式中，α(n+1)为本次的学习速率，α(n)为上次的学习速率。k_inc为学习速率增量因子，用于增加学习速率；k_dec为学习速率减量因子，用于减小学习速率。k_inc的值在1和2之间，k_dec的值在0和1之间。通过在训练的过程中不断调整学习速率。当误差不断减小并趋向目标时，增加学习速率；当误差不断增加并超过预先设定值时，减少学习速率。这样加快了误差的调整速度，缩短了训练时间。

步骤111：从该步骤开始是误差反向传播的阶段。对于每一个训练样例，网络的权值沿E函数的梯度下降方向修正，每个权值ω_ij的变化量Δω_ij为：

${\mathrm{\&Delta;}}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}=-\mathrm{\&alpha;}\frac{\&PartialD;E}{{\&PartialD;}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}}---\left(6\right)$

其中α为学习速率，

即为误差梯度下降值，学习速率和误差梯度下降值都是反向传播神经网络中惯用的概念。该因子在每次迭代中是可变的（即如步骤108到110），在本方案中初始值根据经验定为0.5。一般，在对连接权值进行调整时，还会按一定比例加上前一次学习时的调整量，这个调整量是上一次迭代时的连接权值变化量，即动量项。加上动量项之后的连接权值调整公式如下：

${\mathrm{\&Delta;}}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}\left(n\right)=-\mathrm{\&alpha;}\frac{\&PartialD;E}{{\&PartialD;}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}}+\mathrm{\&beta;}{\mathrm{\&Delta;}}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}(n-1)---\left(7\right)$

其中n为学习次数，β称为动量因子，0<β<1。在本方案中将β设定为0.1。

步骤112：由于传统的BP算法存在学习收敛速度缓慢、训练过程震荡等缺陷。因此，为了减小震荡，提高网络的训练速度，本发明在传统的学习因子和动量因子的基础上增加一个平缓因子，该项的实质是：将每次迭代的输出值和标准目标值之差按一定比例添加到连接权值的调整公式中：

${\mathrm{\&Delta;}}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}\left(n\right)=-\mathrm{\&alpha;}\frac{\&PartialD;E}{{\&PartialD;}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}}+\mathrm{\&beta;}{\mathrm{\&Delta;}}_{{\mathrm{\&omega;}}_{\mathrm{ij}}}(n-1)+\mathrm{\&eta;}(x_i^m-Y_i)---\left(8\right)$

η为平缓因子，在引入该项之后，总是会使连接权值的调整向着同一方向进行，即使两次连接权值调整的方向不同，也可以减小振荡趋势，提高训练速度，加速网络收敛。η的设定只能根据经验和实验来进行调整，在本方案中，通过观察权值的调整速度，将η设定为1.2。

步骤113：根据以上步骤得到的权值公式反向调整隐藏层和输出层节点之间的连接权值、输入层与隐藏层节点之间的连接权值。调整完成之后跳转到步骤104。

下面仍然以UPS服务为例来验证本发明的效果。

问题来源及背景：为保障大型数据中心内各类计算机、存储、网络、通信等设备的正常、安全和不间断运行，机房电源设备重要性日益凸显。机房电源设备主要包括高、低压供配电系统、UPS系统等。由于网络管理员与UPS以及受UPS保护的计算机之间的物理距离日益增大，需要通过网络技术来远程监控电源设备。而网络管理员需要管理多台服务器和计算机，要管理集线器、路由器等网络设备，还要管理多台UPS等等，管理点的增加，使网络管理员难以做到监控每台设备，这样会导致当出现供电故障时，网络管理员可能无法在UPS电池电量耗尽之前及时关闭计算机和UPS的电源，此时需要计算机及外设能“自主”应付一些可能预见到的问题，并能进行自动管理和调整。

本发明将要解决的问题是为机房设备自动选择UPS供电电源，根据UPS供电的可靠性，电源频率稳定性符合波动要求的UPS电源才被选出来分配给网络设备。

在步骤101，首先将BP神经网络的输入层节点数目初始化为6，隐藏层则为13个节点，输出层为1个节点。将学习因子初始化为0.5，动量因子初始化为0.1，平缓因子初始化为1.2，误差精度值设为0.01。从输入层到隐藏层，再从隐藏层到输出层，各层节点之间的连接权值初始化为-1到1之间的随机浮点数。

在步骤102，把UPS的输入电压、输出电压、频率、转换时间、输出电压功率、电压稳定性等值当做输入向量，电源频率稳定性当做期望输出向量，10个UPS输入服务集如下：

{(160,240,50,0.1,5,-0.02),(180,250,43,0.1,8,0.01),(260,380,53,0.1,13,-0.05),(240,340,55,0.1,10,0.015),(258,400,51,0.1,12,0.013),(270,410,60,0.1,20,0.02),(190,360,50,0.1,9,-0.009),(210,390,52,0.1,11,0.014),(300,420,60,0.1,18,0.003),(290,410,55,0.1,16,0.01)}，10个期望输出{0.1,-0.13,0.15,0.01,0.02,0.15,0.2,-0.17,-0.08,0.14}。

将以上UPS供电的数据经步骤103归一化处理之后，开始训练BP神经网络。在步骤104会得到隐藏层各单元的输出，然后将这些输出送到输出层，经过sigmoid函数的运算，会在输出层输出一个频率稳定性的预测值，将该值与对应的期望输出转入步骤105的（5）式得到误差值，当该误差值小于误差精度0.01时则转入步骤107，否则转入步骤108和步骤109进行学习因子的调整：在第一轮迭代中学习因子的初始值为0.5，不需要调整，从第二轮迭代开始，将每次迭代的误差输出值与上一轮迭代的误差输出值进行比较，得到一个比值，如果该比值大于1，那么得减小学习速率，在该例中，每次给学习因子乘上K_dec，该值为0.6；如果该比值小于1，那么得增大学习速率，在该例中，每次给学习因子乘上K_inc，该值为1.06。接着进入步骤110求得误差函数的梯度，再在步骤111中将实际输出值与期望输出值相减，乘上平缓因子1.2，将公式（8）算出来的值从输出层到隐藏层、从隐藏层到输入层来调整各层神经节点之间的连接权值，在步骤113中逐步反向的进行调整，当调整完成时，该次迭代完成，转步骤104进行下一次迭代。这个过程得经历几百次到上千次的循环迭代，直到误差达到限定的精度范围内。

表1展现了对传统的BP算法和改进的BP算法进行训练得到的性能值，该表分别统计了十轮训练过程中两个BP算法的迭代次数以及迭代时间。从表中可以看出改进的BP算法训练所需的迭代次数和时间均小于传统BP算法。

表1两种算法性能值

	最少	最大	平均	总迭代时间
					传统BP算法	1062	1353	1151	673ms
改进BP算法	478	786	536	345ms

两种算法的收敛速度比较如图4所示，竖轴为迭代过程中的误差值。随着训练次数的增加，传统BP算法的误差下降速度缓慢，而改进的BP算法一直保持较快的误差下降速率，收敛速度得到明显优化。

图5示出了训练好之后的神经网络在UPS选择方面的比较，纵轴为UPS的频率波动，单位为%，横轴为算法运行的次数。

如图5所示，综合两个BP算法各运行十次的数据比较，传统的BP算法选择的UPS电源频率波动范围-0.17%到0.19%，而改进的BP算法选择的UPS电源频率波动范围-0.09%到0.03%，明显可以看出改进的BP算法选择的UPS频率波动范围更小、更稳定，对设备更有利。

本发明的Web服务选择方法中所用的BP神经网络算法是在传统的BP算法上进行改进的算法，添加了一个新的平缓因子，用该因子可以加快神经网络的训练速度以及减少学习过程中的振荡，极大缩短了训练时间。

本发明的实施例可以通过计算机软件、硬件或者两者相结合的方式实现。

以上实施例仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求和范围当中。

Claims (10)

1.一种基于误差反向传播神经网络的web服务选择方法，其特征在于，该方法包括：

建立包括输入层、隐藏层和输出层的三层反向传播神经网络，输入层的每个节点对应web服务的一种属性，输出层的各节点对应web服务的各目标属性；

使用一个目标属性值已知的web服务训练反向传播神经网络，所述训练包括：

第一步：将该web服务的各种属性的属性值对应输入到输入层的各个节点，为输入层到隐藏层以及隐藏层到输出层的各节点之间设定初始连接权值；

第二步：求得输出层节点的实际输出值，根据实际输出值与目标属性值得到误差值，若误差值小于或等于设定的误差精度时，结束训练，否则进入第三步；

第三步：若为第一次得到的误差值，则使用设定的初始学习因子作为学习因子；否则若本次得到的误差值大于上一次得到的误差值，则将学习因子减小，若小于则将学习因子增大，若等于则学习因子不变；

第四步：用第三步得到的学习因子乘以误差梯度下降值得到第一项，用设定的动量因子乘以上一次连接权值的变化量得到第二项，用本次迭代的实际输出值减去目标属性值的结果乘以设定的平缓因子得到第三项；

第五步，将连接权值加上第四步中的第一项、第二项和第三项作为新的连接权值，转到第二步；

对于所有待选择的web服务，将每个web服务的各种属性的属性值对应输入到训练完毕的反向传播神经网络输入层的各节点分别得到输出值；

选择其输出值在设定目标范围内的Web服务。

2.根据权利要求1所述的web服务选择方法，其特征在于，该方法还包括：

在使用一个目标属性值已知的web服务将反向传播神经网络训练完毕后，还可以依次使用另外多个目标属性值已知的web服务训练反向传播神经网络。

3.根据权利要求1所述的web服务选择方法，其特征在于，所述设定的初始学习因子为0.5，所述设定的动量因子为0.1，所述设定的平缓因子为1.2。

4.根据权利要求1所述的web服务选择方法，其特征在于，该方法还包括：

反向传播神经网络中，隐藏层的节点数比输入层的节点数的两倍多一个。

5.根据权利要求1所述的web服务选择方法，其特征在于，所述输入层到隐藏层以及隐藏层到输出层的各节点之间设定的初始连接权值为大于-1小于1的随机浮点数。

6.根据权利要求1所述的web服务选择方法，其特征在于，该方法还包括：

在输出值在设定目标范围内的Web服务中，选择对应输出值与设定的标准目标值最接近的web服务。

7.根据权利要求1所述的web服务选择方法，其特征在于，该方法还包括：

对web服务的每种输入属性的属性值进行归一化处理。

8.根据权利要求1所述的web服务选择方法，其特征在于，从输入层到隐藏层、从隐藏层到输出层的传递函数均为sigmoid函数。

9.根据权利要求1至8其中任一项所述的web服务选择方法，其特征在于，UPS服务为所述Web服务中的一种。

10.根据权利要求9所述的UPS服务选择方法，其特征在于，所述输入层的节点对应的属性包括输入电压、输出电压、频率、转换时间、输出电压功率和电压稳定性，所述输出层的节点对应的目标属性为电源频率稳定性。

Images