CN112131080B - 一种Web服务吞吐量时变隐特征分析装置和方法 - Google Patents
一种Web服务吞吐量时变隐特征分析装置和方法 Download PDFInfo
- Publication number
- CN112131080B CN112131080B CN202011012649.7A CN202011012649A CN112131080B CN 112131080 B CN112131080 B CN 112131080B CN 202011012649 A CN202011012649 A CN 202011012649A CN 112131080 B CN112131080 B CN 112131080B
- Authority
- CN
- China
- Prior art keywords
- time
- web service
- matrix
- varying
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 232
- 230000008569 process Effects 0.000 claims description 11
- 230000007704 transition Effects 0.000 description 22
- 238000005259 measurement Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000001914 filtration Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241001199012 Usta Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种Web服务吞吐量时变隐特征分析装置和方法;一种Web服务吞吐量时变隐特征分析装置,其特征在于:该装置包括:服务存储模块,用于存储历史的Web服务吞吐量数据;时变隐特征更新模块,利用服务存储模块中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征;隐特征存储模块,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储;服务选择模块,利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务;本发明可广泛应用于互联网等领域。
Description
技术领域
本发明涉及网络数据处理领域,特别是涉及一种Web服务吞吐量时变隐特征分析装置和方法。
背景技术
随着面型服务计算构架(Service Oriented Architectures)和软件作为服务(Software As A Service)理念的兴起,互联网环境下软件系统的组织形态、开发模式、运行方式都发生着巨大的变化。通过服务重用(Service Reuse)及动态聚合(Composition)以构建随需应变、松散耦合、自我组织的分布式应用系统成为下一代软件体系结构的主要特征。然而随着互联网上的web服务爆炸性增长,在这些提供类似功能的服务当中,准确分析Web服务吞吐量时变隐特征,进而选择出适合用户的Web服务越来越困难。
目前最流行的Web服务吞吐量隐特征分析方法为协同过滤技术,具体地,协同过滤技术基于用户的协同过滤算法对Web服务的吞吐量进行预测,并将具有合适的Web服务推荐给用户。然而,现有的协同过滤算法主要依赖静态的方法对Web服务吞吐量进行预测、排序和挑选。由于Web服务运行在动态变化的网络环境中,其运行时受到如任务负载、内部故障、网络延迟和消息丢失等诸多外在因素的印象,所以Web服务总是处于频繁变化中,导致Web服务不可能维持恒定不变,这与理想情况下服务质量恒定不变的假设存在极大的偏差。这种动态性使得Web服务吞吐量的隐特征分析更加的困难,同时导致传统的协同过滤技术选择服务的结果不准确,如何在动态的环境下精确分析Web服务吞吐量时序隐特征已经成为学术界和工业界一个主要研究与急需解决的问题。
发明内容
本发明所要解决的技术问题在于提供一种Web服务吞吐量时变隐特征分析装置和方法。
为了解决上述技术问题,本发明的技术方案是:一种Web服务吞吐量时变隐特征分析装置,其特征在于:该装置包括:
服务存储模块,用于存储历史的Web服务吞吐量数据;Web服务吞吐量数据是指单位时间内网络上传输的数据量,也可以指单位时间内处理客户请求数量。
时变隐特征更新模块,利用服务存储模块中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
卡尔曼滤波器是指一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。
隐特征存储模块,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。
服务选择模块,利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
Web服务为一组模块化的应用程序集合,用户可以通过网络对集合中的任意应用程序进行调用,来执行远程系统的请求服务。
根据本发明所述的一种Web服务吞吐量时变隐特征分析装置的优选方案,所述特征更新模块包括:
所述时变隐特征更新模块包括:
参数初始化单元,用于参数初始化时序动态更新过程中涉及的更新参数。
行矩阵时变隐特征更新单元,基于服务存储模块中存储的历史的Web服务吞吐量数据,结合参数初始化单元的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
列矩阵时变隐特征更新单元,基于服务存储模块中存储的历史的Web服务吞吐量数据,结合参数初始化单元的更新参数和行矩阵时变隐特征更新单元更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。
本发明的第二个技术方案是,一种Web服务吞吐量时变隐特征分析方法,其特征在于:该方法包括如下步骤:
S1,收集并存储历史的Web服务吞吐量数据。
S2,利用历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
S3,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量。
S4,根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
根据本发明所述的一种Web服务吞吐量时变隐特征分析方法的优选方案,步骤S2包括:
S2-1,参数初始化,即参数初始化时序动态更新过程中涉及的更新参数。
S2-2,根据带有时间信息的Web服务吞吐量数据的已知数据集,结合初始化参数,构造目标损失函数。
S2-3,判断迭代控制变量是否达到上限。如达到上限,执行S3,如没有达到上限,执行S2-4。
S2-4,判断目标损失函数在带有时间信息的Web服务吞吐量数据的已知数据集上是否收敛。如已收敛,执行S3,如没有收敛,执行S2-5。
S2-5,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
S2-6,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数和已更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。返回S2-3步。
本发明所述的一种Web服务吞吐量时变隐特征分析装置和方法的有益效果是,本发明结合卡尔曼滤波器信息,其专门作用于Web服务吞吐量时变隐特征分析,进而为用户提供合适的Web服务,Web服务准确性高。本发明能够在动态的环境下精确分析Web服务吞吐量时序隐特征。本发明可广泛应用在互联网等领域。
附图说明
图1为一种Web服务吞吐量时变隐特征分析装置的结构示意图。
图2为一种Web服务吞吐量时变隐特征分析方法流程图。
图3为应用本发明实施例前后,对Web服务吞吐量时变隐特征分析准确度对比图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1:参见图1,一种Web服务吞吐量时变隐特征分析装置,该装置包括:
服务存储模块101,用于存储历史的Web服务吞吐量数据。
时变隐特征更新模块102,利用服务存储模块101中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
隐特征存储模块103,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。
服务选择模块104,利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
在具体实施例中,所述特征更新模块130包括:
所述时变隐特征更新模块包括:
参数初始化单元1021,用于参数初始化时序动态更新过程中涉及的更新参数。
所述参数初始化单元包括:
本步骤中,需要参数初始化的参数主要包括:特征空间维数f,迭代轮数上限K,正则化因子λ,收敛终止阈值为τ,行矩阵隐特征X,列矩阵隐特征Y,状态转移矩阵F,测量矩阵H,增益矩阵K,协方差矩阵P,状态噪声方差W,测量噪声方差V。
已知带有时间信息的Web服务吞吐量数据Q∈RM×N×L,Q是建立的M行,N列和L个切片的三维张量矩阵,QK代表带有时间信息的Web服务吞吐量数据的已知数据集。其中qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,R代表实数集合,M代表三维张量矩阵的第一维的长度,N代表三维张量矩阵的第二维的长度,L代表三维张量矩阵的第三维的长度。
其中:隐特征空间维数f是输出的特征空间维数的变量,初始值为正整数,如10或者20。
行矩阵隐特征X是M行,f列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
列矩阵隐特征Y是f行,N列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
迭代轮数上限K是控制提取迭代过程的变量,始终为正整数。参数初始化迭代控制变量K上限为1000。
正则化因子λ是控制更新迭代过程中,对应行矩阵隐特征X和列矩阵隐特征Y相关元素的正则化项的正则化效应的常数,初始化为极小正数。如参数初始化为小于0.1的正数,如0.001。
收敛终止阈值为τ是判断提取迭代过程是否已收敛的阈值参数,初始化为极小正数。如0.002。
初始化行矩阵隐特征X∈RM×f,X是建立的M行,f列的矩阵,其中R代表实数集合。
初始化列矩阵隐特征Y∈Rf×N,Y是建立的f行,N列的矩阵,其中R代表实数集合。
状态转移矩阵F是f行,f列的对角矩阵,其中对角元素为(1±0.005)内的随机数。初始化状态转移矩阵F∈Rf×f为对角阵,Ft代表在t时刻的转移矩阵。
协方差矩阵P是f行,f列的矩阵,初始化为0。初始化协方差矩阵P∈Rf×f,Pm,t代表第m个特征向量在t时刻的协方差矩阵。
状态噪声方差W是f行,f列的对角矩阵,对角元素初始化为1。初始化状态噪声w∈RL,wm.t代表第m个特征向量在t时刻的状态噪声,其状态噪声方差为W∈Rf×f,Wm.t代表第m个特征向量在t时刻的状态噪声方差矩阵。
测量噪声方差V是N(m,t)行,N(m,t)列的对角矩阵,对角元素初始化为1。
初始化测量噪声v∈RL,vm.t代表第m个特征向量在t时刻的测量噪声,其测量噪声方差为V∈R|N(m,t)|×|N(m,t)|,Vm.t代表第m个特征向量在t时刻的测量噪声方差矩阵,N(m,t)表示第m个的特征向量在时刻t观测到的Web服务数量。
行矩阵时变隐特征更新单元(1022),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元(1021)的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
对行矩阵中的每一个隐特征向量m,随机初始化t=0时刻的隐特征向量xm,0。假设行矩阵隐特征是缓慢变化的,那么通过状态转移矩阵和状态噪声,得到第m个向量的特征动态变化情况:
xm,t+1=Ft+1xm,t+wm,t+1
其中xm,t和xm,t+1分别表示行矩阵隐特征X在第t时刻和第t+1时刻的第m个向量,Ft+1代表状态转移矩阵F在t时刻的转移矩阵,wm.t+1表示状态噪声w在t时刻的第m个向量。
由于只能观测到所有服务吞吐量中的部分数据,所以利用测量矩阵把行矩阵隐特征,列矩阵隐特征和观测到的服务吞吐量线性相关:
qm,t+1=Hm,t+1xm,t+1+vm,t+1
其中:qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,vm,t+1代表第m个特征向量在t+1时刻的测量噪声。
首先通过上一时刻的行矩阵隐特征向量和其协方差矩阵,预测得到下一时刻的先验隐特征向量和先验协方差矩阵,即:
其中:xm,t表示行矩阵隐特征X在第t时刻的第m个向量,xm,t+1表示行矩阵隐特征X在第t+1时刻的第m个向量,表示xm,t+1的先验估计,Fm,t+1代表状态转移矩阵F对应第m个向量在t时刻的转移矩阵。
其中Fm,t+1代表状态转移矩阵F对应第m个向量在t+1时刻的转移矩阵,表示Fm,t+1的转置,Pm,t代表第m个特征向量在t时刻的协方差矩阵,Wm.t+1代表第m个特征向量在t+1时刻的状态噪声方差矩阵。
结合先验协方差矩阵和测量矩阵得到增益矩阵:
其中Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,表示Hm,t+1的转置,Pm,t+1代表第m个特征向量在t+1时刻的协方差矩阵,/>表示Pm,t+1的先验估计,Vm.t+1代表第m个特征向量在t+1时刻的测量噪声方差矩阵。
通过卡尔曼滤波器的反馈更新机制,利用增益矩阵矫正先验信息,得到下一时刻的精确状态估计值和协方差矩阵:
其中xm,t+1分别表示行矩阵隐特征X在第t+1时刻的第m个向量,表示xm,t+1的先验估计,qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,Km,t+1代表第m个向量在t+1时刻的卡尔曼增益。Pm,t+1代表第m个特征向量在t时刻的协方差矩阵,/>表示Pm,t+1的先验估计。
列矩阵时变隐特征更新单元(1023),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元1021的更新参数和行矩阵时变隐特征更新单元1022更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。
具体为:通过行矩阵时变隐特征更新单元得到的行矩阵时变隐特征向量,目标损失函数可以变更为:
其中:
X表示行矩阵隐特征,Y表示列矩阵隐特征,xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子。||xm,t||F表示xm,t的弗罗贝尼乌斯范数,||yn||F表示yn的弗罗贝尼乌斯范数。
通过对目标函数求导可以得到:
其中:xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,表示xm,t的转置。
由于为满秩矩阵,所以我们可以直接得到列矩阵时变隐特征向量:
其中xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,I表示单位矩阵。
实施例2:
参见图2,一种Web服务吞吐量时变隐特征分析方法,该方法包括如下步骤:
S1,装置接收服务器发送的隐特征分析的指令,收集并存储历史的Web服务吞吐量数据。
S2,利用历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
S3,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量。
S4,根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
在具体实施例中,步骤S2包括:
S2-1,参数初始化,即参数初始化时序动态更新过程中涉及的更新参数。
本步骤中,需要参数初始化的参数主要包括:特征空间维数f,迭代轮数上限K,正则化因子λ,收敛终止阈值为τ,行矩阵隐特征X,列矩阵隐特征Y,状态转移矩阵F,测量矩阵H,增益矩阵K,协方差矩阵P,状态噪声方差W,测量噪声方差V。
已知带有时间信息的Web服务吞吐量数据Q∈RM×N×L,Q是建立的M行,N列和L个切片的三维张量矩阵,QK代表带有时间信息的Web服务吞吐量数据的已知数据集。其中qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,R代表实数集合,M代表三维张量矩阵的第一维的长度,N代表三维张量矩阵的第二维的长度,L代表三维张量矩阵的第三维的长度。
其中:隐特征空间维数f是输出的特征空间维数的变量,初始值为正整数,如10或者20。
行矩阵隐特征X是M行,f列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
列矩阵隐特征Y是f行,N列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
迭代轮数上限K是控制提取迭代过程的变量,始终为正整数。参数初始化迭代控制变量K上限为1000。
正则化因子λ是控制更新迭代过程中,对应行矩阵隐特征X和列矩阵隐特征Y相关元素的正则化项的正则化效应的常数,初始化为极小正数。如参数初始化为小于0.1的正数,如0.001。
收敛终止阈值为τ是判断提取迭代过程是否已收敛的阈值参数,初始化为极小正数。如0.002。
初始化行矩阵隐特征X∈RM×f,X是建立的M行,f列的矩阵,其中R代表实数集合。
初始化列矩阵隐特征Y∈Rf×N,Y是建立的f行,N列的矩阵,其中R代表实数集合。
状态转移矩阵F是f行,f列的对角矩阵,其中对角元素为(1±0.005)内的随机数。初始化状态转移矩阵F∈Rf×f为对角阵,Ft代表在t时刻的转移矩阵。
协方差矩阵P是f行,f列的矩阵,初始化为0。初始化协方差矩阵P∈Rf×f,Pm,t代表第m个特征向量在t时刻的协方差矩阵。
状态噪声方差W是f行,f列的对角矩阵,对角元素初始化为1。初始化状态噪声w∈RL,wm.t代表第m个特征向量在t时刻的状态噪声,其状态噪声方差为W∈Rf×f,Wm.t代表第m个特征向量在t时刻的状态噪声方差矩阵。
测量噪声方差V是N(m,t)行,N(m,t)列的对角矩阵,对角元素初始化为1。
初始化测量噪声v∈RL,vm.t代表第m个特征向量在t时刻的测量噪声,其测量噪声方差为V∈R|N(m,t)|×|N(m,t)|,Vm.t代表第m个特征向量在t时刻的测量噪声方差矩阵,N(m,t)表示第m个的特征向量在时刻t观测到的Web服务数量。
S2-2,根据带有时间信息的Web服务吞吐量数据的已知数据集,结合初始化参数,构造目标损失函数为:
其中X表示行矩阵隐特征,Y表示列矩阵隐特征,xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,||xm,t||F表示xm,t的弗罗贝尼乌斯范数,||yn||F表示yn的弗罗贝尼乌斯范数。
S2-3,判断迭代控制变量是否达到上限。如达到上限,执行S3,如没有达到上限,执行S2-4。
本步骤中,对迭代控制变量累加1,然后判断迭代控制变量是否大于提取迭代上限K。
S2-4,判断目标损失函数在带有时间信息的Web服务吞吐量数据的已知数据集上是否收敛。如已收敛,执行S3,如没有收敛,执行S2-5。
本步骤中,判断目标损失函数ε在带有时间信息的Web服务吞吐量数据的已知数据集QK上收敛的依据为:本轮迭代开始前目标损失函数ε的数值与上轮迭代开始前的目标损失函数ε数值的差的绝对值是否小于收敛终止阈值τ。如果小于,则判定为已收敛,反之,则判定为未收敛。
S2-5,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
对行矩阵中的每一个隐特征向量m,随机初始化t=0时刻的隐特征向量xm,0。假设行矩阵隐特征是缓慢变化的,那么通过状态转移矩阵和状态噪声,得到第m个向量的特征动态变化情况:
xm,t+1=Ft+1xm,t+wm,t+1
其中xm,t和xm,t+1分别表示行矩阵隐特征X在第t时刻和第t+1时刻的第m个向量,Ft+1代表状态转移矩阵F在t时刻的转移矩阵,wm.t+1表示状态噪声w在t时刻的第m个向量。
由于只能观测到所有服务吞吐量中的部分数据,所以利用测量矩阵把行矩阵隐特征,列矩阵隐特征和观测到的服务吞吐量线性相关:
qm,t+1=Hm,t+1xm,t+1+vm,t+1
qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,vm,t+1代表第m个特征向量在t+1时刻的测量噪声。
首先通过上一时刻的行矩阵隐特征向量和其协方差矩阵,预测得到下一时刻的先验隐特征向量和先验协方差矩阵,即:
xm,t表示行矩阵隐特征X在第t时刻的第m个向量,xm,t+1表示行矩阵隐特征X在第t+1时刻的第m个向量,表示xm,t+1的先验估计,Fm,t+1代表状态转移矩阵F对应第m个向量在t时刻的转移矩阵。
Fm,t+1代表状态转移矩阵F对应第m个向量在t+1时刻的转移矩阵,表示Fm,t+1的转置,Pm,t代表第m个特征向量在t时刻的协方差矩阵,Wm.t+1代表第m个特征向量在t+1时刻的状态噪声方差矩阵。
结合先验协方差矩阵和测量矩阵得到增益矩阵:
Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,表示Hm,t+1的转置,Pm,t+1代表第m个特征向量在t+1时刻的协方差矩阵,/>表示Pm,t+1的先验估计,Vm.t+1代表第m个特征向量在t+1时刻的测量噪声方差矩阵。
通过卡尔曼滤波器的反馈更新机制,利用增益矩阵矫正先验信息,得到下一时刻的精确状态估计值和协方差矩阵:
其中xm,t+1分别表示行矩阵隐特征X在第t+1时刻的第m个向量,表示xm,t+1的先验估计,其中qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,Km,t+1代表第m个向量在t+1时刻的卡尔曼增益。Pm,t+1代表第m个特征向量在t时刻的协方差矩阵,/>表示Pm,t+1的先验估计。
S2-6,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数和已更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征,然后返回S2-3步。
具体为:通过行矩阵时变隐特征更新单元得到的行矩阵时变隐特征向量,目标损失函数可以变更为:
X表示行矩阵隐特征,Y表示列矩阵隐特征,xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,||xm,t||F表示xm,t的弗罗贝尼乌斯范数,||yn||F表示yn的弗罗贝尼乌斯范数。
通过对目标函数求导可以得到:
xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,表示xm,t的转置。
由于为满秩矩阵,所以我们可以直接得到列矩阵时变隐特征向量:
xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,I表示单位矩阵。
在带有时间信息的Web服务吞吐量数据的已知数据集QK上重复上述迭代过程,直至目标损失函数ε在QK上对收敛,获得最终的Web服务吞吐量时变隐特征。收敛判定条件为提取迭代控制变量K达到上限,或者本轮迭代开始前目标损失函数ε的数值与上轮迭代开始前的目标损失函数ε数值的差的绝对值已经小于收敛终止阈值τ。
为了验证上述结合卡尔曼滤波器信息的Web服务吞吐量时变隐特征分析的方法和装置的性能,在服务器上(配置:Intel Xeon E5-2630 v4,2.2GHz处理器,512G内存)安装了本装置,并运行仿真实验进行实例分析。在实例分析中,采用的Web服务吞吐量数据集为网上公开数据集。实例分析使用均方误差RMSE作为时变隐特征分析精度的评价指标,RMSE越低,精度越高。
图3为应用本发明实施例前后,时变隐特征分析的准确度对比。参见图3,值越大,精度越高,可知采用本发明Web服务吞吐量时变隐特征分析的方法和装置,精度明显提升。其中第一种情况表示传统协同过滤方法的结果,第二种情况表示用本实施发明后的结果。
由上述技术方案可见,本发明提供了一种结合卡尔曼滤波器信息的Web服务吞吐量时变隐特征分析的方法和装置,其专门作用于Web服务吞吐量时变隐特征分析,进而为用户选出合适的Web服务。
以上所述仅为本发明的优选实施例,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种Web服务吞吐量时变隐特征分析装置,其特征在于:该装置包括:
服务存储模块(101),用于存储历史的Web服务吞吐量数据;
时变隐特征更新模块(102),利用服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征;
所述时变隐特征更新模块(102)包括:
参数初始化单元(1021),用于参数初始化时序动态更新过程中涉及的更新参数;
行矩阵时变隐特征更新单元(1022),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元(1021)的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征;
列矩阵时变隐特征更新单元(1023),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元(1021)的更新参数和行矩阵时变隐特征更新单元(1022)更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征;
隐特征存储模块(103),对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储;
服务选择模块(104),利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
2.一种Web服务吞吐量时变隐特征分析方法,其特征在于:该方法包括如下步骤:
S1,收集并存储历史的Web服务吞吐量数据;
S2,利用历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征;
步骤S2包括
S2-1,参数初始化,即参数初始化时序动态更新过程中涉及的更新参数;
S2-2,根据带有时间信息的Web服务吞吐量数据的已知数据集,结合初始化参数,构造目标损失函数;
S2-3,判断迭代控制变量是否达到上限;如达到上限,执行S3,如没有达到上限,执行S2-4;
S2-4,判断目标损失函数在带有时间信息的Web服务吞吐量数据的已知数据集上是否收敛;如已收敛,执行S3,如没有收敛,执行S2-5;
S2-5,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征;
S2-6,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数和已更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征;返回步骤S2-3;
S3,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储;利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量;
S4,根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011012649.7A CN112131080B (zh) | 2020-09-24 | 2020-09-24 | 一种Web服务吞吐量时变隐特征分析装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011012649.7A CN112131080B (zh) | 2020-09-24 | 2020-09-24 | 一种Web服务吞吐量时变隐特征分析装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131080A CN112131080A (zh) | 2020-12-25 |
CN112131080B true CN112131080B (zh) | 2024-05-28 |
Family
ID=73840944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011012649.7A Active CN112131080B (zh) | 2020-09-24 | 2020-09-24 | 一种Web服务吞吐量时变隐特征分析装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131080B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104753718A (zh) * | 2015-02-25 | 2015-07-01 | 重庆大学 | 基于非负聚合的缺失服务吞吐率补足方法和装置 |
WO2017058247A1 (en) * | 2015-10-02 | 2017-04-06 | Hewlett Packard Enterprise Development Lp | Device throughput determination |
CN108256695A (zh) * | 2018-03-14 | 2018-07-06 | 北京邮电大学 | 一种基于历史信息的Web服务QoS预测方法 |
CN110113180A (zh) * | 2019-03-11 | 2019-08-09 | 中国科学院重庆绿色智能技术研究院 | 一种基于偏置张量分解的云服务响应时间预测方法和装置 |
-
2020
- 2020-09-24 CN CN202011012649.7A patent/CN112131080B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104753718A (zh) * | 2015-02-25 | 2015-07-01 | 重庆大学 | 基于非负聚合的缺失服务吞吐率补足方法和装置 |
WO2017058247A1 (en) * | 2015-10-02 | 2017-04-06 | Hewlett Packard Enterprise Development Lp | Device throughput determination |
CN108256695A (zh) * | 2018-03-14 | 2018-07-06 | 北京邮电大学 | 一种基于历史信息的Web服务QoS预测方法 |
CN110113180A (zh) * | 2019-03-11 | 2019-08-09 | 中国科学院重庆绿色智能技术研究院 | 一种基于偏置张量分解的云服务响应时间预测方法和装置 |
Non-Patent Citations (2)
Title |
---|
一种基于非负矩阵隐特征分析的Web服务QoS预测模型;瞿青秀;罗辛;;《中国科技论文》(08);全文 * |
一种基于非负矩阵隐特征分析的Web服务QoS预测模型;瞿青秀;罗辛;;中国科技论文;20160423(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112131080A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112418482B (zh) | 一种基于时间序列聚类的云计算能耗预测方法 | |
WO2019083578A1 (en) | SYSTEMS AND METHODS FOR ENHANCED OPTIMIZATION OF AUTOMATIC LEARNING MODELS | |
JP5687763B2 (ja) | 高次元層別サンプリング | |
WO2018039011A1 (en) | Asychronous training of machine learning model | |
Waller et al. | On diagnosing observation‐error statistics with local ensemble data assimilation | |
Li et al. | Gaussian quadrature for matrix inverse forms with applications | |
CN110113180B (zh) | 一种基于偏置张量分解的云服务响应时间预测方法和装置 | |
CN111563203A (zh) | 一种基于快速非负隐特征分析的智能家居用户-服务兴趣度个性化预测装置和预测方法 | |
CN112131080B (zh) | 一种Web服务吞吐量时变隐特征分析装置和方法 | |
Gong et al. | Wide-sense stationary policy optimization with bellman residual on video games | |
JP2013037471A (ja) | 確率モデル更新システム、確率モデル更新装置、確率モデル更新方法およびプログラム | |
Sela et al. | Computationally efficient methods for two multivariate fractionally integrated models | |
Yamamoto | A model-free predictive control method by ℓ 1-minimization | |
KR20200000660A (ko) | 실시간 시계열 데이터를 위한 예측 모형 생성 시스템 및 방법 | |
CN113031435B (zh) | 数字式双频扩张状态观测器及扰动观测方法 | |
CN114880363A (zh) | 一种数据中心流量预测系统及训练方法、预测方法 | |
Boll et al. | Self‐certifying classification by linearized deep assignment | |
Hernandez et al. | An exploratory study of discrete time state-space models using kriging | |
JP6558860B2 (ja) | 推定装置、予測装置、方法、及びプログラム | |
Vollmer et al. | Iterative Estimation of Mutual Information with Error Bounds. | |
Renganathan | Efficient reliability analysis with multifidelity Gaussian processes and normalizing flows | |
CN114819000B (zh) | 反馈信息预估模型训练方法、装置以及电子设备 | |
Su et al. | A robust self-weighted SELO regression model | |
CN114444260B (zh) | 一种多状态流网络可靠度评估方法及装置 | |
Alim et al. | Application of Parameter Estimation: A Big Data Analytics Perspective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |