CN112131080A - 一种Web服务吞吐量时变隐特征分析装置和方法 - Google Patents

一种Web服务吞吐量时变隐特征分析装置和方法 Download PDF

Info

Publication number
CN112131080A
CN112131080A CN202011012649.7A CN202011012649A CN112131080A CN 112131080 A CN112131080 A CN 112131080A CN 202011012649 A CN202011012649 A CN 202011012649A CN 112131080 A CN112131080 A CN 112131080A
Authority
CN
China
Prior art keywords
time
web service
varying
matrix
varying hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011012649.7A
Other languages
English (en)
Other versions
CN112131080B (zh
Inventor
袁野
许明
罗辛
尚明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanjiaan Interconnected Technology Co ltd
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Shenzhen Wanjiaan Interconnected Technology Co ltd
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wanjiaan Interconnected Technology Co ltd, Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Shenzhen Wanjiaan Interconnected Technology Co ltd
Priority to CN202011012649.7A priority Critical patent/CN112131080B/zh
Publication of CN112131080A publication Critical patent/CN112131080A/zh
Application granted granted Critical
Publication of CN112131080B publication Critical patent/CN112131080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种Web服务吞吐量时变隐特征分析装置和方法;一种Web服务吞吐量时变隐特征分析装置,其特征在于:该装置包括:服务存储模块,用于存储历史的Web服务吞吐量数据;时变隐特征更新模块,利用服务存储模块中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征;隐特征存储模块,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储;服务选择模块,利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务;本发明可广泛应用于互联网等领域。

Description

一种Web服务吞吐量时变隐特征分析装置和方法
技术领域
本发明涉及网络数据处理领域,特别是涉及一种Web服务吞吐量时变隐特征分析装置和方法。
背景技术
随着面型服务计算构架(Service Oriented Architectures)和软件作为服务(Software As A Service)理念的兴起,互联网环境下软件系统的组织形态、开发模式、运行方式都发生着巨大的变化。通过服务重用(Service Reuse)及动态聚合(Composition)以构建随需应变、松散耦合、自我组织的分布式应用系统成为下一代软件体系结构的主要特征。然而随着互联网上的web服务爆炸性增长,在这些提供类似功能的服务当中,准确分析Web服务吞吐量时变隐特征,进而选择出适合用户的Web服务越来越困难。
目前最流行的Web服务吞吐量隐特征分析方法为协同过滤技术,具体地,协同过滤技术基于用户的协同过滤算法对Web服务的吞吐量进行预测,并将具有合适的Web服务推荐给用户。然而,现有的协同过滤算法主要依赖静态的方法对Web服务吞吐量进行预测、排序和挑选。由于Web服务运行在动态变化的网络环境中,其运行时受到如任务负载、内部故障、网络延迟和消息丢失等诸多外在因素的印象,所以Web服务总是处于频繁变化中,导致Web服务不可能维持恒定不变,这与理想情况下服务质量恒定不变的假设存在极大的偏差。这种动态性使得Web服务吞吐量的隐特征分析更加的困难,同时导致传统的协同过滤技术选择服务的结果不准确,如何在动态的环境下精确分析Web服务吞吐量时序隐特征已经成为学术界和工业界一个主要研究与急需解决的问题。
发明内容
本发明所要解决的技术问题在于提供一种Web服务吞吐量时变隐特征分析装置和方法。
为了解决上述技术问题,本发明的技术方案是:一种Web服务吞吐量时变隐特征分析装置,其特征在于:该装置包括:
服务存储模块,用于存储历史的Web服务吞吐量数据;Web服务吞吐量数据是指单位时间内网络上传输的数据量,也可以指单位时间内处理客户请求数量。
时变隐特征更新模块,利用服务存储模块中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
卡尔曼滤波器是指一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。
隐特征存储模块,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。
服务选择模块,利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
Web服务为一组模块化的应用程序集合,用户可以通过网络对集合中的任意应用程序进行调用,来执行远程系统的请求服务。
根据本发明所述的一种Web服务吞吐量时变隐特征分析装置的优选方案,所述特征更新模块包括:
所述时变隐特征更新模块包括:
参数初始化单元,用于参数初始化时序动态更新过程中涉及的更新参数。
行矩阵时变隐特征更新单元,基于服务存储模块中存储的历史的Web服务吞吐量数据,结合参数初始化单元的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
列矩阵时变隐特征更新单元,基于服务存储模块中存储的历史的Web服务吞吐量数据,结合参数初始化单元的更新参数和行矩阵时变隐特征更新单元更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。
本发明的第二个技术方案是,一种Web服务吞吐量时变隐特征分析方法,其特征在于:该方法包括如下步骤:
S1,收集并存储历史的Web服务吞吐量数据。
S2,利用历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
S3,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量。
S4,根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
根据本发明所述的一种Web服务吞吐量时变隐特征分析方法的优选方案,步骤S2包括:
S2-1,参数初始化,即参数初始化时序动态更新过程中涉及的更新参数。
S2-2,根据带有时间信息的Web服务吞吐量数据的已知数据集,结合初始化参数,构造目标损失函数。
S2-3,判断迭代控制变量是否达到上限。如达到上限,执行S3,如没有达到上限,执行S2-4。
S2-4,判断目标损失函数在带有时间信息的Web服务吞吐量数据的已知数据集上是否收敛。如已收敛,执行S3,如没有收敛,执行S2-5。
S2-5,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
S2-6,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数和已更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。返回S2-3步。
本发明所述的一种Web服务吞吐量时变隐特征分析装置和方法的有益效果是,本发明结合卡尔曼滤波器信息,其专门作用于Web服务吞吐量时变隐特征分析,进而为用户提供合适的Web服务,Web服务准确性高。本发明能够在动态的环境下精确分析Web服务吞吐量时序隐特征。本发明可广泛应用在互联网等领域。
附图说明
图1为一种Web服务吞吐量时变隐特征分析装置的结构示意图。
图2为一种Web服务吞吐量时变隐特征分析方法流程图。
图3为应用本发明实施例前后,对Web服务吞吐量时变隐特征分析准确度对比图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1:参见图1,一种Web服务吞吐量时变隐特征分析装置,该装置包括:
服务存储模块101,用于存储历史的Web服务吞吐量数据。
时变隐特征更新模块102,利用服务存储模块101中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
隐特征存储模块103,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。
服务选择模块104,利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
在具体实施例中,所述特征更新模块130包括:
所述时变隐特征更新模块包括:
参数初始化单元1021,用于参数初始化时序动态更新过程中涉及的更新参数。
所述参数初始化单元包括:
本步骤中,需要参数初始化的参数主要包括:特征空间维数f,迭代轮数上限K,正则化因子λ,收敛终止阈值为τ,行矩阵隐特征X,列矩阵隐特征Y,状态转移矩阵F,测量矩阵H,增益矩阵K,协方差矩阵P,状态噪声方差W,测量噪声方差V。
已知带有时间信息的Web服务吞吐量数据Q∈RM×N×L,Q是建立的M行,N列和L个切片的三维张量矩阵,QK代表带有时间信息的Web服务吞吐量数据的已知数据集。其中qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,R代表实数集合,M代表三维张量矩阵的第一维的长度,N代表三维张量矩阵的第二维的长度,L代表三维张量矩阵的第三维的长度。
其中:隐特征空间维数f是输出的特征空间维数的变量,初始值为正整数,如10或者20。
行矩阵隐特征X是M行,f列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
列矩阵隐特征Y是f行,N列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
迭代轮数上限K是控制提取迭代过程的变量,始终为正整数。参数初始化迭代控制变量K上限为1000。
正则化因子λ是控制更新迭代过程中,对应行矩阵隐特征X和列矩阵隐特征Y相关元素的正则化项的正则化效应的常数,初始化为极小正数。如参数初始化为小于0.1的正数,如0.001。
收敛终止阈值为τ是判断提取迭代过程是否已收敛的阈值参数,初始化为极小正数。如0.002。
初始化行矩阵隐特征X∈RM×f,X是建立的M行,f列的矩阵,其中R代表实数集合。
初始化列矩阵隐特征Y∈Rf×N,Y是建立的f行,N列的矩阵,其中R代表实数集合。
状态转移矩阵F是f行,f列的对角矩阵,其中对角元素为(1±0.005)内的随机数。初始化状态转移矩阵F∈Rf×f为对角阵,Ft代表在t时刻的转移矩阵。
协方差矩阵P是f行,f列的矩阵,初始化为0。初始化协方差矩阵P∈Rf×f,Pm,t代表第m个特征向量在t时刻的协方差矩阵。
状态噪声方差W是f行,f列的对角矩阵,对角元素初始化为1。初始化状态噪声w∈RL,wm.t代表第m个特征向量在t时刻的状态噪声,其状态噪声方差为W∈Rf×f,Wm.t代表第m个特征向量在t时刻的状态噪声方差矩阵。
测量噪声方差V是N(m,t)行,N(m,t)列的对角矩阵,对角元素初始化为1。
初始化测量噪声v∈RL,vm.t代表第m个特征向量在t时刻的测量噪声,其测量噪声方差为V∈R|N(m,t)|×|N(m,t)|,Vm.t代表第m个特征向量在t时刻的测量噪声方差矩阵,N(m,t)表示第m个的特征向量在时刻t观测到的Web服务数量。
行矩阵时变隐特征更新单元(1022),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元(1021)的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
对行矩阵中的每一个隐特征向量m,随机初始化t=0时刻的隐特征向量xm,0。假设行矩阵隐特征是缓慢变化的,那么通过状态转移矩阵和状态噪声,得到第m个向量的特征动态变化情况:
xm,t+1=Ft+1xm,t+wm,t+1
其中xm,t和xm,t+1分别表示行矩阵隐特征X在第t时刻和第t+1时刻的第m个向量,Ft+1代表状态转移矩阵F在t时刻的转移矩阵,wm.t+1表示状态噪声w在t时刻的第m个向量。
由于只能观测到所有服务吞吐量中的部分数据,所以利用测量矩阵把行矩阵隐特征,列矩阵隐特征和观测到的服务吞吐量线性相关:
qm,t+1=Hm,t+1xm,t+1+vm,t+1
其中:qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,vm,t+1代表第m个特征向量在t+1时刻的测量噪声。
首先通过上一时刻的行矩阵隐特征向量和其协方差矩阵,预测得到下一时刻的先验隐特征向量和先验协方差矩阵,即:
Figure BDA0002697988360000081
其中:xm,t表示行矩阵隐特征X在第t时刻的第m个向量,xm,t+1表示行矩阵隐特征X在第t+1时刻的第m个向量,
Figure BDA0002697988360000082
表示xm,t+1的先验估计,Fm,t+1代表状态转移矩阵F对应第m个向量在t时刻的转移矩阵。
Figure BDA0002697988360000083
其中Fm,t+1代表状态转移矩阵F对应第m个向量在t+1时刻的转移矩阵,
Figure BDA0002697988360000084
表示Fm,t+1的转置,Pm,t代表第m个特征向量在t时刻的协方差矩阵,Wm.t+1代表第m个特征向量在t+1时刻的状态噪声方差矩阵。
结合先验协方差矩阵和测量矩阵得到增益矩阵:
Figure BDA0002697988360000085
其中Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,
Figure BDA0002697988360000086
表示Hm,t+1的转置,Pm,t+1代表第m个特征向量在t+1时刻的协方差矩阵,
Figure BDA0002697988360000087
表示Pm,t+1的先验估计,Vm.t+1代表第m个特征向量在t+1时刻的测量噪声方差矩阵。
通过卡尔曼滤波器的反馈更新机制,利用增益矩阵矫正先验信息,得到下一时刻的精确状态估计值和协方差矩阵:
Figure BDA0002697988360000091
Figure BDA0002697988360000092
其中xm,t+1分别表示行矩阵隐特征X在第t+1时刻的第m个向量,
Figure BDA0002697988360000093
表示xm,t+1的先验估计,qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,Km,t+1代表第m个向量在t+1时刻的卡尔曼增益。Pm,t+1代表第m个特征向量在t时刻的协方差矩阵,
Figure BDA0002697988360000094
表示Pm,t+1的先验估计。
列矩阵时变隐特征更新单元(1023),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元1021的更新参数和行矩阵时变隐特征更新单元1022更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。
具体为:通过行矩阵时变隐特征更新单元得到的行矩阵时变隐特征向量,目标损失函数可以变更为:
Figure BDA0002697988360000095
其中:
X表示行矩阵隐特征,Y表示列矩阵隐特征,xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子。||xm,t||F表示xm,t的弗罗贝尼乌斯范数,||yn||F表示yn的弗罗贝尼乌斯范数。
通过对目标函数求导可以得到:
Figure BDA0002697988360000101
其中:xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,
Figure BDA0002697988360000102
表示xm,t的转置。
由于
Figure BDA0002697988360000103
为满秩矩阵,所以我们可以直接得到列矩阵时变隐特征向量:
Figure BDA0002697988360000104
其中xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,I表示单位矩阵。
实施例2:
参见图2,一种Web服务吞吐量时变隐特征分析方法,该方法包括如下步骤:
S1,装置接收服务器发送的隐特征分析的指令,收集并存储历史的Web服务吞吐量数据。
S2,利用历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征。
S3,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储。利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量。
S4,根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
在具体实施例中,步骤S2包括:
S2-1,参数初始化,即参数初始化时序动态更新过程中涉及的更新参数。
本步骤中,需要参数初始化的参数主要包括:特征空间维数f,迭代轮数上限K,正则化因子λ,收敛终止阈值为τ,行矩阵隐特征X,列矩阵隐特征Y,状态转移矩阵F,测量矩阵H,增益矩阵K,协方差矩阵P,状态噪声方差W,测量噪声方差V。
已知带有时间信息的Web服务吞吐量数据Q∈RM×N×L,Q是建立的M行,N列和L个切片的三维张量矩阵,QK代表带有时间信息的Web服务吞吐量数据的已知数据集。其中qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,R代表实数集合,M代表三维张量矩阵的第一维的长度,N代表三维张量矩阵的第二维的长度,L代表三维张量矩阵的第三维的长度。
其中:隐特征空间维数f是输出的特征空间维数的变量,初始值为正整数,如10或者20。
行矩阵隐特征X是M行,f列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
列矩阵隐特征Y是f行,N列的矩阵,其中每个元素参数初始化为开区间(0,0.05)内的随机数。
迭代轮数上限K是控制提取迭代过程的变量,始终为正整数。参数初始化迭代控制变量K上限为1000。
正则化因子λ是控制更新迭代过程中,对应行矩阵隐特征X和列矩阵隐特征Y相关元素的正则化项的正则化效应的常数,初始化为极小正数。如参数初始化为小于0.1的正数,如0.001。
收敛终止阈值为τ是判断提取迭代过程是否已收敛的阈值参数,初始化为极小正数。如0.002。
初始化行矩阵隐特征X∈RM×f,X是建立的M行,f列的矩阵,其中R代表实数集合。
初始化列矩阵隐特征Y∈Rf×N,Y是建立的f行,N列的矩阵,其中R代表实数集合。
状态转移矩阵F是f行,f列的对角矩阵,其中对角元素为(1±0.005)内的随机数。初始化状态转移矩阵F∈Rf×f为对角阵,Ft代表在t时刻的转移矩阵。
协方差矩阵P是f行,f列的矩阵,初始化为0。初始化协方差矩阵P∈Rf×f,Pm,t代表第m个特征向量在t时刻的协方差矩阵。
状态噪声方差W是f行,f列的对角矩阵,对角元素初始化为1。初始化状态噪声w∈RL,wm.t代表第m个特征向量在t时刻的状态噪声,其状态噪声方差为W∈Rf×f,Wm.t代表第m个特征向量在t时刻的状态噪声方差矩阵。
测量噪声方差V是N(m,t)行,N(m,t)列的对角矩阵,对角元素初始化为1。
初始化测量噪声v∈RL,vm.t代表第m个特征向量在t时刻的测量噪声,其测量噪声方差为V∈R|N(m,t)|×|N(m,t)|,Vm.t代表第m个特征向量在t时刻的测量噪声方差矩阵,N(m,t)表示第m个的特征向量在时刻t观测到的Web服务数量。
S2-2,根据带有时间信息的Web服务吞吐量数据的已知数据集,结合初始化参数,构造目标损失函数为:
Figure BDA0002697988360000131
其中X表示行矩阵隐特征,Y表示列矩阵隐特征,xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,||xm,t||F表示xm,t的弗罗贝尼乌斯范数,||yn||F表示yn的弗罗贝尼乌斯范数。
S2-3,判断迭代控制变量是否达到上限。如达到上限,执行S3,如没有达到上限,执行S2-4。
本步骤中,对迭代控制变量累加1,然后判断迭代控制变量是否大于提取迭代上限K。
S2-4,判断目标损失函数在带有时间信息的Web服务吞吐量数据的已知数据集上是否收敛。如已收敛,执行S3,如没有收敛,执行S2-5。
本步骤中,判断目标损失函数ε在带有时间信息的Web服务吞吐量数据的已知数据集QK上收敛的依据为:本轮迭代开始前目标损失函数ε的数值与上轮迭代开始前的目标损失函数ε数值的差的绝对值是否小于收敛终止阈值τ。如果小于,则判定为已收敛,反之,则判定为未收敛。
S2-5,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征。
对行矩阵中的每一个隐特征向量m,随机初始化t=0时刻的隐特征向量xm,0。假设行矩阵隐特征是缓慢变化的,那么通过状态转移矩阵和状态噪声,得到第m个向量的特征动态变化情况:
xm,t+1=Ft+1xm,t+wm,t+1
其中xm,t和xm,t+1分别表示行矩阵隐特征X在第t时刻和第t+1时刻的第m个向量,Ft+1代表状态转移矩阵F在t时刻的转移矩阵,wm.t+1表示状态噪声w在t时刻的第m个向量。
由于只能观测到所有服务吞吐量中的部分数据,所以利用测量矩阵把行矩阵隐特征,列矩阵隐特征和观测到的服务吞吐量线性相关:
qm,t+1=Hm,t+1xm,t+1+vm,t+1
qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,vm,t+1代表第m个特征向量在t+1时刻的测量噪声。
首先通过上一时刻的行矩阵隐特征向量和其协方差矩阵,预测得到下一时刻的先验隐特征向量和先验协方差矩阵,即:
Figure BDA0002697988360000141
xm,t表示行矩阵隐特征X在第t时刻的第m个向量,xm,t+1表示行矩阵隐特征X在第t+1时刻的第m个向量,
Figure BDA0002697988360000142
表示xm,t+1的先验估计,Fm,t+1代表状态转移矩阵F对应第m个向量在t时刻的转移矩阵。
Figure BDA0002697988360000151
Fm,t+1代表状态转移矩阵F对应第m个向量在t+1时刻的转移矩阵,
Figure BDA0002697988360000152
表示Fm,t+1的转置,Pm,t代表第m个特征向量在t时刻的协方差矩阵,Wm.t+1代表第m个特征向量在t+1时刻的状态噪声方差矩阵。
结合先验协方差矩阵和测量矩阵得到增益矩阵:
Figure BDA0002697988360000153
Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,
Figure BDA0002697988360000154
表示Hm,t+1的转置,Pm,t+1代表第m个特征向量在t+1时刻的协方差矩阵,
Figure BDA0002697988360000155
表示Pm,t+1的先验估计,Vm.t+1代表第m个特征向量在t+1时刻的测量噪声方差矩阵。
通过卡尔曼滤波器的反馈更新机制,利用增益矩阵矫正先验信息,得到下一时刻的精确状态估计值和协方差矩阵:
Figure BDA0002697988360000156
Figure BDA0002697988360000157
其中xm,t+1分别表示行矩阵隐特征X在第t+1时刻的第m个向量,
Figure BDA0002697988360000158
表示xm,t+1的先验估计,其中qm,t+1向量表示第m个向量在时刻t+1观测到的Web服务吞吐量的集合,Hm,t+1代表第m个向量在t+1时刻观测到的Web服务吞吐量特征集合,Km,t+1代表第m个向量在t+1时刻的卡尔曼增益。Pm,t+1代表第m个特征向量在t时刻的协方差矩阵,
Figure BDA0002697988360000159
表示Pm,t+1的先验估计。
S2-6,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数和已更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征,然后返回S2-3步。
具体为:通过行矩阵时变隐特征更新单元得到的行矩阵时变隐特征向量,目标损失函数可以变更为:
Figure BDA0002697988360000161
X表示行矩阵隐特征,Y表示列矩阵隐特征,xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,||xm,t||F表示xm,t的弗罗贝尼乌斯范数,||yn||F表示yn的弗罗贝尼乌斯范数。
通过对目标函数求导可以得到:
Figure BDA0002697988360000162
xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,
Figure BDA0002697988360000163
表示xm,t的转置。
由于
Figure BDA0002697988360000164
为满秩矩阵,所以我们可以直接得到列矩阵时变隐特征向量:
Figure BDA0002697988360000171
xm,t表示行矩阵隐特征X在第t时刻的第m个向量,yn表示列矩阵隐特征Y的第n个向量,QK代表带有时间信息的Web服务吞吐量数据的已知数据集,qm,n,t代表三维张量矩阵中的t时刻的第m行第n列的元素,λ表示正则化因子,M(n)表示在所有时刻观测过服务n的集合,I表示单位矩阵。
在带有时间信息的Web服务吞吐量数据的已知数据集QK上重复上述迭代过程,直至目标损失函数ε在QK上对收敛,获得最终的Web服务吞吐量时变隐特征。收敛判定条件为提取迭代控制变量K达到上限,或者本轮迭代开始前目标损失函数ε的数值与上轮迭代开始前的目标损失函数ε数值的差的绝对值已经小于收敛终止阈值τ。
为了验证上述结合卡尔曼滤波器信息的Web服务吞吐量时变隐特征分析的方法和装置的性能,在服务器上(配置:Intel Xeon E5-2630 v4,2.2GHz处理器,512G内存)安装了本装置,并运行仿真实验进行实例分析。在实例分析中,采用的Web服务吞吐量数据集为网上公开数据集。实例分析使用均方误差RMSE作为时变隐特征分析精度的评价指标,RMSE越低,精度越高。
图3为应用本发明实施例前后,时变隐特征分析的准确度对比。参见图3,值越大,精度越高,可知采用本发明Web服务吞吐量时变隐特征分析的方法和装置,精度明显提升。其中第一种情况表示传统协同过滤方法的结果,第二种情况表示用本实施发明后的结果。
由上述技术方案可见,本发明提供了一种结合卡尔曼滤波器信息的Web服务吞吐量时变隐特征分析的方法和装置,其专门作用于Web服务吞吐量时变隐特征分析,进而为用户选出合适的Web服务。
以上所述仅为本发明的优选实施例,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种Web服务吞吐量时变隐特征分析装置,其特征在于:该装置包括:
服务存储模块(101),用于存储历史的Web服务吞吐量数据;
时变隐特征更新模块(102),利用服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征;
隐特征存储模块(103),对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储;
服务选择模块(104),利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量,并根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
2.根据权利要求1所述的一种Web服务吞吐量时变隐特征分析装置,其特征在于:所述特征更新模块(130)包括:
所述时变隐特征更新模块包括:
参数初始化单元(1021),用于参数初始化时序动态更新过程中涉及的更新参数;
行矩阵时变隐特征更新单元(1022),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元(1021)的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征;
列矩阵时变隐特征更新单元(1023),基于服务存储模块(101)中存储的历史的Web服务吞吐量数据,结合参数初始化单元(1021)的更新参数和行矩阵时变隐特征更新单元(1022)更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征。
3.一种Web服务吞吐量时变隐特征分析方法,其特征在于:该方法包括如下步骤:
S1,收集并存储历史的Web服务吞吐量数据;
S2,利用历史的Web服务吞吐量数据,结合卡尔曼滤波器和最小二乘法,时序动态更新行矩阵时变隐特征和列矩阵时变隐特征;
S3,对获取的行矩阵时变隐特征和列矩阵时变隐特征进行存储;利用行矩阵时变隐特征和列矩阵时变隐特征,预测Web服务吞吐量;
S4,根据Web服务吞吐量预测值,推荐给用户合适的Web服务。
4.根据权利要求3所述的一种Web服务吞吐量时变隐特征分析方法,其特征在于:步骤S2包括
S2-1,参数初始化,即参数初始化时序动态更新过程中涉及的更新参数;
S2-2,根据带有时间信息的Web服务吞吐量数据的已知数据集,结合初始化参数,构造目标损失函数;
S2-3,判断迭代控制变量是否达到上限;如达到上限,执行S3,如没有达到上限,执行S2-4;
S2-4,判断目标损失函数在带有时间信息的Web服务吞吐量数据的已知数据集上是否收敛;如已收敛,执行S3,如没有收敛,执行S2-5;
S2-5,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数,利用卡尔曼滤波器,时序动态更新行矩阵时变隐特征;
S2-6,基于历史的Web服务吞吐量数据,结合已参数初始化的更新参数和已更新的行矩阵时变隐特征,利用最小二乘法,时序动态更新列矩阵时变隐特征;返回步骤S2-3。
CN202011012649.7A 2020-09-24 2020-09-24 一种Web服务吞吐量时变隐特征分析装置和方法 Active CN112131080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011012649.7A CN112131080B (zh) 2020-09-24 2020-09-24 一种Web服务吞吐量时变隐特征分析装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011012649.7A CN112131080B (zh) 2020-09-24 2020-09-24 一种Web服务吞吐量时变隐特征分析装置和方法

Publications (2)

Publication Number Publication Date
CN112131080A true CN112131080A (zh) 2020-12-25
CN112131080B CN112131080B (zh) 2024-05-28

Family

ID=73840944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011012649.7A Active CN112131080B (zh) 2020-09-24 2020-09-24 一种Web服务吞吐量时变隐特征分析装置和方法

Country Status (1)

Country Link
CN (1) CN112131080B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753718A (zh) * 2015-02-25 2015-07-01 重庆大学 基于非负聚合的缺失服务吞吐率补足方法和装置
WO2017058247A1 (en) * 2015-10-02 2017-04-06 Hewlett Packard Enterprise Development Lp Device throughput determination
CN108256695A (zh) * 2018-03-14 2018-07-06 北京邮电大学 一种基于历史信息的Web服务QoS预测方法
CN110113180A (zh) * 2019-03-11 2019-08-09 中国科学院重庆绿色智能技术研究院 一种基于偏置张量分解的云服务响应时间预测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753718A (zh) * 2015-02-25 2015-07-01 重庆大学 基于非负聚合的缺失服务吞吐率补足方法和装置
WO2017058247A1 (en) * 2015-10-02 2017-04-06 Hewlett Packard Enterprise Development Lp Device throughput determination
CN108256695A (zh) * 2018-03-14 2018-07-06 北京邮电大学 一种基于历史信息的Web服务QoS预测方法
CN110113180A (zh) * 2019-03-11 2019-08-09 中国科学院重庆绿色智能技术研究院 一种基于偏置张量分解的云服务响应时间预测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
瞿青秀;罗辛;: "一种基于非负矩阵隐特征分析的Web服务QoS预测模型", 《中国科技论文》, no. 08 *
瞿青秀;罗辛;: "一种基于非负矩阵隐特征分析的Web服务QoS预测模型", 中国科技论文, no. 08, 23 April 2016 (2016-04-23) *

Also Published As

Publication number Publication date
CN112131080B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US10304008B2 (en) Fast distributed nonnegative matrix factorization and completion for big data analytics
Yang et al. Ridge and lasso regression models for cross-version defect prediction
US20170351948A1 (en) Apparatus and method for generating prediction model based on artificial neural network
CN106897404B (zh) 一种基于多gru层神经网络的推荐方法与系统
CN112418482B (zh) 一种基于时间序列聚类的云计算能耗预测方法
CN108304679A (zh) 一种自适应可靠性分析方法
CN111667010A (zh) 基于人工智能的样本评估方法、装置、设备及存储介质
CN111127435B (zh) 基于双流卷积神经网络的无参考图像质量评估方法
CN111506814B (zh) 一种基于变分自注意力网络的序列推荐方法
Cousseau et al. Dynamics of learning in multilayer perceptrons near singularities
CN116432543B (zh) 功率半导体模块剩余寿命预测方法、终端设备及存储介质
CN112257603A (zh) 高光谱图像分类方法及相关设备
CN115308558B (zh) Cmos器件寿命预测方法、装置、电子设备及介质
CN111563203A (zh) 一种基于快速非负隐特征分析的智能家居用户-服务兴趣度个性化预测装置和预测方法
CN113379071A (zh) 一种基于联邦学习的噪声标签修正方法
Santi et al. Handling spatial dependence under unknown unit locations
CN112131080A (zh) 一种Web服务吞吐量时变隐特征分析装置和方法
Yamamoto A model-free predictive control method by ℓ 1-minimization
CN111507591A (zh) 电力系统状态确定方法、装置、计算机介质及存储介质
Li Sequential Design of Experiments to Estimate a Probability of Failure.
Amrane et al. On the use of ensembles of metamodels for estimation of the failure probability
Udwadia et al. A memory‐matrix‐based identification methodology for structural and mechanical systems
Ghiani et al. Optimization via simulation: Solution concepts, algorithms, parallelcomputing strategies and commercial software
CA3101842A1 (en) A method of digital signal feature extraction comprising multiscale analysis
CN117274616B (zh) 一种多特征融合深度学习服务QoS预测系统及预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant