CN115146199B - 一种基于网络偏置的Web服务质量预测方法 - Google Patents
一种基于网络偏置的Web服务质量预测方法 Download PDFInfo
- Publication number
- CN115146199B CN115146199B CN202210742863.0A CN202210742863A CN115146199B CN 115146199 B CN115146199 B CN 115146199B CN 202210742863 A CN202210742863 A CN 202210742863A CN 115146199 B CN115146199 B CN 115146199B
- Authority
- CN
- China
- Prior art keywords
- qos
- network
- user
- service
- bias
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 76
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 36
- 238000001914 filtration Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于网络偏置的Web服务质量预测方法,其特点式该方法包括以下步骤:A.收集用户调用服务的QoS历史数据、用户所属网络区域、服务所属网络区域;B.对QoS历史数据进行分组;C.计算每两个网络区域间用户调用服务的QoS平均值;D.构建基于网络偏置的矩阵因子分解模型;E.训练基于网络偏置的矩阵分解因子模型;F.使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值。本发明与现有技术相比能够在复杂的网络环境中预测用户调用服务的QoS值,以及在冷启动环境下提供个性化的QoS预测结果,具有可解释性好、准确性高和通用性强等优点。
Description
技术领域
本发明涉及服务计算技术领域,尤其是一种基于网络偏置的Web服务质量预测方法。
背景技术
面对大量具有相同功能的候选Web服务,调查服务的非功能属性成为服务选择的主要关注点。服务质量(QoS)代表了Web服务的非功能属性,比如:响应时间、吞吐量、可用性和可靠性等。然而,要获得所有候选服务的QoS值并不容易。首先,用户观察到的QoS值在很大程度上取决于Web服务的调用环境,不同的用户观察到的相同Web服务的QoS值可能非常不同;其次,考虑到高昂的时间成本和巨大的资源开销,用户不可能自己调用所有的Web服务来获得个性化的QoS值。因此,近年来,Web服务的QoS预测吸引了许多研究者的注意,并被认为是获得Web服务的QoS值的有效方法。
在最近的文献中,协同过滤(CF)已被广泛用于QoS预测。现有的基于CF的预测方法可以分为两大类:基于记忆的协同过滤和基于模型的协同过滤。基于记忆的协同过滤首先通过皮尔逊相关系数(PCC)来寻找相似用户或相似服务,然后使用相似用户或相似服务的QoS值对缺失值进行预测。然而,现实中的每个用户可能只调用过很少的服务,这就降低了用PCC计算相似度的准确性。基于模型的协同过滤根据观察到的历史调用数据建立一个全局模型来进行预测,并在处理稀疏的用户服务矩阵时表现良好。
作为最流行的基于模型的协同过滤技术之一,矩阵分解(MF)最近被应用于服务质量预测。MF试图捕捉用户和服务之间的交互作用,它将高维度的用户服务调用矩阵分解成两个低维度的特征矩阵,特征矩阵的内积代表了用户调用服务的QoS预测值。现有的MF方法侧重于利用用户的邻域信息来改进QoS预测,他们认为相似的用户在调用服务时存在相似的交互作用。然而,除了用户与服务之间的交互作用会对QoS值产生影响,用户与服务之间的网络环境也会对QoS值产生影响。以响应时间为例,用户感知到的服务响应时间必须包括处理时间和传输时间,而传输时间会根据用户与服务之间的网络环境而有很大的差异。
考虑到在现实世界中缺乏评分数据而无法做出可靠预测的情况,提供冷启动环境下的个性化Qos预测结果是至关重要的。冷启动问题是指由于缺乏评分数据而不可能做出可靠预测的情况,例如,新引入的用户、新引入的服务。尽管现有工作提出使用用户之间的地理距离信息来解决冷启动问题,但是地理位置相近的用户有着相似的Qos体验并不是因为他们与服务之间存在相似的交互作用,而是因为地理位置相近的用户与服务之间存相似的网络环境。此前相关工作在处理冷启动问题时完全忽略了这个问题。
综上所述,现有的QoS预测技术在适应多样化的网络环境方面并不成熟,在处理热启动问题和冷启动问题的过程中均存在局限性。
发明内容
本发明的目的是针对现有技术的不足而提供的一种基于网络偏置的Web服务质量预测方法,该方法能够在复杂的网络环境中预测用户调用服务的QoS值,以及在冷启动环境下提供个性化的QoS预测结果。
实现本发明目的的具体技术方案是:一种基于网络偏置的Web服务质量预测方法,其特点是采用基于网络偏置的矩阵分解模型来预测用户调用服务的QoS未知值,具体包括下述步骤:
A:收集用户调用服务的QoS历史数据、用户所属网络区域、服务所属网络区域;
B:根据用户所属的网络区域和服务所属的网络区域,对QoS历史数据进行分组;
C:根据QoS历史数据的分组,计算每两个网络区域间用户调用服务的QoS平均值;
D:根据每两个网络区域间的QoS平均值,构建基于网络偏置的矩阵因子分解模型;
E:根据用户调用服务的QoS历史数据,训练基于网络偏置的矩阵因子分解模型;
F:使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值。
所述步骤D根据每两个网络区域间的QoS平均值,构建基于网络偏置的矩阵因子分解模型,具体步骤如下:
D1:定义网络偏置
网络偏置由用户偏置、服务偏置和两个网络区域间的QoS平均值组成。其中,用户偏置为用户感知到的QoS值普遍高于或低于同网络区域其他用户的偏差值,服务偏置为服务提供的QoS值普遍高于或低于同网络区域其他服务的偏差值,两个网络区域间的QoS平均值为用户所属网络区域中的所有用户调用服务所属网络区域中所有服务的QoS历史数据的平均值。
D2:构建网络偏置模型
网络偏置模型用来预测用户与服务之间的网络环境对QoS值的影响,所述网络偏置模型的目标函数如下述(1)式:
其中,表示用户i调用服务j的网络偏置预测值;x为用户i所在网络区域,y为服务j所在网络区域,μxy为网络区域x与网络区域y通信的QoS平均值;bi(1≤i≤m)表示用户i所感知到的QoS值普遍高于或低于同网络区域其他用户的偏差值;pj(1≤j≤n)表示服务j所提供的QoS值普遍高于或低于同网络区域其他服务的偏差值。
D3:构建矩阵分解模型
矩阵分解模型用来预测用户与服务之间的交互作用对QoS值的影响,所述矩阵分解模型的目标函数如下述(2)式:
其中,表示用户i调用服务j的矩阵分解预测值;表示用户潜在特征矩阵,表示服务潜在特征矩阵;Ui(1≤i≤m)表示用户i的潜在特征向量,Wj(1≤j≤n)表示服务j的潜在特征向量;d表示用户潜在特征矩阵和服务潜在特征矩阵的维度,即矩阵分解中潜在特征的数量。
D4:构建基于网络偏置的矩阵分解模型
基于网络偏置的矩阵分解模型既考虑了网络环境对QoS值的影响,又考虑了交互作用对QoS值的影响,所述基于网络偏置的矩阵分解模型的目标函数如下述(3)式:
式中,第一项为网络偏置模型,第二项为矩阵分解模型;权重α(0≤α≤1)表示在QoS预测模型中使用多少网络偏置信息,α是一个可调整的参数,如果α被设置为0,则表示不考虑用户与服务之间的网络环境对QoS值的影响,完全使用矩阵分解来进行预测;如果α被设置为1,则表示不考虑用户与服务之间的交互作用对QoS值的影响,完全使用网络偏置来进行预测;表示用户i调用服务j的QoS预测值。
所述步骤E根据用户调用服务的QoS历史数据,训练基于网络偏置的矩阵分解因子模型,具体步骤如下:
E1:构建损失函数
损失函数用来衡量QoS预测模型对样本数据的拟合程度,损失函数的值越小,表示QoS预测模型对样本数据的拟合程度越高,所述损失函数由下述(4)式表示:
其中,Iij是指示函数,如果用户i调用过服务j,则返回1,否则返回0;Qij和分别表示用户i调用服务j的QoS样本值和预测值,公式(3)给出了的预测函数。
E2:正则化损失函数
为了减小模型的过拟合倾向,在损失函数中加入四个与U、W和b、p相关的正则项,得到由下述(5)式表示的正则化损失函数:
其中,λ(λ>0)控制正则化的程度;表示矩阵的Frobenius范数。
E3:求解损失函数
考虑到损失函数是非凸函数,设计一个算法来找到全局最小是不现实的,本发明采用随机梯度下降寻找最优解,使得损失函数的值达到局部最小,所述随机梯度下降根据单个样本的损失来计算梯度并更新参数,对于每条QoS历史数据,由下述(6)~(9)式表示的更新规则:
其中,U′i和Ui表示更新后和更新前的用户特征向量;W′j和Wj表示更新后和更新前的服务特征向量;b′i和bi表示更新后和更新前的用户偏置标量;p′j和pj表示更新后和更新前的服务偏置标量;η(η>0)表示求解潜在特征矩阵和偏置向量的更新速率;L为用户i调用服务j的单个样本损失值,Ui、Wj和bi、pj的一阶求导公式由下述(10)~(13)式表示为:
其中,Qij和分别表示用户i调用服务j的QoS样本值和预测值;λ(λ>0)表示正则项的权重;α(0≤α≤1)表示网络偏置的权重。
所述步骤F使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值,具体步骤如下:
F1:预测用户调用服务的QoS未知值
使用用户偏置、服务偏置、两个网络区域间的QoS平均值来预测网络环境对QoS值的影响,使用用户潜在特征向量、服务潜在特征向量来预测交互作用对QoS值的影响,所述QoS预测函数在上述公式(3)中给出。
F2:预测新用户调用服务的QoS未知值
使用服务偏置、两个网络区域间的QoS均值来预测网络环境对QoS值的影响,使用新用户所在网络区域的用户潜在特征向量、服务潜在特征向量来预测交互作用对QoS值的影响,构建由下述(14)式表示的QoS预测函数:
其中,x为用户i所在网络区域,y为服务j所在网络区域,μxy为网络区域x与网络区域y通信的Qos平均值;Nu(x)为网络区域x的用户集合。
F3:预测用户调用新服务的QoS未知值
使用用户偏置、两个网络区域间的QoS均值来预测网络环境对QoS值的影响,使用用户潜在特征向量、新服务所在网络区域的服务潜在特征向量来预测交互作用对QoS值的影响,构建由下述(15)式表示的QoS预测函数:
其中,x为用户i所在网络区域,y为服务j所在网络区域,μxy为网络区域x与网络区域y通信的Qos平均值;Nw(y)为网络区域y的服务集合。
本发明与现有技术相比具有可解释性好、准确性高和通用性强等优点,既考虑到了用户与服务之间的交互作用对QoS值的影响,又考虑到了用户与服务之间的网络环境对QoS值的影响,能够在复杂的网络环境中预测用户调用服务的QoS值,以及在冷启动环境下提供个性化的Qos预测结果。
附图说明
图1为本发明流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步说明,需要指出的是,以下所述具体实施例旨在便于对本发明的理解,而对其不起任何限定作用。
实施例1
本实施例将在真实世界的Web服务质量数据集WSDream上应用本发明:WSDream数据集包括1974675条QoS记录,这些记录是通过分布在30个区域的339台计算机(用户)对分布在73个区域的5825个Web服务进行调用得到的;每个用户和每个Web服务之间都有一条通过调用产生的QoS记录,本实施例重点研究了QoS属性中的响应时间(RT);同时,该数据集中还收集了这些用户和服务的IP、自治系统(AS)、区域等信息。
参阅图1,本实施例的整体流程包括以下部分:
A:收集用户调用服务的QoS历史数据、用户所属网络区域、服务所属网络区域;
B:根据用户所属的网络区域和服务所属的网络区域,对QoS历史数据进行分组;
C:根据QoS历史数据的分组,计算每两个网络区域间用户调用服务的QoS平均值;
D:根据每两个网络区域间的QoS平均值,构建基于网络偏置的矩阵因子分解模型;
E:根据用户调用服务的QoS历史数据,训练基于网络偏置的矩阵分解因子模型;
F:使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值。
所述步骤A收集用户调用服务的QoS历史数据、用户所属网络区域、服务所属网络区域,具体步骤如下:
A1:为了模拟不同稀疏程度的矩阵环境,本实施例从数据集中随机删除一定数量的QoS值,生成密度为15%、20%、25%和30%的用户服务矩阵。
A2:移除的原始QoS值用作预期值,以评估本发明所取得的预测精度;例如,矩阵密度为15%意味着随机选择原始用户服务矩阵中15%的QoS值来预测其余85%的QoS值。
A3:同时,本实施例还收集了用户所属的AS编号和区域信息、服务所属的AS编号和区域信息。
所述步骤B根据用户所属的网络区域和服务所属的网络区域,对QoS历史数据进行分组,具体步骤如下:
B1:根据用户所属的AS编号和服务所属的AS编号,对QoS历史数据进行分组,即用户所属的AS编号和服务所属的AS编号均相同的QoS历史数据分在同一组。
B2:根据用户所属区域和服务所属的区域,对QoS历史数据进行分组,即用户所属的区域和服务所属的区域均相同的QoS历史数据分在同一组。
所述步骤C根据QoS历史数据的分组,计算每两个网络区域间用户调用服务的QoS平均值,具体步骤如下:
C1:根据步骤B1得到的QoS历史数据的分组,可以计算得出每两个AS编号间用户调用服务的QoS平均值。
C2:根据步骤B2得到的QoS历史数据的分组,可以计算得出每两个区域间用户调用服务的QoS平均值。
C3:根据已知的QoS历史数据,可以计算得出全局的QoS平均值。
所述步骤D根据每两个网络区域间的QoS平均值,构建基于网络偏置的矩阵因子分解模型,具体步骤如下:
D1:根据每两个AS编号间用户调用服务的QoS平均值,由下述(a)式构建基于AS偏置的矩阵分解模型:
其中,x为用户i所在AS编号,y为服务j所在AS编号,Axy为AS编号x与AS编号y通信的QoS平均值。
D2:根据每两个区域间用户调用服务的QoS平均值,由下述(b)式构建基于区域偏置的矩阵分解模型:
其中,x为用户i所在区域,y为服务j所在区域,Rxy为区域x与区域y通信的QoS平均值。
D3:根据全局的QoS平均值,由下述(c)式构建基于全局偏置的矩阵因子分解模型:
其中,μ为的全局的QoS平均值。
所述步骤E根据用户调用服务的QoS历史数据,训练基于网络偏置的矩阵分解因子模型,具体步骤如下:
E1:构建损失函数
损失函数用来衡量QoS预测模型对样本数据的拟合程度,损失函数的值越小,表示QoS预测模型对样本数据的拟合程度越高,所述损失函数由下述(d)式表示:
其中,Iij是指示函数,如果用户i调用过服务j,则返回1,否则返回0;Qij和分别表示用户i调用服务j的QoS样本值和预测值。
如果为公式(a)中的预测函数,则L为基于AS偏置的矩阵分解模型的损失函数;如果为公式(b)中的预测函数,则L为基于区域偏置的矩阵分解模型的损失函数;如果为公式(c)中的预测函数,则L为基于全局偏置的矩阵分解模型的损失函数。
E2:正则化损失函数
为了减小模型的过拟合倾向,在损失函数中加入四个与U、W和b、p相关的正则项,得到由下述(e)式表示的正则化损失函数:
其中,λ(λ>0)控制正则化的程度;表示矩阵的Frobenius范数。
E3:求解损失函数
考虑到损失函数是非凸函数,设计一个算法来找到全局最小是不现实的;本发明选择采用随机梯度下降算法来寻找最优的特征矩阵U、W和偏置向量b、p,使得损失函数的值达到局部最小,所述随机梯度下降根据单个样本的损失来计算梯度并更新参数,对于每条QoS历史数据,有下述(f)~(i)式表示的更新规则:
其中,U′i和Ui表示更新后和更新前的用户特征向量;W′j和Wj表示更新后和更新前的服务特征向量;b′i和bi表示更新后和更新前的用户偏置标量;p′j和pj表示更新后和更新前的服务偏置标量;η(η>0)表示求解潜在特征矩阵和偏置向量的更新速率;L为用户i调用服务j的单个样本损失值,Ui、Wj和bi、pj的一阶求导公式由下述(j)~(m)式表示为:
其中,Qij和分别表示用户i调用服务j的QoS样本值和预测值;λ(λ>0)表示正则项的权重;α(0≤α≤1)表示网络偏置的权重。随机梯度下降的伪代码如下表1所示:
其中,r表示算法实现收敛的迭代次数,s表示原始矩阵Q中QoS历史数据的数量,d表示用户潜在特征矩阵和服务潜在特征矩阵的维度。算法的主要时间成本在于矩阵U、W和向量b、p的更新,在每一轮的迭代中,更新U、W需要的时间成本为O(sd),更新b、p需要的时间成本为O(s);因此随机梯度下降的整体时间复杂度可以用O(rsd)表示。
所述步骤F使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值,具体步骤如下:
F1:若两个AS编号间用户调用服务的QoS平均值大于0,则使用基于AS偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值。
F2:若两个区域间用户调用服务的QoS平均值大于0,则使用基于区域偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值。
F3:使用基于全局偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡在本发明的原则范围内所做的任何修改、补充和等同替换等,都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种基于网络偏置的Web服务质量预测方法,其特征在于采用基于网络偏置的矩阵分解模型来预测用户调用服务的QoS未知值,具体包括下述步骤:
A:收集用户调用服务的QoS历史数据、用户所属网络区域、服务所属网络区域;
B:根据用户所属的网络区域和服务所属的网络区域,对QoS历史数据进行分组;
C:根据QoS历史数据的分组,计算每两个网络区域间用户调用服务的QoS平均值;
D:根据每两个网络区域间的QoS平均值,构建基于网络偏置的矩阵因子分解模型;
E:根据用户调用服务的QoS历史数据,训练基于网络偏置的矩阵因子分解模型;
F:使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值;
所述步骤D根据每两个网络区域间的QoS平均值,构建基于网络偏置的矩阵因子分解模型,具体步骤如下:
D1:定义网络偏置
网络偏置由用户偏置、服务偏置和两个网络区域间的QoS平均值组成,所述用户偏置为用户感知到的QoS值普遍高于或低于同网络区域其他用户的偏差值;所述服务偏置为服务提供的QoS值普遍高于或低于同网络区域其他服务的偏差值;所述两个网络区域间的QoS平均值为用户所属网络区域中的所有用户调用服务所属网络区域中所有服务的QoS历史数据的平均值;
D2:构建网络偏置模型
网络偏置模型用来预测用户与服务之间的网络环境对QoS值的影响,所述网络偏置模型的目标函数如下述(1)式:
其中,表示用户i调用服务j的网络偏置预测值;x为用户i所在网络区域,y为服务j所在网络区域,μ为网络区域x与网络区域y通信的QoS平均值;b,1≤i≤m表示用户i所感知到的QoS值普遍高于或低于同网络区域其他用户的偏差值;p,1≤j≤n表示服务j所提供的QoS值普遍高于或低于同网络区域其他服务的偏差值;
D3:构建矩阵分解模型
矩阵分解模型用来预测用户与服务之间的交互作用对QoS值的影响,所述矩阵分解模型的目标函数如下述(2)式:
其中,表示用户i调用服务j的矩阵分解预测值;表示用户潜在特征矩阵,表示服务潜在特征矩阵;U,1≤i≤m表示用户i的潜在特征向量,W1≤j≤n表示服务j的潜在特征向量;d表示用户潜在特征矩阵和服务潜在特征矩阵的维度,即矩阵分解中潜在特征的数量;
D4:构建基于网络偏置的矩阵分解模型
基于网络偏置的矩阵分解模型既考虑了网络环境对QoS值的影响,又考虑了交互作用对QoS值的影响,所述基于网络偏置的矩阵分解模型的目标函数如下述(3)式:
式中,第一项为网络偏置模型,第二项为矩阵分解模型;权重α,0≤α≤1表示在QoS预测模型中使用多少网络偏置信息,α是一个可调整的参数,如果α被设置为0,则表示不考虑用户与服务之间的网络环境对QoS值的影响,完全使用矩阵分解来进行预测;如果α被设置为1,则表示不考虑用户与服务之间的交互作用对QoS值的影响,完全使用网络偏置来进行预测;表示用户i调用服务j的QoS预测值;
所述步骤F使用基于网络偏置的矩阵因子分解模型来预测用户调用服务的QoS未知值,具体步骤如下:
F1:预测用户调用服务的QoS未知值
使用用户偏置、服务偏置、两个网络区域间的QoS平均值来预测网络环境对QoS值的影响,使用用户潜在特征向量、服务潜在特征向量来预测交互作用对QoS值的影响,所述QoS预测函数在上述公式(3)中给出;
F2:预测新用户调用服务的QoS未知值
使用服务偏置、两个网络区域间的QoS均值来预测网络环境对QoS值的影响,使用新用户所在网络区域的用户潜在特征向量、服务潜在特征向量来预测交互作用对QoS值的影响,其QoS预测函数由下述(14)式表示为:
其中,x为用户i所在网络区域,y为服务j所在网络区域,μ为网络区域x与网络区域y通信的Qos平均值;N(x)为网络区域x的用户集合;
F3:预测用户调用新服务的QoS未知值
使用用户偏置、两个网络区域间的QoS均值来预测网络环境对QoS值的影响,使用用户潜在特征向量、新服务所在网络区域的服务潜在特征向量来预测交互作用对QoS值的影响,其QoS预测函数由下述(15)式表示为:
其中,x为用户i所在网络区域,y为服务j所在网络区域,μ为网络区域x与网络区域y通信的Qos平均值;Nw(y)为网络区域y的服务集合。
2.根据权利要求1所述的基于网络偏置的Web服务质量预测方法,其特征在于所述步骤E根据用户调用服务的QoS历史数据,训练基于网络偏置的矩阵分解因子模型,具体步骤如下:
E1:构建损失函数
损失函数用来衡量QoS预测模型对样本数据的拟合程度,损失函数的值越小,表示QoS预测模型对样本数据的拟合程度越高,所述损失函数由下述(4)式表示:
其中,I是指示函数,如果用户i调用过服务j,则返回1,否则返回0;Q和分别表示用户i调用服务j的QoS样本值和预测值,公式(3)给出了的预测函数;
E2:正则化损失函数
为减小模型的过拟合倾向,在损失函数中加入四个与U、W和b、p相关的正则项,得到由下述(5)式表示的正则化损失函数:
其中,λ,λ>0控制正则化的程度;表示矩阵的Frobenius范数;
E3:求解损失函数
采用随机梯度下降寻找最优解,使得损失函数的值达到局部最小,所述随机梯度下降根据单个样本的损失来计算梯度并更新参数,对于每条QoS历史数据,有下述(6)~(9)式表示的更新规则:
其中,U′i和Ui表示更新后和更新前的用户特征向量;W′j和Wj表示更新后和更新前的服务特征向量;b′i和bi表示更新后和更新前的用户偏置标量;p′j和pj表示更新后和更新前的服务偏置标量;η,η>0表示求解潜在特征矩阵和偏置向量的更新速率;L为用户i调用服务j的单个样本损失值,Ui、Wj和bi、pj的一阶求导公式由下述(10)~(13)式表示为:
其中,Qij和分别表示用户i调用服务j的QoS样本值和预测值;λ,λ>0表示正则项的权重;α,0≤α≤1表示网络偏置的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210742863.0A CN115146199B (zh) | 2022-06-28 | 2022-06-28 | 一种基于网络偏置的Web服务质量预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210742863.0A CN115146199B (zh) | 2022-06-28 | 2022-06-28 | 一种基于网络偏置的Web服务质量预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115146199A CN115146199A (zh) | 2022-10-04 |
CN115146199B true CN115146199B (zh) | 2024-07-16 |
Family
ID=83410549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210742863.0A Active CN115146199B (zh) | 2022-06-28 | 2022-06-28 | 一种基于网络偏置的Web服务质量预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115146199B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236650B (zh) * | 2023-11-13 | 2024-03-01 | 山东工泵电机有限公司 | 一种水肥一体化智慧泵房控制方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104601385A (zh) * | 2013-10-31 | 2015-05-06 | 浙江大学 | 基于地理位置的WebService服务质量预测方法 |
US11625648B2 (en) * | 2019-09-14 | 2023-04-11 | Oracle International Corporation | Techniques for adaptive pipelining composition for machine learning (ML) |
CN113364621B (zh) * | 2021-06-04 | 2022-07-26 | 浙江大学 | 服务网络环境下的服务质量预测方法 |
CN114117945B (zh) * | 2022-01-26 | 2022-04-15 | 南京信息工程大学 | 基于用户-服务交互图的深度学习云服务QoS预测方法 |
-
2022
- 2022-06-28 CN CN202210742863.0A patent/CN115146199B/zh active Active
Non-Patent Citations (2)
Title |
---|
Collaborative web service quality prediction via network biased matrix factorization;Wenhao Zhong等;《 34th International Conference on Software Engineering & Knowledge Engineering》;20220710;418-423 * |
基于网络偏置和矩阵分解的QoS预测方法研究;钟文浩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230915;I139-206 * |
Also Published As
Publication number | Publication date |
---|---|
CN115146199A (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6954758B1 (en) | Building predictive models within interactive business analysis processes | |
CN104850727B (zh) | 基于云重心理论的分布式大数据系统风险评估方法 | |
CN113032238B (zh) | 基于应用知识图谱的实时根因分析方法 | |
CN112910710B (zh) | 网络流量时空预测方法、装置、计算机设备和存储介质 | |
JP2000011005A (ja) | データ分析方法及び装置及びデータ分析プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN109471982B (zh) | 一种基于用户和服务聚类QoS感知的Web服务推荐方法 | |
CN115146199B (zh) | 一种基于网络偏置的Web服务质量预测方法 | |
CN112364203B (zh) | 电视视频推荐方法、装置、服务器和存储介质 | |
Kaur et al. | Dynamic resource allocation for big data streams based on data characteristics (5 V s) | |
CN109118155A (zh) | 一种生成操作模型的方法及装置 | |
CN109040027A (zh) | 基于灰色模型的网络脆弱性节点的主动预测方法 | |
CN109787821B (zh) | 一种大规模移动客户流量消费智能预测方法 | |
CN111881345B (zh) | 基于位置上下文感知的神经协同过滤服务质量预测方法 | |
Xu et al. | A unified framework of QoS-based web service recommendation with neighborhood-extended matrix factorization | |
Li | Research on sports video image analysis based on the fuzzy clustering algorithm | |
CN114372561A (zh) | 一种基于深度状态空间模型的网络流量预测方法 | |
Ding et al. | QoS prediction for web services via combining multi-component graph convolutional collaborative filtering and deep factorization machine | |
CN112307258B (zh) | 一种基于双层胶囊网络的短视频点击率预测方法 | |
CN105791010A (zh) | 基于用户隐含特征和协同过滤的服务质量QoS预测方法 | |
CN114757391B (zh) | 一种面向服务质量预测的网络数据空间设计与应用方法 | |
Zhang et al. | Quality of web service prediction by collective matrix factorization | |
CN109167673B (zh) | 一种融合异常Qos数据检测的新型云服务筛选方法 | |
CN112328912B (zh) | 一种利用地点感知的QoS预测方法 | |
CN115374191A (zh) | 一种多源数据驱动的数据中心异构设备群聚类方法 | |
CN113987363A (zh) | 一种基于隐因子预测的冷启动推荐算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |