CN114462707B - 一种基于特征深度融合的Web服务多维QoS联合预测方法 - Google Patents
一种基于特征深度融合的Web服务多维QoS联合预测方法 Download PDFInfo
- Publication number
- CN114462707B CN114462707B CN202210126027.XA CN202210126027A CN114462707B CN 114462707 B CN114462707 B CN 114462707B CN 202210126027 A CN202210126027 A CN 202210126027A CN 114462707 B CN114462707 B CN 114462707B
- Authority
- CN
- China
- Prior art keywords
- qos
- multidimensional
- service
- user
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 46
- 230000007613 environmental effect Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims 1
- 238000011176 pooling Methods 0.000 claims 1
- 238000005096 rolling process Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 12
- 230000004931 aggregating effect Effects 0.000 abstract description 6
- 230000002776 aggregation Effects 0.000 description 18
- 238000004220 aggregation Methods 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于特征深度融合的Web服务多维QoS联合预测方法，首先使用图卷积网络提取单维QoS的环境偏好特征，并将多维QoS的特征嵌入映射到同一空间；然后通过交互层、自注意力层和全连接层捕获多维QoS特征的二阶及高阶交互特征以进行特征深度融合，最后聚合以上各个特征进行多维QoS的联合预测。本发明在真实数据集上进行了全面的实验，以此证明本方法的有效性，即能够有效提高QoS预测的性能。
Description
技术领域
本发明主要涉及Web服务QoS预测相关技术领域，具体为一种基于特征深度融合的Web服务多维QoS联合预测方法。
背景技术
近年来，随着面向服务架构(SOA)、云计算、移动计算等技术的广泛应用，大量Web服务被创建并发布在互联网上供人们使用，如何从大量功能相似的Web服务中快速、准确地找到高质量的服务是一个挑战性问题。服务质量(QualityofService，QoS)描述了服务的非功能属性，是区分功能相似服务的重要参考依据，广泛用于QoS感知的服务发现、服务推荐、服务组合等服务管理任务中。Web服务的QoS同时依赖于用户和服务双方。此外，由于动态的网络环境，同一Web服务被不同用户调用的QoS可能存在差异性。由于很多服务的调用是需要付费的，导致通过调用及监测的方式获取用户-服务对的QoS是不现实的，因此准确和个性化的QoS预测是一种可行的解决方案。
协同过滤(CollaborativeFiltering，CF)技术目前已广泛应用于Web服务的QoS预测，该类方法可细分为基于邻域的CF方法、基于模型的CF方法和混合的CF方法。基于邻域的CF方法的核心思想是依据历史QoS数据计算用户或服务之间的相似度并生成相似邻居，然后依据相似邻居的已有QoS估算目标服务的QoS。基于邻域的CF方法较为简单，并且一定程度上利用了难以量化的潜在的用户特征或服务特征，但其预测性能受到数据稀疏性问题的影响，同时很难利用与目标节点相似度较低的节点所隐含的全局结构信息。基于模型的CF方法的核心思想是预定义一个具有适当结构和参数的模型并使用已有的QoS数据进行训练，训练后的模型具有较好的QoS预测能力，且对整体结构有较好的估计。基于模型的CF方法性能较高，在面对数据稀疏性问题时鲁棒性较强，但传统基于模型的CF方法，如矩阵分解方法，难以学习用户和服务的深层特征和隐藏信息，可扩展性有限。
近年来，深度学习技术发展迅猛，在Web服务的QoS预测任务上得到了一些应用。其中，图卷积神经网络(GraphConvolutionalNetwork，GCN)可通过聚合相邻节点的信息获得目标节点的信息，缓解数据稀疏性问题；同时，它可以通过神经网络的逐层融合获取图的结构信息和深层特征，能有效解决基于邻域的CF方法和传统基于模型的CF方法面临的问题，为目前基于深度学习的QoS预测方法中性能较好的方法。
然而，现有的基于GCN的CF方法只考虑用户与服务交互的显式信息，未考虑用户终端的环境特征信息和服务器的环境特征信息。环境特征是指特定于客户端主机或服务器主机的特征，例如：网络地址、子网、自治系统、地理位置等。这些因素可通过不同的组合影响Web服务的QoS，本发明使用“偏好”来代表客户端主机和服务器主机对对方环境的适应程度，对对方环境特征适应程度更高的用户-服务组合可获得更好的QoS，适应程度高可认为该服务满足了用户的“偏好”，用户也满足了该服务的“偏好”。因此，如果能够从用户-服务交互信息中挖掘出潜在的环境特征信息，就可提供更全面和更复杂的特征信息来提高QoS的预测精度。多组件图卷积协同过滤方法是最近提出的一种基于GCN的CF方法，它考虑用户-项目的交互信息中潜在的用户对项目的偏好，并将抽象的偏好映射为具体的组件，具有挖掘用户或项目潜在偏好的能力，因此我们的前期工作采用该方法挖掘用户和服务的潜在偏好，并针对QoS预测任务提出一种新的方法MGCQP。然而，该工作依然存在以下两个可改进的地方：(1)现有的基于GCN的CF方法大多只应用于单维QoS属性。在真实环境中，多维QoS属性分别从不同的角度反映了用户特征或服务特征，不同类别的QoS属性之间存在潜在的共同特征，这些共同特征是单维QoS属性的预测模型无法挖掘出来的。例如，一个拥有较优响应时间的用户-服务对可能保持了非常通畅的网络，也说明服务器此时可能负载较小，这些特征使得该用户-服务对可能也有较优的吞吐量；同理，拥有较优吞吐量的用户-服务对也很可能具有较优的响应时间。如果能将多维QoS属性用合适的方法映射到同一空间，就能以此建模多维QoS属性存在的共同特征及联系，提升QoS预测模型的准确度；(2)预测模块应用DeepFM对用户和服务的特征向量的一阶特征、二阶和高阶特征进行建模，但没有区分不同交互特征的重要性，也没有探究高阶交互特征对预测性能的影响。
发明内容
为解决以上问题，本发明提出一种多维QoS联合预测方法JQSP(JointQoSPrediction)，能够有效提高Web服务QoS的预测性能。
为实现上述目的，本发明的技术方案如下：
一种基于特征深度融合的Web服务多维QoS联合预测方法，其特征在于，包括以下步骤：
(1)多维QoS环境偏好特征提取：应用多个结构相同、参数独立的MGCN模块对多维QoS进行环境偏好特征提取；(2)特征融合：使用加权融合方法将多维QoS的环境偏好特征映射到同一空间；(3)多维QoS联合预测：应用ANFM模块建模融合嵌入的各阶交互特征并训练神经网络进行多维QoS联合预测。
进一步地，所述步骤(1)中，在MGCN模块处理多维QoS前对QoS进行预处理过程，所述预处理过程包括以下步骤：
(1)、将响应时间QoS矩阵中的0值和超过20的值置为NULL；
(2)、将响应时间QoS矩阵和吞吐量QoS矩阵分别进行Min-Max归一化；
(3)、将两维QoS矩阵按用户标识和服务标识进行对齐，构建“用户标识-服务标识-响应时间QoS-吞吐量QoS”的输入向量。
进一步地，所述步骤(1)中，在获得预处理的输入向量以后，将其分别作为多个结构相同、参数独立的MGCN模块的输入，将抽象的环境偏好映射为具体的组件，从而得到用户嵌入和服务嵌入。
进一步地，所述步骤(1)中，MGCN模块应用多组件图卷积协同过滤方法，将目标节点的邻居节点信息聚合到目标节点上，同时使用节点级注意力区分不同重要性的邻居节点。
进一步地，所述步骤(2)中，在获得用户嵌入和服务嵌入之后，先将同一类QoS的两类嵌入拼接成合并嵌入，再使用加权融合的方式将多维QoS的合并嵌入聚合为融合嵌入。
进一步地，所述步骤(3)中，在ANFM模块挖掘融合嵌入特征的过程中，采用线性部分挖掘一阶特征，采用交互池层挖掘二阶交互，采用自注意力层和多层感知机挖掘高阶交互，最后结合多个部分的结果进行多维QoS联合预测。
本发明的有益效果：
本发明中，引入一个包含多个卷积核的偏好提取模块来提取各单维QoS的用户-服务矩阵中隐含的用户偏好特征和服务偏好特征。与此同时，使用加权融合方法将多维QoS的特征提取向量映射到同一向量空间，并引入自注意力建模融合嵌入向量中的一阶特征和各阶交互特征，提升多维QoS的联合预测的精度。最后，在真实数据集上进行大量综合性实验，实验结果表明，与其他先进的模型相比，本发明所提方法在RMSE和MAE两个指标上均有显著提升。
附图说明
图1为本发明的Web服务多维QoS联合预测方法总体框架图；
图2为转换矩阵数的超参数实验对比图；
图3为神经网络嵌入维度数的超参数实验对比图；
图4为自注意力嵌入维度数的超参数实验对比图。
具体实施方式
结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
由于现有Web服务QoS预测技术只考虑用户与服务交互的显式信息，未考虑用户终端的环境特征信息和服务器的环境特征信息，同时主要聚焦于利用单维Web服务QoS属性，而没有考虑多维QoS属性隐含的共同信息。为此，本发明提出一种新的Web服务多维QoS联合预测方法JQSP，旨在结合环境偏好特征和多维QoS隐含共同特征来提高预测的准确性。本发明首先建模单维QoS的环境偏好特征，并应用节点级注意力和组件级注意力来为节点和组件分配权重。其次，使用加权实现多维QoS嵌入的融合。最后，设计一种引入了自注意力的改进因子分解机，该因子分解机能有效建模嵌入中的低维和高维交互特征。
本发明所提出的Web服务QoS预测方法的总体框架如图1所示，包括两个部分：1)多维QoS环境偏好特征提取：应用多个结构相同、参数独立的MGCN模块对多维QoS进行环境偏好特征提取；2)特征融合：使用加权融合方法将多维QoS的环境偏好特征映射到同一空间；3)多维QoS联合预测：应用ANFM模块建模融合嵌入的各阶交互特征并训练神经网络进行多维QoS联合预测。MGCN模块用于提取各单维QoS的多维偏好特征，并将多维QoS的特征嵌入映射到同一空间，然后通过采用ANFM模块将拼接的多维QoS偏好特征进行深度融合，并实现多维QoS的联合预测。作为一个端到端模型，JQSP以数据预处理后的多个用户-服务QoS矩阵作为输入，每个矩阵针对一维QoS属性。在整个JQSP方法框架中，MGCN模块包含三个子模块：1)具有节点级注意力的分解器，该子模块可从服务的特征信息和用户的特征信息中识别和捕获用户-服务交互关系的潜在偏好，并将其映射为具体的组件；2)具有组件级注意力的组合器，该子模块可获得上述组件的权重系数，然后通过聚合组件与对应的权重系数得到用户嵌入向量和服务嵌入向量；3)加权融合器，该子模块负责将多维QoS的用户嵌入向量和服务嵌入向量采用加权融合的方式聚合为融合嵌入向量。ANFM模块由改进的注意力因子分解机构成，它使用线性部分建模融合嵌入向量的一阶特征，使用交互部分建模其二阶交互特征，使用全连接层部分建模其高阶交互特征并应用自注意力为交互特征分配权重，最后将多个部分的结果相加得到最终的多维QoS预测结果。
下面对本发明的数据预处理、模型构建与训练进行详细说明。
数据预处理：
数据预处理的目的是将QoS矩阵转换为模型可识别的标准格式。所述预处理过程包括以下步骤：
1.将响应时间QoS矩阵中的0值和超过20的值设置为NULL；
2.将响应时间QoS矩阵和吞吐量QoS矩阵分别进行Min-Max归一化；
3.将两维QoS矩阵按用户标识和服务标识进行对齐，构建“用户标识-服务标识-响应时间QoS-吞吐量QoS”的输入向量。
4.在QoS预测背景下，逻辑上将用户-服务的历史QoS建模为用户-服务二部图，并将QoS二部图分别从用户和服务视角来建模，即用户特征矩阵和服务特征矩阵。
模型构建与训练：
JQSP方法的总体过程由三个主要部分组成：1)多维QoS环境偏好特征提取：应用多个结构相同、参数独立的MGCN模块对多维QoS进行环境偏好特征提取；(2)特征融合：使用加权融合方法将多维QoS的环境偏好特征映射到同一空间；(3)多维QoS联合预测：应用ANFM模块建模融合嵌入的各阶交互特征并训练神经网络进行多维QoS联合预测。
一、多维QoS环境偏好特征提取
多维QoS环境偏好特征提取由多个结构相同、参数独立的MGCN模块完成，MGCN模块可以细分为分解器和组合器两个部分，将QoS矩阵表征为嵌入向量。MGCN模块的输入为单维QoS的用户特征矩阵和服务特征矩阵，输出为该类QoS的用户嵌入向量和服务嵌入向量。下面分别描述这两个子模块的细节。
1.1分解器
分解器可从特征信息中识别和捕获交互中的潜在偏好，并将其映射为组件。分解器的输入为用户特征矩阵和服务特征矩阵，输出为用户聚合组件和服务聚合组件。
(1)多组件提取：假定用户-服务二部图G受M个潜在偏好影响，分别为用户和服务设计M个转换矩阵作为卷积核，对二部图进行卷积操作：用户转换矩阵组W＝{W1,W2,…,WM}和服务转换矩阵组Q＝{Q1,Q2,…,QM}，第m个转换矩阵捕获第m个用户-服务交互潜在偏好。对于服务i，其第m个服务特有组件可按公式(1)提取；对于用户j，其第m个用户特有组件可以按公式(2)提取。
(2)节点级注意力应用：在用户-服务二部图中，每个节点都有若干可用于获取邻域信息的邻居节点。对节点应用节点级注意力，可学习该节点的各邻居节点的重要性，区分邻居之间的差别并为其分配不同的权重，以提升特征提取的效果。
经过多组件提取步骤，用户j得到M个用户特有组件服务i得到M个服务特有组件/>考虑到用户与不同服务的交互对描述各组件影响不同，分解器应用节点级注意力来凸显对描述组件影响较大的服务。
具体来说，考虑到第m个组件对用户j调用服务i的QoS值的影响同时表现在用户特有组件和服务特有组件中，则其影响因子可由注意力公式(3)学习得到，其中attnode表示执行节点级注意力的神经网络，Watt,m表示第m个组件的节点级注意力参数矩阵，σ表示激活函数，||表示拼接操作。在获得影响因子/>后，将其按softmax函数(4)进行标准化，以获得其权重系数/>
对于用户j的调用服务集Pu中的服务，通过公式(5)聚合其服务特有组件与对应的权重系数/>可得到用户j特有的第m个服务聚合组件/>它描述了用户j的客户端主机受第m个偏好影响的程度。经过分解器的处理，所有用户都获得了M个服务聚合组件所有服务也获得了M个用户聚合组件/>
1.2组合器
组合器可学习潜在组件的权重系数并聚合它们，得到嵌入向量。组合器的输入为用户聚合组件和服务聚合组件，输出为用户嵌入向量和服务嵌入向量。(1)组件级注意力应用：客户端主机对服务环境的偏好可通过服务聚合组件反映，而服务器对用户环境的偏好可通过用户聚合组件反映。考虑到不同组件对学习用户嵌入向量或服务嵌入向量有不同的贡献，组合器应用组件级注意力来凸显对学习嵌入向量影响较大的组件。
具体来说，考虑到第m个服务聚合组件的权重系数同时受到原始的用户特征信息和节点级注意力加权的用户特征信息的影响，本发明通过拼接服务聚合组件/>和用户特有组件/>并通过全连接层，按公式(6)得到用户联合向量/>其中Cm是参数矩阵，bm是偏置向量。然后，按公式(7)学习得到第m个服务聚合组件的影响因子wm，其中attcom是执行组件级注意力的神经网络，q是组件级注意力参数矩阵，b是偏置值，q和b由所有用户聚合组件和服务聚合组件共享，这两个参数表示客户端主机对不同服务环境和服务器对不同用户环境的共同偏好倾向。然后，将影响因子wm按softmax函数(8)进行标准化，获得第m个服务聚合组件的权重系数/>
(2)权重聚合：按公式(9)聚合服务聚合组件与其对应的权重系数，获得用户j的嵌入向量zj。类似地，可获得服务i的嵌入向量vi。用户嵌入向量zj和服务嵌入向量vi不仅捕获了低维的用户相似关系和服务相似关系，也捕获了高维的用户-服务交互中隐含的客户端主机对服务环境、服务器对用户环境的偏好信息。
二、特征融合
获得用户嵌入向量zj和服务嵌入向量vi后，将它们按公式(10)进行拼接，得到合并嵌入向量所有合并嵌入向量组合获得合并嵌入矩阵emerge。
注意，合并嵌入矩阵emerge是MGCN模块处理单个QoS矩阵所获得的单维QoS合并嵌入矩阵，仅包含单维QoS的用户特征和服务特征。对于多个MGCN获得的多维QoS合并嵌入矩阵emerge,k，在对齐用户标识和服务标识后，采用加权聚合的方式进行特征深度融合，按公式(11)获得融合嵌入矩阵zunion作为下一个模块的输入，其中λk是可训练的权重系数。融合嵌入矩阵zunion中的每个融合嵌入向量zij均包含了用户j和服务i在多维QoS上的特征。
zunion＝λ1emerge,1+λ2emerge,2+…+λkemerge,k,∑λk＝1 (11)
三、多维QoS联合预测
多维QoS联合预测由ANFM模块完成。ANFM模块的输入为融合嵌入向量，使用线性部分提取向量中的一阶特征，使用交互部分和自注意力神经网络部分提取向量中的二阶和高阶交互特征，输出为多维QoS预测值。
3.1 ANFM介绍及线性部分计算
ANFM的核心公式如公式(12)所示，其中w0表示全局偏置，W1表示一阶特征提取的参数向量，h(x为高阶特征提取函数。由此，对于输入的混合嵌入向量zij，首先可获得线性部分ylinear,ij＝w0+W1zij。
yANFM(X)＝w0+W1X+h(X) (12)
传统FM的h(x为该项为二阶因式分解交互项，可有效提取输入向量中的二阶交互特征，但在处理复杂的现实数据时表达受限。考虑到各组交互对最终预测的贡献不同，本发明应用注意力来凸显贡献更大的交互项，可减少注意力特征提取对外部信息的依赖，有效捕捉特征的内部相关性。
3.2交互层计算
为提取特征之间的交互，对于给定的d维输入特征向量zij＝{z1,z2,…,zd}，首先为其每个特征元素zi构建交互嵌入向量ei，按公式(13)得到元素嵌入向量所有交互嵌入向量构成交互嵌入矩阵E，它由所有输入特征向量共享。然后，按公式(14)得到二阶交互向量zpair，其中°表示哈达玛积。
3.3自注意力应用
自注意力机制是注意力机制的变体，它依据输入向量的内部元素相关性计算各元素的自注意力值，减少了对外部信息的依赖，相比于传统注意力机制更加灵活。对二阶交互向量的自注意力机制实现过程如下：对于e维二阶交互向量zpair＝{z1,z2,…,ze}，首先为每个交互特征元素zj构建注意力嵌入向量attj，按公式(15)得到元素注意力嵌入向量然后构建三个由全部元素嵌入向量共享的自注意力参数矩阵：WQ，WK，WV，按公式(16)至(18)分别计算得到查询向量Qj，键向量Kj和值向量Vj。接着将Qj与Kj按公式(19)相乘得到/>的注意力分数值scorej，其中⊙表示点乘。
scorej＝Qj⊙Kj (19)
对于多个交互特征元素zj，将它们的注意力分数值按公式(20)进行softmax归一化，得到对应的权重值weightj，该权重值能判断Qj和Kj相似程度，也决定了Vj的重要程度。最后，将weightj和Vj按公式(21)进行加权求和，得到带自注意力的二阶交互特征向量zij,att。
weightj＝softmax(scorej) (20)
zij,att＝∑{weightj×Vj} (21)
3.4多维QoS联合预测
在获得带自注意力的二阶交互特征向量后，为提取高阶交互特征，将zij,att传入一组全连接层，按公式(22)—(25)计算高阶特征提取向量h(zij)，其中Wi和bi表示第i层神经网络的权重矩阵和偏置值，σ表示激活函数，q表示预测层权重矩阵。
l1＝σ(W1zij,att+b1 (22)
l2＝σ(W2l1+b2 (23)
……
ln＝σ(Wnln-1+bn) (24)
h(zij)＝qTln (25)
公式(25)中q为一个权重矩阵而非列向量，其列数等于MGCN模块输入的QoS矩阵的个数，h(zij)的输出为一个多维向量，其维度等于QoS的类别数。
综合以上结果，按公式(26)获得A个最终预测结果其中/>表示用户j调用服务i在第a类QoS上的预测结果，ha(zij)表示高阶特征提取向量h(zij)的第a个分量，线性回归部分ylinear,ij由所有类的QoS预测结果共享。
实施例：
在本实施例中，针对本发明提供的QoS预测方法，进行实验验证，下面对本实施例的数据集与实验设置、评估指标、对比方法以及实验结果进行详细描述。
数据集与实验设置：
我们使用公开数据集WS-DREAM数据集。该数据集包含339个用户与5825个Web服务交互的1974675个真实QoS结果，包括响应时间和吞吐量两类重要QoS属性。为去除无效数据，本发明对响应时间数据集进行如下预处理：舍弃响应时间为0(代表用户未调用该Web服务)和响应时间超过20(代表响应时间过长，用户可能放弃调用该服务，所以该响应时间数据没有意义)的元素；为保证联合预测时多维QoS的数据在同一尺度，将响应时间数据集进行Min-Max归一化，使其数据尺度为(0,1)。吞吐量数据集中的元素均为有效数据，故仅进行Min-Max归一化。
实际中，用户通常只会调用少量服务，导致QoS数据的用户服务矩阵稀疏。考虑到预处理后的吞吐量矩阵和响应时间矩阵为稠密矩阵，为在实验中模拟真实情况，本发明在训练模型时使用DoT(Density of Training Set)较低的QoS矩阵。例如，DoT＝5％表示随机选择5％的QoS数据作为训练集，剩余95％的QoS数据作为测试集。考虑数据稀疏性的影响，本发明将QoS数据集按如下比例随机分成训练集和测试集：DoT＝{5％,10％,15％,20％,25％,30％}，共六组实验，注意随机拆分时对齐多维QoS的用户标识和服务标识。然后，本发明对所有方法在所有DoT数据集上各进行5次实验并取平均值，以评价QoS预测性能，进行对比分析。对于JQSP方法及其消融实验，具体参数设置如表1所示。
表1参数设置
评价指标：
为评价模型的效果，本发明采用以下两种广泛使用的评价参数：均方根误差(RMSE)和平均绝对误差(MAE)。
(1)均方根误差：RMSE表示预测值与真实值偏差的平方与观测次数比值的平方根，反映了样本的分散程度。RMSE的计算方法如式(29)所示。
(2)平均绝对误差：MAE表示预测值和观测值之间绝对误差的平均值，其所有差值的权重相等。MAE的计算方法如式(30)所示。
其中ypred,i表示第i个预测QoS值，ytrue,i表示第i个真实QoS值。RMSE和MAE的值越小，表示模型预测的准确性越高，结果越好。
对比方法：
将JQSP方法与基于邻域、基于因子分解模型和基于神经网络的CF方法以及JQSP方法的消融实验进行比较，以证明JQSP方法的性能。
(1)UIPCC：UIPCC结合了基于用户和基于项目的协作预测方法，采用PCC来度量节点之间的相似度，并使用相似用户和相似服务进行QoS预测。它属于基于邻域的CF方法。
(2)PMF：PMF采用概率矩阵分解方法对用户-服务QoS矩阵进行因子分解来提取隐藏特征，在面对大型稀疏数据集时具有良好的预测效果。它属于基于因子分解模型的CF方法。
(3)DNM：DNM是一种基于上下文的QoS预测模型，具有较好的预测精度，在面对挖掘异构上下文特征的任务时具有较好的鲁棒性和可扩展性。它属于基于神经网络的CF方法，本发明选用该方法作为基准方法。
(4)MLP-ANFM：该方法使用MLP替代MGCN模块作为Encoder部分，和ANFM模块一起组成完整的端到端模型。该方法的实验结果可以论证MGCN模块是否对QoS预测的准确度有影响。
(5)MGCN-MLP：该方法使用MLP替代ANFM模块作为Decoder部分，和MGCN模型一起组成完整的端到端模型。该方法的实验结果可以论证ANFM模块是否能有效地利用特征交互信息来提升QoS预测准确度。
(6)Single-MGCN：该方法使用单个single-MGCN模块，同时去掉了加权聚合层，使得整个模型只训练和预测单维QoS。该方法的实验结果可以论证联合预测是否比单独预测更精确。
实验结果与分析：
表2给出了基于响应时间数据集的所有QoS预测评价结果，表3给出了基于吞吐量数据集的所有QoS预测评价结果，并对每个DoT训练集的最优数据进行加粗表示。表中Gains计算方式如公式(31)所示，代表了JQSP方法与基准方法DNM相比性能提升的程度。
表2响应时间预测评价结果
表3吞吐量预测评价结果
根据实验结果，可得出如下观察结果：由表2和表3可以得出，对于RMSE和MAE两项评价指标，PMF显著优于UIPCC，在训练集占比低的情况下更为明显，说明矩阵分解方法在缓解数据稀疏性问题上比基于邻域的方法表现更优。DNM一定程度上优于PMF，在少数训练集占比上持平，这说明神经网络方法有比矩阵分解方法更优的建模能力。本发明提出的JQSP方法及其消融实验(即MLP-ANFM，MGCN-MLP，Single-MGCN)在RMSE和MAE上始终优于对比方法，且在吞吐量数据集、DoT＝30％的RMSE评价指标上相比基准方法DNM有28.96％的提升率，说明JQSP方法相比其他基线方法有更优的表现。
对比表2和表3中的MLP-ANFM方法和JQSP方法，可看到JQSP方法性能全面领先MLP-ANFM方法，这证明用于提取环境偏好特征的MGCN模块对QoS预测准确度的提升是有帮助的。对比表2和表3中的MGCN-MLP方法和JQSP方法，可以看到JQSP方法依然有较优的表现，这证明ANFM模块因为有效提取了输入向量的二阶及高阶交互特征而提升了预测的准确性。同时注意到MGCN-MLP方法和MLP-ANFM方法的性能差距较小，说明MGCN和ANFM两个模块对模型预测性能的影响是接近的。
对比表2和表3中的Single-MGCN方法和JQSP方法，可看到JQSP方法依然有着较大的领先优势，这证明了与提取单维QoS特征相比，将多维相关的QoS数据的特征映射到同一空间进行特征提取有更优的表现。同时注意到，与MGCN-MLP和MLP-ANFM方法相比，Single-MGCN方法更接近JQSP方法的性能，这可能说明与MGCN和ANFM两个模块相比，单独应用联合预测框架对模型的预测精确度的提升较少。
超参数对比分析：
本发明针对以下超参数在DoT＝30％的数据集上进行单一变量实验，以探究它们各自对JQSP模型性能的影响：转换矩阵数m∈{1,2,3,4,5}，神经网络嵌入维度dneu∈{8,16,32,64,128}，自注意力嵌入维度datt∈{8,16,32,64,128}。简便起见，本发明仅列出响应时间数据集上的结果。当一个参数的效果正在检查时，其他参数被设置为默认值。
(1)转换矩阵数：转换矩阵数m代表了模型捕获潜在环境偏好的数量，增加m可以提高模型的捕获能力，但过高的m可能超过了真实数据中的潜在环境偏好数，增加了模型复杂度的同时无法提升模型性能。从图2的实验结果可以得出，随着m数量的增加，模型性能有所提升，m＝3时模型获得了最优的性能，后续进一步增加m无法获得明显性能提升，同时还会大幅增加模型训练的时间。
(2)神经网络嵌入维度：嵌入维度表示神经网络层使用多少维度来表达特征，维度越高，表达特征越细腻，但过高的维度会引入过多的参数，可能造成过拟合和难以收敛的问题，大幅增加模型训练时间。从图3的实验结果可以得出，随着dneu增加，模型性能明显提高，dneu＝64时模型获得最优表达能力，继续增加dneu反而导致性能下降。
(3)自注意力嵌入维度：自注意力嵌入维度表示自注意力参数矩阵使用多少维度来表达自注意力特征。从图4的实验结果可以得出，从8开始增加datt有效提升了模型的性能，datt＝32时模型获得了最优的表达能力，继续增加datt降低了模型的性能。
本发明提出了一种JQSP方法用于多维QoS联合预测，与现有的QoS预测方法相比，它有以下优点：(1)它能有效识别和挖掘用户偏好信息和服务偏好信息，从而为特征提取提供了更丰富的信息；(2)它将多维相关QoS的特征映射到同一空间进行特征提取，这能获取到处理单维QoS无法获取的多维QoS相关性特征；(3)它引入带自注意力的因子分解机来挖掘特征提取向量中的一阶特征、二阶和高阶交互特征，并为交互特征赋予注意力权重，有效提升了特征提取的效果，该效果优于传统因子分解机和MLP。
Claims (3)
1.一种基于特征深度融合的Web服务多维QoS联合预测方法，其特征在于，包括以下步骤：(1)多维QoS环境偏好特征提取：应用多个结构相同、参数独立的多分量图卷积网络模块MGCN对多维QoS进行环境偏好特征提取；(2)特征融合：使用加权融合方法将多维QoS的环境偏好特征映射到同一空间；（3）多维QoS联合预测：应用注意力神经分解机模块ANFM挖掘融合嵌入的各阶交互特征并训练神经网络进行多维QoS的联合预测；
所述步骤（1）中，在获得预处理的输入向量以后，将输入向量分别作为多个结构相同、参数独立的MGCN模块的输入，将抽象的环境偏好映射为具体的组件，从而得到用户嵌入和服务嵌入；
所述步骤（1)中，MGCN模块应用多组件图卷积协同过滤方法，将目标节点的邻居节点信息聚合到目标节点上，同时使用节点级注意力区分不同邻居节点的重要性；
所述步骤（3）中，在ANFM模块建模融合嵌入特征的过程中，采用线性部分建模一阶特征，采用交互池化层建模二阶交互，采用自注意力层和多层感知机建模高阶交互，最后结合多个部分的结果进行多维QoS的联合预测。
2.根据权利要求1所述的一种基于特征深度融合的Web服务多维QoS联合预测方法，其特征在于，所述步骤（1)中，在MGCN模块处理多维QoS前对QoS进行预处理过程，以两个QoS属性维度为例，即响应时间和吞吐量，其预处理过程包括以下步骤：
（1）、将响应时间QoS矩阵中的0值和超过20的值置为NULL；
（2）、将响应时间QoS矩阵和吞吐量QoS矩阵分别进行Min-Max归一化；
（3）、将两个QoS属性的QoS矩阵按用户标识和服务标识进行对齐，构建“用户标识-服务标识-响应时间QoS-吞吐量QoS”的输入向量。
3.根据权利要求1所述的一种基于特征深度融合的Web服务多维QoS联合预测方法，其特征在于，所述步骤（2）中，在获得用户嵌入和服务嵌入之后，先将同一维QoS的两类嵌入拼接成合并嵌入，再使用加权融合的方式将多维QoS的合并嵌入聚合为融合嵌入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210126027.XA CN114462707B (zh) | 2022-02-10 | 2022-02-10 | 一种基于特征深度融合的Web服务多维QoS联合预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210126027.XA CN114462707B (zh) | 2022-02-10 | 2022-02-10 | 一种基于特征深度融合的Web服务多维QoS联合预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114462707A CN114462707A (zh) | 2022-05-10 |
| CN114462707B true CN114462707B (zh) | 2023-11-17 |
Family
ID=81413519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210126027.XA Active CN114462707B (zh) | 2022-02-10 | 2022-02-10 | 一种基于特征深度融合的Web服务多维QoS联合预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114462707B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115277521B (zh) * | 2022-06-06 | 2023-10-03 | 浙大城市学院 | 一种基于多视角的物联网服务QoS动态预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679415A (zh) * | 2017-09-25 | 2018-02-09 | 深圳大学 | 隐私保护协同Web服务质量预测的基于模型的协同过滤方法 |
| CN111541570A (zh) * | 2020-04-22 | 2020-08-14 | 北京交通大学 | 基于多源特征学习的云服务QoS预测方法 |
| CN113364621A (zh) * | 2021-06-04 | 2021-09-07 | 浙江大学 | 服务网络环境下的服务质量预测方法 |
| CN113949646A (zh) * | 2021-10-15 | 2022-01-18 | 安徽大学 | 一种基于深度学习的Web服务QoS预测方法 |
-
2022
- 2022-02-10 CN CN202210126027.XA patent/CN114462707B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679415A (zh) * | 2017-09-25 | 2018-02-09 | 深圳大学 | 隐私保护协同Web服务质量预测的基于模型的协同过滤方法 |
| CN111541570A (zh) * | 2020-04-22 | 2020-08-14 | 北京交通大学 | 基于多源特征学习的云服务QoS预测方法 |
| CN113364621A (zh) * | 2021-06-04 | 2021-09-07 | 浙江大学 | 服务网络环境下的服务质量预测方法 |
| CN113949646A (zh) * | 2021-10-15 | 2022-01-18 | 安徽大学 | 一种基于深度学习的Web服务QoS预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于信誉感知与嵌入式学习的Web服务QoS预测研究;邓璇 等;《物联网技术》(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114462707A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Volkovs et al. | Dropoutnet: Addressing cold start in recommender systems | |
| CN111541570B (zh) | 基于多源特征学习的云服务QoS预测方法 | |
| Wan et al. | Deep matrix factorization for trust-aware recommendation in social networks | |
| CN111949886B (zh) | 一种用于信息推荐的样本数据生成方法和相关装置 | |
| CN114817663A (zh) | 一种基于类别感知图神经网络的服务建模与推荐方法 | |
| CN113743675B (zh) | 一种云服务QoS深度学习预测模型的构建方法和系统 | |
| Nguyen et al. | Extendable neural matrix completion | |
| Yue et al. | Multiple auxiliary information based deep model for collaborative filtering | |
| CN114692007B (zh) | 表示信息的确定方法、装置、设备及存储介质 | |
| CN114462707B (zh) | 一种基于特征深度融合的Web服务多维QoS联合预测方法 | |
| CN115409203A (zh) | 一种基于模型无关元学习的联邦推荐方法及系统 | |
| Ding et al. | Joint qos prediction for web services based on deep fusion of features | |
| CN109657725B (zh) | 一种基于复杂时空情境感知的服务质量预测方法及系统 | |
| CN113761359A (zh) | 数据包推荐方法、装置、电子设备和存储介质 | |
| CN111881345A (zh) | 基于位置上下文感知的神经协同过滤服务质量预测方法 | |
| Veeramachaneni et al. | A maximum margin matrix factorization based transfer learning approach for cross-domain recommendation | |
| CN116976505A (zh) | 基于信息共享的解耦注意网络的点击率预测方法 | |
| CN115203550A (zh) | 一种增强邻居关系的社交推荐方法及系统 | |
| Merabet et al. | Qos prediction for service selection and recommendation with a deep latent features autoencoder | |
| CN112288154B (zh) | 一种基于改进神经协同过滤的区块链服务可靠性预测方法 | |
| Tegene et al. | Deep learning based matrix factorization for collaborative filtering | |
| CN114048396B (zh) | 基于异构信息网络和深度学习的nqi服务推荐方法及系统 | |
| CN114334035A (zh) | 药物分析方法、模型训练方法、装置、存储介质及设备 | |
| CN114298961A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Zhong et al. | Multimodal cooperative self‐attention network for action recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |