CN110232151B - 一种混合概率分布检测的QoS预测模型的构建方法 - Google Patents

一种混合概率分布检测的QoS预测模型的构建方法 Download PDF

Info

Publication number
CN110232151B
CN110232151B CN201910428747.XA CN201910428747A CN110232151B CN 110232151 B CN110232151 B CN 110232151B CN 201910428747 A CN201910428747 A CN 201910428747A CN 110232151 B CN110232151 B CN 110232151B
Authority
CN
China
Prior art keywords
user
qos
service
model
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910428747.XA
Other languages
English (en)
Other versions
CN110232151A (zh
Inventor
李俊
林坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN201910428747.XA priority Critical patent/CN110232151B/zh
Publication of CN110232151A publication Critical patent/CN110232151A/zh
Application granted granted Critical
Publication of CN110232151B publication Critical patent/CN110232151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种混合概率分布检测的QoS预测模型的构建方法，包括获取原始QoS数据，构建离散化表示QoS数据概率分布的数学模型；基于传统的MF方法构建用户对服务的第一QoS预测模型；基于改进的CF方法构建用户对服务的第二QoS预测模型；其中，用户对服务的第二QoS预测模型包括采用传统方法、MF分解后的低维度用户潜因子矩阵以及KL散度各自构建的用户相似度计算模型；根据QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式后计算出第一及第二QoS预测模型的概率置信度并结合各自QoS预测模型，得到最终QoS预测模型。实施本发明，基于现有的QoS预测方法基础上综合考虑原始数据的分布情况，自适应地融合多种现有预测模型的优势以提高服务的预测精度。

Description

一种混合概率分布检测的QoS预测模型的构建方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种混合概率分布检测的QoS预测模型的构建方法。
背景技术
SOA(Service-Oriented Architecture，面向服务的体系架构)作为一种新型的分布式计算模型已经在电子商务，应用集成等领域扮演越来越重要的角色。工业界中IBM、Oracle、微软等巨头纷纷发布自己的SOA战略，建议用户在进行企业IT建设时考虑S0A，学术界也成立多个服务计算技术委员会重点关注SOA研究。
SOA的核心思想是强调以服务为基本单位，发现并组合符合用户需求的一系列服务。然而随着SOA和Web服务的迅速发展，在网络上具有功能相似但非功能属性各异的Web服务数量急剧增加，因此基于web服务的推荐机制成为目前学术界和工业界共同关注的重大问题。
当前web服务推荐机制主要考虑两个方面，一个是服务功能，另一个是QoS(Quality of Service，服务质量)，比如服务的响应时间，数据吞吐量等。
目前，基于服务质量的推荐面临数据稀疏和“冷启动”的问题。由于预测模型的单一性，数据随机性，环境复杂等因素引起的不确定性问题导致web服务推荐算法精度不够高。因此，开发出一种有效地针对服务数据稀疏的问题并提高服务预测精度的推荐算法，成为目前学术界和工业界的研究和讨论的问题。
在现有技术中，基于相似度计算的协同过滤(CF，Collaborative filtering)方法和基于矩阵分解(MF，Matrix Factorization)的预测方法是目前解决稀疏数据中服务QoS预测问题的主要手段，有各自的特点和优势。
但是，上述两种方法的使用具有单一性，且构建的预测模型的预测能力都十分有限；另外，上述两种方法都没有考虑原始数据的分布情况对预测结果的影响，也导致了预测精度不够准确。
发明内容
本发明实施例所要解决的技术问题在于，提供一种混合概率分布检测的QoS预测模型的构建方法，基于现有的QoS预测方法基础上综合考虑原始数据的分布情况，自适应地融合多种现有预测模型的优势以提高服务的预测精度。
为了解决上述技术问题，本发明实施例提供了一种混合概率分布检测的QoS预测模型的构建方法，所述方法包括以下步骤：
步骤S1、获取原始QoS数据，并构建出离散化方式表示QoS数据概率分布的数学模型；
步骤S2、将所获取到的原始QoS数据基于传统的矩阵分解MF方法，构建出用户对服务的第一QoS预测模型；
步骤S3、将所获取到的原始QoS数据基于改进的相似度计算的协同过滤CF方法，构建出用户对服务的第二QoS预测模型；其中，所述用户对服务的第二QoS预测模型由多个用户相似度计算模型决定；所述多个用户相似度计算模型包括采用传统方法构建的用户相似度第一计算模型、采用MF分解后的低维度的用户潜因子矩阵构建的用户相似度第二计算模型以及采用KL散度构建的基于概率分布的用户相似度第三计算模型；
步骤S4、根据所构建出的离散化表示QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式，并根据所确定的预测结果概率置信度计算公式，分别计算出所述用户对服务的第一QoS预测模型及所述用户对服务的第二QoS预测模型各自对应的概率置信度，且进一步将所述用户对服务的第一QoS预测模型及所述用户对服务的第二QoS预测模型分别与各自计算得到的概率置信度相结合，得到用户对服务的最终QoS预测模型，即为混合概率分布检测的QoS预测模型。
其中，所述步骤S1中的“离散化方式表示QoS数据概率分布的数学模型”为
Figure GDA0003654585160000031
其中，Pi(k)表示特定用户Ui产生的原始QoS数据Qi在区间k内发生的概率，
Figure GDA0003654585160000032
且Pi(k)≥0；Num(Qi，k-1，k)表示Qi在划分区间[k-1，k]内采样数据的个数；Num(Qi，0，k)表示总体采样数据的个数；K为原始QoS数据被等分的区间总数。
其中，所述步骤S2具体包括：
首先，矩阵分解，定义分解过程中的损失函数如下式(1)所示：
Figure GDA0003654585160000033
其中，Qij为特定用户Ui对应服务j产生的原始QoS数据；||.||F为矩阵的Frobenius范数；λU和λs均为正则项系数；Ui表示为用户潜因子矩阵中第i个向量，Sj表示为服务潜因子矩阵中第j个向量；
其次，通过式(2)-(5)的随机梯度下降算法，多次迭代分解出用户潜因子矩阵U和服务潜因子矩阵S；其中，
Figure GDA0003654585160000034
Figure GDA0003654585160000035
Figure GDA0003654585160000036
Figure GDA0003654585160000037
其中，通过
Figure GDA0003654585160000038
和
Figure GDA0003654585160000039
参数用于控制梯度下降的收敛速度；Loss为损失函数；
Figure GDA00036545851600000310
为损失函数关于Ui的梯度，
Figure GDA00036545851600000311
为损失函数关于Sj的梯度；t+1表示迭代次数，直到收敛得到第t+1次的计算结果；
最后，待确定出最终的用户潜因子矩阵U和服务潜因子矩阵S后，基于矩阵分解MF方法得到用户对服务的第一QoS预测模型为
Figure GDA0003654585160000041
其中，
Figure GDA0003654585160000042
为用户对服务的第一QoS预测模型中用户i对服务j的QoS预测结果。
其中，所述步骤S3具体包括：
利用传统方法公式构建的用户相似度第一计算模型，如下式(6)所示：
Figure GDA0003654585160000043
其中，s∈NES表示useri和userj之间共同调用的服务集合，qis和qjs分别表示useri和userj用户对共同调用过的服务所产生的QoS值；当用户之间对共同调用的服务所产生的QoS越接近，则相似度越高，否则相似度越低，如用户之间没有共同调用过的项的时候，则相似度为0；
其次，采用MF分解后的低维度的用户潜因子矩阵构建的用户相似度第二计算模型，如下式(7)所示：
Figure GDA0003654585160000044
其中，Dim是用户潜因子矩阵U的特征维度；Uik和Ujk分别表示useri和userj在隐含维度k上的值；
然后，采用KL散度构建的基于概率分布的用户相似度第三计算模型，如下式(8)所示：
Figure GDA0003654585160000045
其中，pi(k)和qj(k)表示位于第k个区间内样本发生的概率；若useri和userj的分布越接近，则
Figure GDA0003654585160000046
也会越接近，使用户之间的概率分布相似度
Figure GDA0003654585160000047
会越接近于1；
接着，设置用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型的权重均相等且三者相加之和为1，利用用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型及其各自的权重，得到最终的用户相似度计算模型，如下式(9)所示：
Figure GDA0003654585160000051
其中，Unioni是计算用户i与其它计算用户相似度方法的集合；ωik表示用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型的权重；
最后，根据最终的用户相似度计算模型，构建出用户对服务的第二QoS预测模型，如下式(10)所示：
Figure GDA0003654585160000052
其中，
Figure GDA0003654585160000053
分别表示表示用户j和当前用户i的平均QoS值；Topki表示与当前用户i最相似的k个近邻用户；
Figure GDA0003654585160000056
表示用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型，*依次代表NES、MFS及KLS；
Figure GDA0003654585160000054
表示用户对服务的第二QoS预测模型中用户i对服务k的QoS预测结果。
其中，所述步骤S4具体包括：
首先，根据所构建出的离散化表示QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式，如下式(11)所示：
Figure GDA0003654585160000055
其中，Qi是训练集中用户i的特定原始QoS数据，Qik是Qi的子集表示在第k个区间内的样本数据，||·||表示样本数据的数量；min(Qi)和max(Qi)分别表示Qi中的最小值和最大值；
其次，根据所确定的预测结果概率置信度计算公式，分别计算出所述用户对服务的第一QoS预测模型
Figure GDA0003654585160000061
的概率置信度
Figure GDA0003654585160000062
及所述用户对服务的第二QoS预测模型
Figure GDA0003654585160000063
的概率置信度
Figure GDA0003654585160000064
其中，当获得预测结果
Figure GDA0003654585160000065
后，根据上述公式(11)计算对应区间数k的值，进而计算
Figure GDA0003654585160000066
的概率置信度
Figure GDA0003654585160000067
当获得预测结果
Figure GDA0003654585160000068
后，根据上述公式(11)计算对应区间数k的值，进而计算
Figure GDA0003654585160000069
的概率置信度
Figure GDA00036545851600000610
最后，将所述用户对服务的第一QoS预测模型
Figure GDA00036545851600000611
及所述用户对服务的第二QoS预测模型
Figure GDA00036545851600000612
分别与各自计算得到的概率置信度相结合，得到用户对服务的最终QoS预测模型，即为混合概率分布检测的QoS预测模型，如下式(12)所示：
Figure GDA00036545851600000613
实施本发明实施例，具有如下有益效果：
1、本发明由于综合了多种潜在的数据信息来计算用户的相似度，使得在局部范围内的预测精度得到了显著的提高，同时可以基于原始QoS数据的概率分布动态混合具有不同特点的模型的预测结果，使得最终的推荐结果更加精确；
2、本发明由于引入矩阵分解的用户关系矩阵和数据分布的相似性，因此增强用户相似度在稀疏数据中的计算精度，还引入原始数据概率分布的离散化模型来计算不同预测模型预测结果的概率置信度以及引入动态融合参数混合不同模型的预测结果，故提高了预测模型的预测精度和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的混合概率分布检测的QoS预测模型的构建方法的流程图；
图2为本发明实施例提供的混合概率分布检测的QoS预测模型与其它扩展QoS预测模型在WS-DREAM数据集合中数据子集rt的效果对比图；
图3为本发明实施例提供的混合概率分布检测的QoS预测模型与其它扩展QoS预测模型在WS-DREAM数据集合中数据子集tp的效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提出的一种混合概率分布检测的QoS预测模型的构建方法，所述方法包括以下步骤：
步骤S1、获取原始QoS数据，并构建出离散化方式表示QoS数据概率分布的数学模型；
具体过程为，对WS-DREAM数据集合中rt(response time)和tp(throughput)数据子集以及Jester数据集按照不同密度的进行随机采样，以模拟实际web服务推荐中收集服务质量数据来作为原始QoS数据。本技术方案适用各种低采样密度下推荐精度的提高，设置采样密度大致为(5％，10％，15％，20％)。
假设原始QoS数据的概率分布为p(x)，根据微积分的知识，可以将原始数据的作用域等分成K个足够小的区间，则随机变量x在每个小区间内发生的概率可认为是一定的。因此，原始QoS数据的概率分布离散化的表示为
Figure GDA0003654585160000071
即得到离散化方式表示QoS数据概率分布的数学模型：
其中，Pi(k)表示特定用户Ui产生的原始QoS数据Qi在区间k内发生的概率，
Figure GDA0003654585160000072
且Pi(k)≥0；Num(Qi，k-1，k)表示Qi在划分区间[k-1，k]内采样数据的个数；Num(Qi，0，k)表示总体采样数据的个数；K为原始QoS数据被等分的区间总数。
步骤S2、将所获取到的原始QoS数据基于传统的矩阵分解MF方法，构建出用户对服务的第一QoS预测模型；
具体过程为，首先，矩阵分解，定义分解过程中的损失函数如下式(1)所示：
Figure GDA0003654585160000081
其中，Qij为特定用户Ui对应服务j产生的原始QoS数据；||.||F为矩阵的Frobenius范数；λU和λs均为正则项系数；Ui表示为用户潜因子矩阵中第i个向量，Sj表示为服务潜因子矩阵中第j个向量；
其次，通过式(2)-(5)的随机梯度下降算法，多次迭代分解出用户潜因子矩阵U和服务潜因子矩阵S；其中，
Figure GDA0003654585160000082
Figure GDA0003654585160000083
Figure GDA0003654585160000084
Figure GDA0003654585160000085
其中，通过
Figure GDA0003654585160000086
和
Figure GDA0003654585160000087
参数用于控制梯度下降的收敛速度；Loss为损失函数；
Figure GDA0003654585160000088
为损失函数关于Ui的梯度，
Figure GDA0003654585160000089
为损失函数关于Sj的梯度；t+1表示迭代次数，直到收敛得到第t+1次的计算结果；
最后，待确定出最终的用户潜因子矩阵U和服务潜因子矩阵S后，基于矩阵分解MF方法得到用户对服务的第一QoS预测模型为
Figure GDA00036545851600000810
其中，
Figure GDA00036545851600000811
为用户对服务的第一QoS预测模型中用户i对服务j的QoS预测结果。
步骤S3、将所获取到的原始QoS数据基于改进的相似度计算的协同过滤CF方法，构建出用户对服务的第二QoS预测模型；其中，所述用户对服务的第二QoS预测模型由多个用户相似度计算模型决定；所述多个用户相似度计算模型包括采用传统方法构建的用户相似度第一计算模型、采用MF分解后的低维度的用户潜因子矩阵构建的用户相似度第二计算模型以及采用KL散度构建的基于概率分布的用户相似度第三计算模型；
具体过程为，利用传统方法公式构建的用户相似度第一计算模型，如下式(6)所示：
Figure GDA0003654585160000091
其中，s∈NES表示useri和userj之间共同调用的服务集合，qis和qjs分别表示useti和userj用户对共同调用过的服务所产生的QoS值；当用户之间对共同调用的服务所产生的QoS越接近，则相似度越高，否则相似度越低，如用户之间没有共同调用过的项的时候，则相似度为0；
其次，采用MF分解后的低维度的用户潜因子矩阵构建的用户相似度第二计算模型，该过程充分利用了数据的潜在信息来帮助数据稀疏情况下的用户相似度计算，如下式(7)所示：
Figure GDA0003654585160000092
其中，Dim是用户潜因子矩阵U的特征维度；Uik和Ujk分别表示useri和userj在隐含维度k上的值；
然后，采用KL(Kullback-Leibler)散度构建的基于概率分布的用户相似度第三计算模型，该过程充分利用了原始数据的概率分布信息来帮助数据稀疏情况下的用户相似度计算，如下式(8)所示：
Figure GDA0003654585160000093
其中，pi(k)和qj(k)表示位于第k个区间内样本发生的概率；若useri和userj的分布越接近，则
Figure GDA0003654585160000094
也会越接近，使用户之间的概率分布相似度
Figure GDA0003654585160000095
会越接近于1；
接着，设置用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型的权重均相等且三者相加之和为1，利用用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型及其各自的权重，得到最终的用户相似度计算模型，如下式(9)所示：
Figure GDA0003654585160000101
其中，Unioni是计算用户i与其它计算用户相似度方法的集合；ωik表示用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型的权重；
最后，根据最终的用户相似度计算模型，构建出用户对服务的第二QoS预测模型，如下式(10)所示：
Figure GDA0003654585160000102
其中，
Figure GDA0003654585160000103
分别表示表示用户j和当前用户i的平均QoS值；Topki表示与当前用户i最相似的k个近邻用户；
Figure GDA0003654585160000104
表示用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型，*依次代表NES、MFS及KLS；
Figure GDA0003654585160000105
表示用户对服务的第二QoS预测模型中用户i对服务k的QoS预测结果，即基于改进的相似度计算的协同过滤CF方法得到用户i对服务k的QoS预测结果。
步骤S4、根据所构建出的离散化表示QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式，并根据所确定的预测结果概率置信度计算公式，分别计算出所述用户对服务的第一QoS预测模型及所述用户对服务的第二QoS预测模型各自对应的概率置信度，且进一步将所述用户对服务的第一QoS预测模型及所述用户对服务的第二QoS预测模型分别与各自计算得到的概率置信度相结合，得到用户对服务的最终QoS预测模型，即为混合概率分布检测的QoS预测模型。
具体过程为，融合不同模型的预测结果。首先，根据所构建出的离散化表示QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式，如下式(11)所示：
Figure GDA0003654585160000111
其中，Qi是训练集中用户i的特定原始QoS数据，Qik是Qi的子集表示在第k个区间内的样本数据，||·||表示样本数据的数量；min(Qi)和max(Qi)分别表示Qi中的最小值和最大值；
其次，根据预测结果概率置信度计算公式，分别计算出用户对服务的第一QoS预测模型
Figure GDA0003654585160000112
的概率置信度
Figure GDA0003654585160000113
及用户对服务的第二QoS预测模型
Figure GDA0003654585160000114
的概率置信度
Figure GDA0003654585160000115
其中，当获得预测结果
Figure GDA0003654585160000116
后，根据上述公式(11)计算对应区间数k的值，进而计算
Figure GDA0003654585160000117
的概率置信度
Figure GDA0003654585160000118
当获得预测结果
Figure GDA0003654585160000119
后，根据上述公式(11)计算对应区间数k的值，进而计算
Figure GDA00036545851600001110
的概率置信度
Figure GDA00036545851600001111
最后，将用户对服务的第一QoS预测模型
Figure GDA00036545851600001112
及用户对服务的第二QoS预测模型
Figure GDA00036545851600001113
分别与各自计算得到的概率置信度相结合，得到用户对服务的最终QoS预测模型，即为混合概率分布检测的QoS预测模型，如下式(12)所示：
Figure GDA00036545851600001114
应当说明的是，由于预测的结果的概率置信度在原始QoS数据分布的影响下能动态地调整，因此能自适应的混合其他模型的预测结果。这样一来，在实际应用中，便可以根据原始QoS数据的不同特性，应用不同的预测模型(即不局限于MF预测模型、CF预测模型、改进的CF预测模型等)，以提高预测的精度。混合模型的扩展式如下(13)所示：
Figure GDA0003654585160000121
其中，
Figure GDA0003654585160000122
是第m个模型的预测值，并且
Figure GDA0003654585160000123
是第m个模型的概率置信权重；M包含多种合适的模型包括基于近邻和基于模型的预测结果。
如图2所示，为本发明实施例提供的混合概率分布检测的QoS预测模型与其它扩展QoS预测模型在WS-DREAM数据集合中数据子集rt的效果对比图。从图2中可以看出，本发明实施例中的QoS预测模型DHEM-MFENN相对于扩展模型DHEM-MORE(动态融合了ENN，MFENN，MF和UPCC的预测结果)，在不同的采样密度下，本发明实施例中的QoS预测模型DHEM-MFENN的数据准确性有了更大的提高，特别是在采样密度为5％的情况下。MAE为0.4884和0.4644，低于0.5，优于当前主流的Web服务QoS预测模型。
如图3所示，为本发明实施例提供的混合概率分布检测的QoS预测模型与其它扩展QoS预测模型在WS-DREAM数据集合中数据子集tp的效果对比图。从图3中可以看出，本发明实施例中的QoS预测模型DHEM-MFENN相对于扩展模型DHEM-MORE(动态融合了ENN，MFENN，MF和UPCC的预测结果)，效果最佳，而融合了更多预测结果DHEM-MORE模型结果稍差，说明在不同的数据集上不同的模型性能表现不同，本发明实施例中的QoS预测模型可在基准上动态自适应的扩展以适应不同的情形。
实施本发明实施例，具有如下有益效果：
1、本发明由于综合了多种潜在的数据信息来计算用户的相似度，使得在局部范围内的预测精度得到了显著的提高，同时可以基于原始QoS数据的概率分布动态混合具有不同特点的模型的预测结果，使得最终的推荐结果更加精确；
2、本发明由于引入矩阵分解的用户关系矩阵和数据分布的相似性，因此增强用户相似度在稀疏数据中的计算精度，还引入原始数据概率分布的离散化模型来计算不同预测模型预测结果的概率置信度以及引入动态融合参数混合不同模型的预测结果，故提高了预测模型的预测精度和鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (3)

1.一种混合概率分布检测的QoS预测模型的构建方法，其特征在于，所述方法包括以下步骤：
步骤S1、获取原始QoS数据，并构建出离散化方式表示QoS数据概率分布的数学模型；
步骤S2、将所获取到的原始QoS数据基于矩阵分解MF方法，构建出用户对服务的第一QoS预测模型；
步骤S3、将所获取到的原始QoS数据基于改进的相似度计算的协同过滤CF方法，构建出用户对服务的第二QoS预测模型；其中，所述用户对服务的第二QoS预测模型由多个用户相似度计算模型决定；所述多个用户相似度计算模型包括采用传统方法构建的用户相似度第一计算模型、采用MF分解后的低维度的用户潜因子矩阵构建的用户相似度第二计算模型以及采用KL散度构建的基于概率分布的用户相似度第三计算模型；
步骤S4、根据所构建出的离散化表示QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式，并根据所确定的预测结果概率置信度计算公式，分别计算出所述用户对服务的第一QoS预测模型及所述用户对服务的第二QoS预测模型各自对应的概率置信度，且进一步将所述用户对服务的第一QoS预测模型及所述用户对服务的第二QoS预测模型分别与各自计算得到的概率置信度相结合，得到用户对服务的最终QoS预测模型，即为混合概率分布检测的QoS预测模型；
所述步骤S1中的“离散化方式表示QoS数据概率分布的数学模型”为
Figure FDA0003654585150000011
其中，Pi(k)表示特定用户Ui产生的原始QoS数据Qi在区间k内发生的概率，
Figure FDA0003654585150000012
且Pi(k)≥0；Num(Qi，k-1，k)表示Qi在划分区间[k-1，k]内采样数据的个数；Num(Qi，0，k)表示总体采样数据的个数；K为原始QoS数据被等分的区间总数；
所述步骤S3中的“传统方法公式构建的用户相似度第一计算模型”，如下式(6)所示：
Figure FDA0003654585150000021
其中，s∈NES表示useri和userj之间共同调用的服务集合，qis和qjs分别表示useri和userj用户对共同调用过的服务所产生的QoS值；当用户之间对共同调用的服务所产生的QoS越接近，则相似度越高，否则相似度越低，如用户之间没有共同调用过的项的时候，则相似度为0；
所述步骤S4具体包括：
首先，根据所构建出的离散化表示QoS数据概率分布的数学模型，确定预测结果概率置信度计算公式，如下式(11)所示：
Figure FDA0003654585150000022
Figure FDA0003654585150000023
其中，Qi是训练集中用户i的特定原始QoS数据，Qik是Qi的子集表示在第k个区间内的样本数据，||·||表示样本数据的数量；min(Qi)和max(Qi)分别表示Qi中的最小值和最大值；
其次，根据所确定的预测结果概率置信度计算公式，分别计算出所述用户对服务的第一QoS预测模型
Figure FDA0003654585150000024
的概率置信度
Figure FDA0003654585150000025
及所述用户对服务的第二QoS预测模型
Figure FDA0003654585150000026
的概率置信度
Figure FDA0003654585150000027
其中，当获得预测结果
Figure FDA0003654585150000028
后，根据上述公式(11)计算对应区间数k的值，进而计算
Figure FDA0003654585150000029
的概率置信度
Figure FDA00036545851500000210
当获得预测结果
Figure FDA00036545851500000211
后，根据上述公式(11)计算对应区间数k的值，进而计算
Figure FDA00036545851500000212
的概率置信度
Figure FDA00036545851500000213
最后，将所述用户对服务的第一QoS预测模型
Figure FDA0003654585150000031
及所述用户对服务的第二QoS预测模型
Figure FDA0003654585150000032
分别与各自计算得到的概率置信度相结合，得到用户对服务的最终QoS预测模型，即为混合概率分布检测的QoS预测模型，如下式(12)所示：
Figure FDA0003654585150000033
2.如权利要求1所述的混合概率分布检测的QoS预测模型的构建方法，其特征在于，所述步骤S2具体包括：
首先，矩阵分解，定义分解过程中的损失函数如下式(1)所示：
Figure FDA0003654585150000034
其中，Qij为特定用户Ui对应服务j产生的原始QoS数据；||.||F为矩阵的Frobenius范数；λU和λS均为正则项系数；Ui表示为用户潜因子矩阵中第i个向量，Sj表示为服务潜因子矩阵中第j个向量；
其次，通过式(2)-(5)的随机梯度下降算法，多次迭代分解出用户潜因子矩阵U和服务潜因子矩阵S；其中，
Figure FDA0003654585150000035
Figure FDA0003654585150000036
Figure FDA0003654585150000037
Figure FDA0003654585150000038
其中，通过
Figure FDA0003654585150000039
和
Figure FDA00036545851500000310
参数用于控制梯度下降的收敛速度；Loss为损失函数；
Figure FDA00036545851500000311
为损失函数关于Ui的梯度，
Figure FDA00036545851500000312
为损失函数关于Sj的梯度；t+1表示迭代次数，直到收敛得到第t+1次的计算结果；
最后，待确定出最终的用户潜因子矩阵U和服务潜因子矩阵S后，基于矩阵分解MF方法得到用户对服务的第一QoS预测模型为
Figure FDA0003654585150000041
其中，
Figure FDA0003654585150000042
为用户对服务的第一QoS预测模型中用户i对服务j的QoS预测结果。
3.如权利要求1所述的混合概率分布检测的QoS预测模型的构建方法，其特征在于，所述步骤S3具体包括：
利用传统方法公式构建的用户相似度第一计算模型；
其次，采用MF分解后的低维度的用户潜因子矩阵构建的用户相似度第二计算模型，如下式(7)所示：
Figure FDA0003654585150000043
其中，Dim是用户潜因子矩阵U的特征维度；Uik和Ujk分别表示useri和userj在隐含维度k上的值；
然后，采用KL散度构建的基于概率分布的用户相似度第三计算模型，如下式(8)所示：
Figure FDA0003654585150000044
其中，pi(k)和qj(k)表示位于第k个区间内样本发生的概率；若useri和userj的分布越接近，则
Figure FDA0003654585150000045
也会越接近，使用户之间的概率分布相似度
Figure FDA0003654585150000046
会越接近于1；
接着，设置用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型的权重均相等且三者相加之和为1，利用用户相似度第一计算模型、用户相似度第二计算模型及用户相似度第三计算模型及其各自的权重，得到最终的用户相似度计算模型；
最后，根据最终的用户相似度计算模型，构建出用户对服务的第二QoS预测模型。
CN201910428747.XA 2019-05-22 2019-05-22 一种混合概率分布检测的QoS预测模型的构建方法 Active CN110232151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910428747.XA CN110232151B (zh) 2019-05-22 2019-05-22 一种混合概率分布检测的QoS预测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910428747.XA CN110232151B (zh) 2019-05-22 2019-05-22 一种混合概率分布检测的QoS预测模型的构建方法

Publications (2)

Publication Number Publication Date
CN110232151A CN110232151A (zh) 2019-09-13
CN110232151B true CN110232151B (zh) 2022-07-15

Family

ID=67860967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910428747.XA Active CN110232151B (zh) 2019-05-22 2019-05-22 一种混合概率分布检测的QoS预测模型的构建方法

Country Status (1)

Country Link
CN (1) CN110232151B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021100938B4 (de) 2021-01-18 2023-06-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Vorhersage von QoS-Daten für ein Funknetz
CN115277521B (zh) * 2022-06-06 2023-10-03 浙大城市学院 一种基于多视角的物联网服务QoS动态预测方法
CN114820085B (zh) * 2022-06-27 2022-09-02 北京瑞莱智慧科技有限公司 用户筛选方法、相关装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001373A1 (en) * 2008-06-30 2010-01-07 France Telecom Handover method and system
CN102306336A (zh) * 2011-06-10 2012-01-04 浙江大学 基于协同过滤和QoS感知的服务选择框架
CN103139310A (zh) * 2013-03-06 2013-06-05 杭州电子科技大学 一种基于混合协同过滤的Web服务QoS预测方法
CN107507073A (zh) * 2017-09-14 2017-12-22 中国人民解放军信息工程大学 基于信任扩展和列表级排序学习的服务推荐方法
CN107679415A (zh) * 2017-09-25 2018-02-09 深圳大学 隐私保护协同Web服务质量预测的基于模型的协同过滤方法
CN108563660A (zh) * 2017-12-29 2018-09-21 温州大学 服务推荐方法、系统及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001373A1 (en) * 2008-06-30 2010-01-07 France Telecom Handover method and system
CN102306336A (zh) * 2011-06-10 2012-01-04 浙江大学 基于协同过滤和QoS感知的服务选择框架
CN103139310A (zh) * 2013-03-06 2013-06-05 杭州电子科技大学 一种基于混合协同过滤的Web服务QoS预测方法
CN107507073A (zh) * 2017-09-14 2017-12-22 中国人民解放军信息工程大学 基于信任扩展和列表级排序学习的服务推荐方法
CN107679415A (zh) * 2017-09-25 2018-02-09 深圳大学 隐私保护协同Web服务质量预测的基于模型的协同过滤方法
CN108563660A (zh) * 2017-12-29 2018-09-21 温州大学 服务推荐方法、系统及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于因子分解机的质量感知Web服务推荐方法;唐明董等;《计算机学报》;20170828(第06期);全文 *
基于矩阵分解的Web服务个性化QoS预测方法研究;刘愉;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20151015;全文 *

Also Published As

Publication number Publication date
CN110232151A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN109460793B (zh) 一种节点分类的方法、模型训练的方法及装置
Tsymbalov et al. Dropout-based active learning for regression
CN114503121A (zh) 资源约束的神经网络架构搜索
CN110232151B (zh) 一种混合概率分布检测的QoS预测模型的构建方法
Jin et al. A time-aware dynamic service quality prediction approach for services
CN110659744A (zh) 训练事件预测模型、评估操作事件的方法及装置
CN114048331A (zh) 一种基于改进型kgat模型的知识图谱推荐方法及系统
Cao et al. An improved collaborative filtering recommendation algorithm based on community detection in social networks
CN114298851A (zh) 基于图表征学习的网络用户社交行为分析方法、装置及存储介质
Shi et al. Multi-objective neural architecture search via predictive network performance optimization
CN115114484A (zh) 异常事件检测方法、装置、计算机设备和存储介质
CN115062779A (zh) 基于动态知识图谱的事件预测方法及装置
Liu et al. Hessian regularization of deep neural networks: A novel approach based on stochastic estimators of Hessian trace
CN111144473B (zh) 训练集构建方法、装置、电子设备及计算机可读存储介质
KR102110316B1 (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
CN116094977A (zh) 基于时间感知面向特征优化的服务Qos预测的深度学习方法
CN115545168A (zh) 基于注意力机制和循环神经网络的动态QoS预测方法及系统
CN115048530A (zh) 融合邻居重要度和特征学习的图卷积推荐系统
CN111125541B (zh) 面向多用户的可持续多云服务组合的获取方法
CN114936890A (zh) 一种基于逆倾向加权方法的反事实公平的推荐方法
CN114692012A (zh) 一种基于Bert的神经协同过滤的电子政务推荐方法
CN111460318B (zh) 基于显性和隐性信任的协同过滤推荐方法
Chen et al. Community Detection Based on DeepWalk Model in Large‐Scale Networks
CN117274616B (zh) 一种多特征融合深度学习服务QoS预测系统及预测方法
Chanda et al. An improved web page recommendation system using partitioning and web usage mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant