CN112579914A - 基于自注意力因子分解机的时间感知服务推荐系统及方法 - Google Patents

基于自注意力因子分解机的时间感知服务推荐系统及方法 Download PDF

Info

Publication number
CN112579914A
CN112579914A CN202011640662.7A CN202011640662A CN112579914A CN 112579914 A CN112579914 A CN 112579914A CN 202011640662 A CN202011640662 A CN 202011640662A CN 112579914 A CN112579914 A CN 112579914A
Authority
CN
China
Prior art keywords
layer
service
hidden vector
user
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011640662.7A
Other languages
English (en)
Inventor
郭星
周姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202011640662.7A priority Critical patent/CN112579914A/zh
Publication of CN112579914A publication Critical patent/CN112579914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于自注意力因子分解机的时间感知服务推荐系统及方法，系统包括PFM模型，将从输入层输入的用户隐藏向量、服务隐藏向量以及时间隐藏向量输入到FM模块中处理，处理后的数据依次经过中间层的第一全连接层和第一激活函数输出到输出层；SAGRU模型，将从输入层输入的时间间隔t上的用户、服务集合的嵌入向量输入到GRU模块中处理，处理后的数据依次经过中间层的自注意力机制单元、第二全连接层，第二激活函数输出到输出层。相比较矩阵分解技术，本发明不仅可以有效学习用户以及服务间的非线性关系，还能捕获用户随着时间变化的动态行为特征，能有效减轻现实世界中服务质量数据稀疏的问题。

Description

基于自注意力因子分解机的时间感知服务推荐系统及方法
技术领域
本发明涉及推荐系统的技术领域，尤其涉及一种基于自注意力因子分解机的时间感知服务推荐系统及方法。
背景技术
在一系列功能相似的服务中向用户推荐符合用户需求的个性化服务，称之为服务推荐。传统的方法主要是利用协同过滤技术，可以分为基于内容的协同过滤算法以及基于模型的协同过滤算法。
基于内容的协同过滤算法主要是依据完整的数据来进行QoS值的预测。此类方法可根据内容的类别分为三种类型：基于用户相似性、基于项的相似性以及基于混合相似性的方法。Jin等已经提出了一种基于领域感知的深度学习方法来预测web服务的QoS值。首先，他使用皮埃尔相关系数来获取用户和服务的top-k邻域，然后通过多层感知器学习用户和服务之间的非线性关系，最终通过卷积神经网络来获取潜在特征。虽然这些方法能够提高服务推荐的性能，但却很难处理大量数据。
基于模型的协同过滤算法主要是从一个真实数据集中提取出一部分数据作为训练集来训练这个模型，然后利用这个模型来预测缺失的QoS值。如zhang等提出了一个Web服务的QoS预测模型利用不同用户过去使用Web服务的经验来进行预测。虽然能在某些方面提高推荐性能，但仍存在两个问题：第一是冷启动问题，当遇到新的用户和数据时，数据不能及时更新。第二个就是数据稀疏性问题。
发明内容
针对背景技术中的不足，为此，本发明提出了一种基于自注意力因子分解机的时间感知服务推荐系统及方法，具体方案如下：
基于自注意力因子分解机的时间感知服务推荐系统，包括
PFM模型，将从输入层输入的用户隐藏向量、服务隐藏向量以及时间隐藏向量输入到FM模块中处理，处理后的数据依次经过中间层的第一全连接层和第一激活函数输出到输出层；
SAGRU模型，将从输入层输入的时间间隔t上的用户、服务集合的嵌入向量输入到GRU模块中处理，处理后的数据依次经过中间层的自注意力机制单元、第二全连接层，第二激活函数输出到输出层。
具体地说，所述输出层包括三个维度调节模块，第一维度调节模块包括第三全连接层和第三激活函数，用于给PFM模型和SAGRU模型的输出量降维；第二维度调节模块包括第四全连接层和第四激活函数，用于保持下降后的维度；第三维度调节模块包括第五全连接层和第五激活函数，用于升维，将两个PFM模型和SAGRU模型输出总的QoS值。
具体地说，所述输入层对所有的输入数据进行独热码编码，再将其映射成用户隐藏向量、服务隐藏向量以及时间隐藏向量，用户隐藏向量、服务隐藏向量以及时间隐藏向量组成三维向量。
一种基于自注意力因子分解机的时间感知服务推荐方法，包括以下步骤：
S1、对所有的输入数据进行编码，并映射成三个固定的向量，分别为用户隐藏向量、服务隐藏向量以及时间隐藏向量，用户隐藏向量、服务隐藏向量以及时间隐藏向量组成三维向量，作为PFM模型中FM模块的输入；时间间隔t上关于用户隐藏向量和服务隐藏向量的嵌入向量X作为SAGRU模型中GRU模块的输入；
S2、FM模块的输出依次经过中间层的第一全连接层和第一激活函数输出到输出层，GRU模块的输出进入到自注意力机制单元、第二全连接层，第二激活函数输出到输出层；
S3、PFM模型的输出和SAGRU模型的输出通过第三全连接层和第三激活函数，使得输出量降维，然后经过第四全连接层和第四激活函数，使得输出量维度保持，最后经过第五全连接层和第五激活函数，使得输出量升维。
具体地说，步骤S2中，用户隐藏向量、服务隐藏向量以及时间隐藏向量经过FM模块的输出量对应为：
Figure BDA0002880768140000031
Figure BDA0002880768140000032
Figure BDA0002880768140000033
d代表这个隐藏向量的维度，Xu、Xs、Xt分别是用户、服务、时间的隐藏向量，fE代表嵌入层的激活函数，
Figure BDA0002880768140000034
分别是用户、服务和时间隐藏向量的权重。
具体地说，步骤S1中，GRU模块的输入具体的计算公式为：
Figure BDA0002880768140000035
Figure BDA0002880768140000036
其中
Figure BDA0002880768140000037
和
Figure BDA0002880768140000038
表示原始的三维向量中的用户隐藏向量、服务隐藏向量，
Figure BDA0002880768140000039
为结合函数，
Figure BDA00028807681400000310
表示t时刻的隐藏向量。
具体地说，步骤S1中，将原始的三维向量分为独立的正方块，长、宽、高分别代表一个用户、一个服务、一个时间片，每个正方块的表面代表一个不同时刻的用户对服务的QoS值。
本发明的有益效果在于：
(1)本发明引入自注意力机制单元，主要是利用用户和服务的协同注意力，为不同时刻的QoS值加权，提取用户与服务之间的相似关系，以提高对缺失QoS值预测的效果。同时引入因子分解机，解决数据稀疏情况下多个特征之间的交互关系，与自注意力机制单元相结合达到更好的预测效果。
(2)相比较传统的矩阵分解技术，本发明额外添加了时间信息的因子分解机，旨在捕获随时间变化的用户和服务之间的复杂交互关系，结合了SAGRU模型来考虑用户和服务之间的长期依赖关系，并预测QoS值，不仅可以捕获用户随着时间变化的动态行为，而且有效减轻现实世界中服务质量数据稀疏的问题。
附图说明
图1为本发明提出的一种基于自注意力因子分解机的时间感知服务推荐系统图。
图中：
1、输入层；2、中间层；21、PFM模型；22、SAGRU模型；3、输出层。
具体实施方式
参照图1，本发明提出一种基于自注意力因子分解机的时间感知服务推荐系统，包括
PFM模型21，将从输入层1输入的用户隐藏向量、服务隐藏向量以及时间隐藏向量输入到FM模块中处理，处理后的数据依次经过中间层2的第一全连接层和第一激活函数输出到输出层3；
SAGRU模型22，将从输入层1输入的时间间隔t上的用户、服务集合的嵌入向量输入到GRU模块中处理，处理后的数据依次经过中间层2的自注意力机制单元、第二全连接层，第二激活函数输出到输出层3。
所述输入层1对所有的输入数据进行独热码编码，再将其映射成用户隐藏向量、服务隐藏向量以及时间隐藏向量，用户隐藏向量、服务隐藏向量以及时间隐藏向量组成三维向量。
所述输出层3包括
第三全连接层和第三激活函数，用于给PFM模型21和SAGRU模型22的输出量降维；
第四全连接层和第四激活函数，用于保持下降后的维度；
第五全连接层和第五激活函数，用于升维，将两个PFM模型21和SAGRU模型22输出总的QoS值。
一种基于自注意力因子分解机的时间感知服务推荐方法，包括以下步骤：
S1、在输入层1中，将原始的三维向量分为独立的正方块，长、宽、高分别代表一个用户、一个服务以及一个时间片。每一个正方块的表面都代表一个不同时刻的用户对服务的QoS值。首先，对所有的输入数据进行独热码编码，再将其映射成三个固定的向量，分别为用户隐藏向量、服务隐藏向量以及时间隐藏向量。
S2、SAGRU把在时间间隔t上的用户和服务的隐藏向量连接起来作为输入。具体的计算公式如下：
Figure BDA0002880768140000051
Figure BDA0002880768140000052
其中
Figure BDA0002880768140000053
和
Figure BDA0002880768140000054
表示原始的三维向量中的用户隐藏向量、服务隐藏向量，
Figure BDA0002880768140000055
为结合函数，
Figure BDA0002880768140000056
表示t时刻的隐藏向量；
GRU模块的输出进入到自注意力机制单元、第二全连接层，第二激活函数输出到输出层3。
FM模块的输出依次经过中间层2的第一全连接层和第一激活函数输出到输出层3，用户隐藏向量、服务隐藏向量以及时间隐藏向量经过FM模块后，输出分别为：
Figure BDA0002880768140000061
Figure BDA0002880768140000062
Figure BDA0002880768140000063
d代表隐藏向量的维度，Xu、Xs、Xt分别是用户、服务、时间的隐藏向量，fE代表嵌入层的激活函数，
Figure BDA0002880768140000064
分别是用户、服务和时间隐藏向量的权重。此嵌入层能从低维度的稀疏数据中提取到有效特征。
S3、PFM模型21的输出和SAGRU模型的输出通过第三全连接层和第三激活函数，使得输出量降维，将两模型的输入向量维度降为1/2，即变为1024维。然后经过第四全连接层和第四激活函数，使得输出量维度保持，最后经过第五全连接层和第五激活函数，使得输出量升维，将维度升为2048维。输出层3并不只是将SAGRU模型22和PFM模型21的输出结果直接相连，而是采用由第三全连接层、第四全连接层、第五全连接层组成的类似瓶颈结构的设计。达到压缩编码信息以及抑制噪声的作用。此方法的好处是它具有更多的非线性，可以更好地学习复杂特征之间的相关性；而且大大减少了参数用量和计算。
所述SAGRU模型22部分考虑到序列数据在不同时刻对当前的隐藏状态有不同的影响，数据越靠前，影响越小。具体表现是历史状态到当前状态的权重，时间越久，权重越小。所以在GRU的输出层3后面，本发明申请添加了一层自注意力机制单元，自注意力机制单元是注意力机制的一种改善机制，可减少对外部信息的依赖，并更好地捕获数据或特征的内部相关性。与现有的GRU相比，主要有以下三个优点：
1)可以在用户访问服务时很好地捕捉到不同时刻不同影响因素的权重因素；
2)可以直接通过计算步骤将用户和服务连接起来，以缩短长期依赖特征之间的距离。
3)可以提高计算的并行度。从宏观角度来看，自我关注机制通过一个注意力网络会在用户访问服务的不同时刻产生不同的权重，然后加权求和。
PFM模型21部分：原始的因子分解机模型是一个基于矩阵的深度学习算法。为了适应服务推荐的场景，本申请在现有的FM模型的基础上加了一层全连接层，能很好的学习稀疏数据间的特征，更好的处理非线性特征交互。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于自注意力因子分解机的时间感知服务推荐系统，其特征在于，包括
PFM模型(21)，将从输入层(1)输入的用户隐藏向量、服务隐藏向量以及时间隐藏向量输入到FM模块中处理，处理后的数据依次经过中间层(2)的第一全连接层和第一激活函数输出到输出层(3)；
SAGRU模型(22)，将从输入层(1)输入的时间间隔t上的用户、服务集合的嵌入向量输入到GRU模块中处理，处理后的数据依次经过中间层(2)的自注意力机制单元、第二全连接层，第二激活函数输出到输出层(3)。
2.根据权利要求1所述的基于自注意力因子分解机的时间感知服务推荐系统，其特征在于，所述输出层(3)包括三个维度调节模块，第一维度调节模块包括第三全连接层和第三激活函数，用于给PFM模型(21)和SAGRU模型(22)的输出量降维；第二维度调节模块包括第四全连接层和第四激活函数，用于保持下降后的维度；第三维度调节模块包括第五全连接层和第五激活函数，用于升维，将两个PFM模型(21)和SAGRU模型(22)输出总的QoS值。
3.根据权利要求1所述的基于自注意力因子分解机的时间感知服务推荐系统，其特征在于，所述输入层(1)对所有的输入数据进行独热码编码，再将其映射成用户隐藏向量、服务隐藏向量以及时间隐藏向量，用户隐藏向量、服务隐藏向量以及时间隐藏向量组成三维向量。
4.一种基于自注意力因子分解机的时间感知服务推荐方法，其特征在于，包括以下步骤：
S1、对所有的输入数据进行编码，并映射成三个固定的向量，分别为用户隐藏向量、服务隐藏向量以及时间隐藏向量，用户隐藏向量、服务隐藏向量以及时间隐藏向量组成三维向量，作为PFM模型(21)中FM模块的输入；时间间隔t上关于用户隐藏向量和服务隐藏向量的嵌入向量X作为SAGRU模型(22)中GRU模块的输入；
S2、FM模块的输出依次经过中间层(2)的第一全连接层和第一激活函数输出到输出层(3)，GRU模块的输出进入到自注意力机制单元、第二全连接层，第二激活函数输出到输出层(3)；
S3、PFM模型(21)的输出和SAGRU模型的输出通过第三全连接层和第三激活函数，使得输出量降维，然后经过第四全连接层和第四激活函数，使得输出量维度保持，最后经过第五全连接层和第五激活函数，使得输出量升维。
5.根据权利要求4所述的方法，其特征在于，步骤S2中，用户隐藏向量、服务隐藏向量以及时间隐藏向量经过FM模块的输出量对应为：
Figure FDA0002880768130000021
Figure FDA0002880768130000022
Figure FDA0002880768130000023
d代表这个隐藏向量的维度，Xu、Xs、Xt分别是用户、服务、时间的隐藏向量，fE代表嵌入层的激活函数，
Figure FDA0002880768130000024
分别是用户、服务和时间隐藏向量的权重。
6.根据权利要求4所述的方法，其特征在于，步骤S1中，GRU模块的输入具体的计算公式为：
Figure FDA0002880768130000025
Figure FDA0002880768130000026
其中
Figure FDA0002880768130000027
和
Figure FDA0002880768130000028
表示原始的三维向量中的用户隐藏向量、服务隐藏向量，
Figure FDA0002880768130000029
为结合函数，
Figure FDA00028807681300000210
表示t时刻的隐藏向量。
7.根据权利要求4所述的方法，其特征在于，步骤S1中，将原始的三维向量分为独立的正方块，长、宽、高分别代表一个用户、一个服务、一个时间片，每个正方块的表面代表一个不同时刻的用户对服务的QoS值。
CN202011640662.7A 2020-12-31 2020-12-31 基于自注意力因子分解机的时间感知服务推荐系统及方法 Pending CN112579914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640662.7A CN112579914A (zh) 2020-12-31 2020-12-31 基于自注意力因子分解机的时间感知服务推荐系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640662.7A CN112579914A (zh) 2020-12-31 2020-12-31 基于自注意力因子分解机的时间感知服务推荐系统及方法

Publications (1)

Publication Number Publication Date
CN112579914A true CN112579914A (zh) 2021-03-30

Family

ID=75144472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640662.7A Pending CN112579914A (zh) 2020-12-31 2020-12-31 基于自注意力因子分解机的时间感知服务推荐系统及方法

Country Status (1)

Country Link
CN (1) CN112579914A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536145A (zh) * 2021-07-05 2021-10-22 安徽大学 一种基于空间感知的transformer协同过滤方法
CN113949646A (zh) * 2021-10-15 2022-01-18 安徽大学 一种基于深度学习的Web服务QoS预测方法
CN114528434A (zh) * 2022-01-19 2022-05-24 华南理工大学 一种基于自注意力机制的iptv直播频道融合推荐方法
CN114820038A (zh) * 2022-03-31 2022-07-29 中国农业银行股份有限公司 一种用户流失预测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359140A (zh) * 2018-11-30 2019-02-19 苏州大学 一种基于自适应注意力的序列推荐方法及装置
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN111914895A (zh) * 2020-06-29 2020-11-10 河海大学 基于多层注意力机制并融合图谱的水利门户信息推荐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359140A (zh) * 2018-11-30 2019-02-19 苏州大学 一种基于自适应注意力的序列推荐方法及装置
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN111914895A (zh) * 2020-06-29 2020-11-10 河海大学 基于多层注意力机制并融合图谱的水利门户信息推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAO ZHOU， XING GUO ET AL.: ""Recurrent Factorization Machine with Self-Attention for Time-aware Service Recommendation"", 《IEEE 2020 6TH INTERNATIONAL CONFERENCE ON BIG DATA COMPUTING AND COMMUNICATIONS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536145A (zh) * 2021-07-05 2021-10-22 安徽大学 一种基于空间感知的transformer协同过滤方法
CN113949646A (zh) * 2021-10-15 2022-01-18 安徽大学 一种基于深度学习的Web服务QoS预测方法
CN113949646B (zh) * 2021-10-15 2023-06-13 安徽大学 一种基于深度学习的Web服务QoS预测方法
CN114528434A (zh) * 2022-01-19 2022-05-24 华南理工大学 一种基于自注意力机制的iptv直播频道融合推荐方法
CN114820038A (zh) * 2022-03-31 2022-07-29 中国农业银行股份有限公司 一种用户流失预测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112579914A (zh) 基于自注意力因子分解机的时间感知服务推荐系统及方法
CN110119703B (zh) 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
CN110517329A (zh) 一种基于语义分析的深度学习图像压缩方法
CN113554599B (zh) 一种基于人类视觉效应的视频质量评价方法
CN111178319A (zh) 基于压缩奖惩机制的视频行为识别方法
CN109255369A (zh) 利用神经网络识别图片的方法及装置、介质和计算设备
CN111597929A (zh) 基于通道信息融合和组群关系空间结构化建模的组群行为识别方法
CN113128360A (zh) 基于深度学习的司机驾驶行为检测与识别方法
CN116935170B (zh) 视频处理模型的处理方法、装置、计算机设备和存储介质
CN116403063A (zh) 基于多区域特征融合的无参考屏幕内容图像质量评估方法
CN113076549A (zh) 一种基于新型U-Net结构生成器的对抗网络图像隐写方法
CN115830575A (zh) 一种基于Transformer与跨维度注意力的交通标志检测方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN114625924A (zh) 一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统
CN110458206A (zh) 一种基于深度学习的注意行为模型
CN117238019A (zh) 基于时空相对变换的视频人脸表情类别识别方法和系统
CN111127386B (zh) 一种基于深度学习的图像质量评价方法
CN116524710A (zh) 基于图注意力机制和双向门控循环单元交通流预测方法
CN116453025A (zh) 一种缺帧环境下融合时空信息的排球比赛群体行为识别方法
CN112396099B (zh) 一种基于深度学习和信息融合的点击率预估方法
CN115511858A (zh) 一种基于新型时序特征关系映射的视频质量评价方法
CN115170985A (zh) 一种基于阈值注意力的遥感图像语义分割网络及分割方法
CN115270917A (zh) 一种两阶段处理多模态服装图像生成方法
CN114626607A (zh) 一种基于时空图小波卷积神经网络的交通流预测方法
CN114119997A (zh) 图像特征提取模型的训练方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210330

WD01 Invention patent application deemed withdrawn after publication