CN112035745A - 一种基于对抗学习与双向长短期记忆网络的推荐算法 - Google Patents

一种基于对抗学习与双向长短期记忆网络的推荐算法 Download PDF

Info

Publication number
CN112035745A
CN112035745A CN202010903794.8A CN202010903794A CN112035745A CN 112035745 A CN112035745 A CN 112035745A CN 202010903794 A CN202010903794 A CN 202010903794A CN 112035745 A CN112035745 A CN 112035745A
Authority
CN
China
Prior art keywords
node
path
vector
user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010903794.8A
Other languages
English (en)
Inventor
高旻
张峻伟
余俊良
王宗威
熊庆宇
赵泉午
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010903794.8A priority Critical patent/CN112035745A/zh
Publication of CN112035745A publication Critical patent/CN112035745A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于对抗学习与双向长短期记忆网络的推荐算法，其包括以下步骤：第一步、预先定义符号A1)异构信息网络定义；A2)异构信息网络中的路径定义；A3)在异构信息网络G中，定义用户u到物品i的节点连接序列作为路径，定义为p＝[v1,v2,…,vl],p∈P；第二步、建模如下：S1、建模嵌入层，用初始化节点向量表示；S2、构建序列建模层，将第S1步骤中初始化得到的向量表示作为输入，并应用到现有的利用基于注意力机制的双向LSTM模型中来优化节点的向量表示并学习模型中系数矩阵和偏移向量；S3、设置预测层、最终计算概率；S4、构建对抗学习模型。本发明通过学习对抗性正则化项，加入到损失函数中，优化模型，缓解异构网络中节点关系噪声的问题，提高节点嵌入的鲁棒性，保证推荐的准确度。

Description

一种基于对抗学习与双向长短期记忆网络的推荐算法
技术领域
本发明涉及异构网络推荐的技术领域，特别涉及一种基于对抗学习与双向长短期记忆网络的推荐算法。
背景技术
网络可以将我们的生活中各种各样的数据组织在一起，如社交网络、生物网络、交通网络等等。而现实世界中的对象和交互往往是多模态和多类型的。为了捕捉和利用这种节点和链路异质性，异构网络被提出并被广泛应用于许多实际网络挖掘场景中，尤其是在推荐系统中。基于异构网络的推荐模型，由于其包含了多种类型的节点和连边，而受到研究人员的广泛关注。这类模型不仅可以缓解推荐系统中的数据稀疏问题，提高推荐系统的准确性。同时，由于能直观地理解实体之间的关系，更提高了推荐模型的可解释性。以图1为例，用户Tony连接到歌曲In in city，是因为他喜欢同一支乐队Eagles演奏的CaliforniaHotel，这些连接一方面为算法设计者提供了检测模型的新方法，提高了推荐模型的透明度；另一方面，将这些连接展示给用户可以提高用户对平台的粘合度。
现有模型的限制：关于异构图在个性化推荐中的潜力探究，更多的工作是基于异构信息网络嵌入并可以将这些模型分为两类：基于节点相似度嵌入的模型和基于路径相似度的模型。第一类研究的基本思想是使异构图在正则化向量空间中对齐，通过计算节点之间的表示距离来揭示节点之间的相似性。如TransE和node2vec模型。然而，单纯利用节点相似度对异构网络嵌入的方法缺乏发现多跳关系路径的能力。而基于路径相似度嵌入的推荐模型主要是通过设计元路径整合网络中的异构节点和连边，并计算路径之间的相似度，学习节点的低维表示向量。例如：meta2vec。但基于元路径的工作往往需要对该领域的相关知识有着深入地理解，且设计的元路径往往无法涵盖真实世界的所有情况。总的来说，上述基于网络嵌入的模型固定了网络中节点的序列关系，限制了异构网络在可解释性推荐方面的强大能力。
随后，有研究人员提出利用异构网络路径对推荐模型进行推理的思路。不同于基于HIN嵌入的模型，基于HIN的推理模型采用随机游走的方式获取路径序列，借鉴序列建模的思路，推理节点之间的关系。通过预测路径中的下一个节点学习节点的低维向量。其中包括使用基于马尔可夫链的方法，基于循环神经网络的模型和基于注意力机制的模型。尽管上述方法在推荐性能上取得了一定的提高，但他们仍有很大的限制：即HIN中的同一个节点或连边可能存在不同的语义，现有模型多采用从左向右的单向模型对异构网络的路径序列建模，导致无法模拟节点之间的复杂关系。以图1音乐推荐为例，如果采用单向序列建模，由于其没有考虑后续的节点，节点Live new York的表示向量在路径p1和p2中相同。而从前后双向序列学习该节点向量，则在不同路径中，该节点表示可能会不同。导致上述这些限制的原因在于：1)路径上的前序节点和后续节点都可能对节点表示存在影响。2)同一路径中节点之间互相影响，不同节点的重要程度不同。因此，如何把这些都体现在基于异构网络的建模中以及如何学习实体之间的复杂关系成为需要我们深入挖掘及思考的关键。因此，如何把这些都体现在基于异构网络的建模中以及如何学习实体之间的复杂关系成为需要我们深入挖掘及思考的关键。
我们认为，从两个方向对路径中上下文节点的关系建模并计算，同时考虑不同节点的重要性可以缓解上述问题。受到基于注意力机制的双向长短期记忆网络(Att-BLSTM)模型的启发，我们提出了一种基于对抗学习与双向长短期记忆网络的推荐算法，称为ABLAH。
发明内容
针对现有技术存在的上述问题，本发明要解决的第一个技术问题是：我们将用户和物品之间的交互信息以及其他辅助信息(如：歌曲的演唱者、歌曲所属的专辑、用户的朋友)等作为节点构建异构信息网络，以用户为初始节点采用随机游走的方式构建路径。然后，我们将路径中的前后节点看作上下文信息，将路径作为输入，采用自注意力双向循环网络对异构信息网络中路径的实体关系进行建模。相对比单向学习路径的序列信息，采用双向循环网络更适合对序列中节点的复杂关系建模，此外，考虑每个节点在路径中的权重可以提高模型的性能。
然而，双向循环网络模型并不能直接应用到路径序列建模。因为用户在浏览商品时，往往存在随意点击或误点击的行为，导致异构网络中实体之间的关系存在噪声，学习到的节点表示向量并不准确。而面向推荐系统的异构网络中用户与物品的交互信息稀疏且庞大，网络模型结构复杂、节点类型繁多，单纯地采用生成对抗网络的思路，即通过学习网络中节点分布产生虚假节点会导致其质量不高，判别器的判断能力有限，很难有效地识别网络中的噪声。
为此，我们通过添加对抗性正则化项来缓解噪声的干扰。具体来说，将最终的损失函数设计为一个最大最小的对抗损失函数，通过最小化原有损失函数学习对抗性扰动，并将其作为对抗性正则化项加入到我们在学习到的嵌入表示上。这样，我们可以避免重复训练Att-BiLSTM模型而带来的时间复杂度高的问题。通过在多个实际数据集中的广泛实验证明了我们方法的有效性，为推荐模型的可解释性提供了一个新思路。对比最新的推荐模型，该模型能够学习到鲁棒性更好的嵌入。总结起来，设计了如下一种基于对抗学习与双向长短期记忆网络的推荐算法，具体包括以下步骤：
具体包括以下步骤：
第一步、预先定义符号
A1)异构信息网络定义：用符号G＝(V,E)表示异构信息网络，其中，V为节点集合，E为边的集合；
A2)异构信息网络中的路径定义：异构网络中每一个节点v与每一条边e都存在一个映射关系
Figure BDA0002660684370000031
其中TV和TE分别为节点类型集合与连边类型集合，TV≥2或TE≥2，U表示用户集合，u∈U，表示第u个用户，一共有m个用户，I表示物品集合，i∈I表示第i个物品，一共有n个物品；
A3)在异构信息网络G中，定义用户u到物品i的节点连接序列作为路径，定义为p＝[v1,v2,…,vl],p∈P，其中l为路径中包含的最多节点数目，P为所有路径的集合；并选取每个用户u到物品i的路径中的K条，k表示其中的第k条路径同时定义路径中的第一个节点为用户节点u，最后一个节点为目标物品节点i，并采用随机游走的方式从异构网络中抽取每个用户的K条路径；
第二步、建模
S1、建模嵌入层，用初始化节点向量表示；
S1-1、给定一条用户u到物品i之间的第k条路径，pk∈P，我们将节点类型和节点的具体映射到两个向量中，el∈Rd和e′l∈Rd，d作为这两个向量的维度；
S1-2、对于每一个节点，将节点类型向量el和节点具体值向量e′l相加，根据公式(1)得到节点新的初始化向量；
hl＝el+e′l (1)；
S1-3、随机初始化LSTM中系数矩阵、偏移向量和状态向量；
S1-4、然后将
Figure BDA0002660684370000032
作为前向LSTM模型信息转换、输入门、遗忘门和输出门的映射系数矩阵，
Figure BDA0002660684370000033
和
Figure BDA0002660684370000034
分别代表各自的前向偏移向量，
Figure BDA0002660684370000035
为前向LSTM隐藏状态向量的系数矩阵；
Figure BDA0002660684370000036
分别代表后向LSTM模型信息转换、输入门、遗忘门和输出门的映射系数矩阵，Wh为后向LSTM隐藏状态向量的系数矩阵，
Figure BDA0002660684370000037
和
Figure BDA0002660684370000038
分别代表各自的后向偏移向量，随机初始化
Figure BDA0002660684370000039
作为路径中第l个节点的隐藏状态向量表示，随机初始化细胞状态向量
Figure BDA00026606843700000310
S2、构建序列建模层，将第S1-2步骤中初始化得到的向量表示hl作为输入，并应用到现有的利用Att-BiLSTM模型中来优化节点的向量表示并学习模型中系数矩阵和偏移向量；
S3、设置预测层、根据公式(8)计算概率；
根据第三步序列建模可以得到异构信息网络中每个用户与物品之间的路径序列表示，采用全连接层转换序列表示，根据公式(8)计算得到：
Figure BDA0002660684370000041
其中，
Figure BDA0002660684370000042
和
Figure BDA0002660684370000043
为两个系数矩阵的转置矩阵；
由于用户与物品之间有多条路径，采用平均的方法计算用户与物品之间路径的最终表示向量sk，根据公式(9)计算得到：
Figure BDA0002660684370000044
计算每条路径用户对物品交互的概率
Figure BDA0002660684370000045
根据公式(10)计算得到：
Figure BDA0002660684370000046
将推荐学习任务视为二进制分类问题，其中观察到的用户项交互被认定为1，否则为0，通过损失函数公式(11)计算模型中的参数：
L＝-logp(y|sk；θ) (11)；
S4、构建对抗学习模型
S4-1)由公式(9)计算得到用户与物品之间路径的最终表示向量sk，根据公式(12)计算对抗性正则化项Δk；
Δk＝-∈g/‖g‖2
Figure BDA0002660684370000047
其中，∈为超参数，控制Δk的大小，
Figure BDA0002660684370000048
表示对sk求偏导，
Figure BDA0002660684370000049
统称为模型中参数；
S4-2)将对抗正则化项添加到原有节点的向量表示上，最终根据公式(13)最小化损失函数学习到对抗性正则化项，最终根据公式(12)的定义目标函数,通过目标函数学习模型中的参数具体数值：
L＝-logp(y|dk+Δk；θ) (13)。
作为优选，步骤S2的具体步骤如下：
1)令u＝1；
2)遍历所有与用户u有联系的物品i，并以此在异构信息网络中随机游走，抽取K条路径；
3)令k＝1；
4)令路径中节点下标l＝1，令目标物品i为路径p中的最后一个节点，由(1)式得到节点的初始表示为hl并将其作为输入，隐藏状态
Figure BDA0002660684370000051
及其细胞状态向量c，如公式(2)优化节点初始向量，并得到前向LSTM隐藏状态向量
Figure BDA0002660684370000052
Figure BDA0002660684370000053
Figure BDA0002660684370000054
Figure BDA0002660684370000055
Figure BDA0002660684370000056
Figure BDA0002660684370000057
Figure BDA0002660684370000058
其中，z∈Rd表示信息转换向量，il∈Rd，ol∈Rd和fl∈Rd分别表示输入、输出和遗忘门向量；σ(·)是激活函数sigmoid，tanh(·)是激活函数，*表示两个向量的元素相乘；
Figure BDA0002660684370000059
Figure BDA00026606843700000510
5)令l＝l+1；
6)如果l<L，则返回步骤3)，否则执行下一步；
7)令j＝l；
8)同时，采用反向LSTM模型计算每一个节点的隐藏状态h′，类似于步骤4)中，只是将节点的输入顺序进行调换，根据公式(5)计算反向LSTM模型隐藏状态向量
Figure BDA00026606843700000511
Figure BDA00026606843700000512
Figure BDA00026606843700000513
Figure BDA00026606843700000514
Figure BDA00026606843700000515
Figure BDA00026606843700000516
Figure BDA00026606843700000517
9)令j＝j-1；
10)如果j≤l，则返回步骤8)，否则执行下一步；
11)用户u的在第k条路径中的节点前向
Figure BDA0002660684370000061
和反向隐藏状态向量
Figure BDA0002660684370000062
由上式计算得到了，将前向和反向的隐藏状态向量拼接得到顶点的最终向量，如公式(6)；
Figure BDA0002660684370000063
12)令k＝k+1；
13)如果k≤K，则返回步骤4)，否则执行下一步；
14)学习完与用户u有关的节点向量；
15)在得到一条路径中所有节点的表示向量后，为了突出不同节点在同一条路径中的不同的重要性，采用注意力机制形成用户u所有路径的表示向量Ru，根据公式(7)计算路径的表示向量Ru：
M＝tanh(Hu)
αu＝softmax(WuM)
Ru＝Huαu T (7)；
16)其中，Hu为用户u的K条路径中所有节点向量表示矩阵，αu为注意力矩阵，Wu为系数矩阵。
17)令u＝u+1；
18)如果u≤m，则返回步骤2)，否则结束循环。
作为优选，在步骤A1中如果两个节点之间存在关系即就有连边。
本发明公开的一种基于对抗学习与双向长短期记忆网络的推荐算法，具有如下优点：
(1)我们利用基于注意力机制的双向长短期记忆网络(Att-BiLSTM)对异构网络路径中的上下文节点进行双向建模，对节点序列进行了深入的算法，实现将双向序列建模引入到异构网络路径序列算法，路径序列建模过程中得到的路径权重可以更好地解释推荐结果；
(2)该算法是第一个将对抗性正则化项应用到异构网络嵌入技术中的算法，以此来缓解异构网络中节点关系存在噪声的问题，实现能够向用户可解释性的推荐物品，能够有效对于路径序列中可能存在的噪声信息(即干扰)进行处理，然后利用对抗性正则化项来提高节点嵌入的鲁棒性，即最终保证数据的准确度。
附图说明
图1为异构网络连接示意图。
图2为基于对抗学习与双向长短期记忆网络的推荐算法示意图。
图3为节点嵌入维度d对模型的影响图示；
图4为不同参数对三个数据集在HR@10上的影响图示；
图5为user1在Xiami数据集中的三条路径实例的图示。
具体实施方式
下面对本发明作进一步详细说明。
实施例1：
参见图1、图2，本实施例公开一种基于对抗学习与双向长短期记忆网络的推荐算法，
具体包括以下步骤：
第一步、预先定义符号
A1)异构信息网络定义：用符号G＝(V,E)表示异构信息网络，其中，V为节点集合，E为边的集合；
A2)异构信息网络中的路径定义：异构网络中每一个节点v与每一条边e都存在一个映射关系
Figure BDA0002660684370000071
其中TV和TE分别为节点类型集合与连边类型集合，TV≥2或TE≥2，U表示用户集合，u∈U，表示第u个用户，一共有m个用户，I表示物品集合，i∈I表示第i个物品，一共有n个物品；
A3)在异构信息网络G中，定义用户u到物品i的节点连接序列作为路径，定义为p＝[v1,v2,…,vl],p∈P，其中l为路径中包含的最多节点数目，P为所有路径的集合；并选取每个用户u到物品i的路径中的K条，k表示其中的第k条路径同时定义路径中的第一个节点为用户节点u，最后一个节点为目标物品节点i，并采用随机游走的方式从异构网络中抽取每个用户的K条路径；
第二步、建模
S1、建模嵌入层，用初始化节点向量表示
S1-1、给定一条用户u到物品i之间的第k条路径，pk∈P，我们将节点类型和节点的具体映射到两个向量中，el∈Rd和e′l∈Rd，d作为这两个向量的维度；
S1-2、对于每一个节点，将节点类型向量el和节点具体值向量e′l相加，根据公式(1)得到节点新的初始化向量；
hl＝el+e′l (1)；
S1-3、随机初始化LSTM中系数矩阵、偏移向量和状态向量；
S1-4、然后将
Figure BDA0002660684370000072
作为前向LSTM模型信息转换、输入门、遗忘门和输出门的映射系数矩阵，
Figure BDA0002660684370000081
和
Figure BDA0002660684370000082
分别代表各自的前向偏移向量，
Figure BDA0002660684370000083
为前向LSTM隐藏状态向量的系数矩阵；
Figure BDA0002660684370000084
分别代表后向LSTM模型信息转换、输入门、遗忘门和输出门的映射系数矩阵，Wh为后向LSTM隐藏状态向量的系数矩阵，
Figure BDA0002660684370000085
和
Figure BDA0002660684370000086
分别代表各自的后向偏移向量，随机初始化
Figure BDA0002660684370000087
作为路径中第l个节点的隐藏状态向量表示，随机初始化细胞状态向量
Figure BDA0002660684370000088
S2、构建序列建模层，将第S1步骤中初始化得到的向量表示hl作为输入，并应用到现有的利用Att-BiLSTM模型中来优化节点的向量表示并学习模型中系数矩阵和偏移向量；
S3、设置预测层、根据公式(8)计算概率；
根据第三步序列建模可以得到异构信息网络中每个用户与物品之间的路径序列表示，采用全连接层转换序列表示，根据公式(8)计算得到：
Figure BDA0002660684370000089
其中，
Figure BDA00026606843700000810
和
Figure BDA00026606843700000811
为两个系数矩阵的转置矩阵；
由于用户与物品之间有多条路径，采用平均的方法计算用户与物品之间路径的最终表示向量sk，根据公式(9)计算得到：
Figure BDA00026606843700000812
计算每条路径用户对物品交互的概率
Figure BDA00026606843700000813
根据公式(10)计算得到：
Figure BDA00026606843700000814
将推荐学习任务视为二进制分类问题，其中观察到的用户项交互被认定为1，否则为0，通过损失函数公式(11)计算模型中的参数：
L＝-logp(y|sk；θ) (11)；
S4、构建对抗学习模型
S4-1)由公式(9)计算得到用户与物品之间路径的最终表示向量sk，根据公式(12)计算对抗性正则化项Δk；
Δk＝-∈g/‖g‖2
Figure BDA00026606843700000815
其中，∈为超参数，控制Δk的大小，
Figure BDA00026606843700000816
表示对sk求偏导，
Figure BDA00026606843700000817
统称为模型中参数；
S4-2)将对抗正则化项添加到原有节点的向量表示上，最终根据公式(13)最小化损失函数学习到对抗性正则化项，最终根据公式(12)的定义目标函数获得们定义目标的过程：
L＝-logp(y|dk+Δk；θ) (13)。
作为优选，步骤S2的具体步骤如下：
步骤S2的具体步骤如下：
1)令u＝1；
2)遍历所有与用户u有联系的物品i，并以此在异构信息网络中随机游走，抽取K条路径；
3)令k＝1；
4)令路径中节点下标l＝1，令目标物品i为路径p中的最后一个节点，由(1)式得到节点的初始表示为hl并将其作为输入，隐藏状态
Figure BDA0002660684370000091
及其细胞状态向量c，如公式(2)优化节点初始向量，并得到前向LSTM隐藏状态向量
Figure BDA0002660684370000092
Figure BDA0002660684370000093
Figure BDA0002660684370000094
Figure BDA0002660684370000095
Figure BDA0002660684370000096
Figure BDA0002660684370000097
Figure BDA0002660684370000098
其中，z∈Rd表示信息转换向量，il∈Rd，ol∈Rd和fl∈Rd分别表示输入、输出和遗忘门向量；σ(·)是激活函数sigmoid，tanh(·)是激活函数，*表示两个向量的元素相乘；
Figure BDA0002660684370000099
Figure BDA00026606843700000910
5)令l＝l+1；
6)如果l<L，则返回步骤3)，否则执行下一步；
7)令j＝l；
8)同时，采用反向LSTM模型计算每一个节点的隐藏状态h′，类似于步骤4)中，只是将节点的输入顺序进行调换，根据公式(5)计算反向LSTM模型隐藏状态向量
Figure BDA00026606843700000911
Figure BDA00026606843700000912
Figure BDA00026606843700000913
Figure BDA00026606843700000914
Figure BDA0002660684370000101
Figure BDA0002660684370000102
Figure BDA0002660684370000103
9)令j＝j-1；
10)如果j≤l，则返回步骤8)，否则执行下一步；
11)用户u的路径k中的节点前向
Figure BDA0002660684370000104
和反向隐藏状态向量
Figure BDA0002660684370000105
由上式计算得到了，将前向和反向的隐藏状态向量拼接得到顶点的最终向量，如公式(6)；
Figure BDA0002660684370000106
12)令k＝k+1；
13)如果k≤K，则返回步骤4)，否则执行下一步；
14)学习完与用户u有关的节点向量；
15)在得到一条路径中所有节点的表示向量后，为了突出不同节点在同一条路径中的不同的重要性，采用注意力机制形成用户u所有路径的表示向量Ru，根据公式(7)计算路径的表示向量Ru：
M＝tanh(Hu)
αu＝softmax(WuM)
Ru＝Huαu T (7)；
16)其中，Hu为用户u的K条路径中所有节点向量表示矩阵，αu为注意力矩阵，Wu为系数矩阵。
17)令u＝u+1；
18)如果u≤m，则返回步骤2)，否则结束循环。
作为优选，在步骤A1中如果两个节点之间存在关系即就有连边，如用户听过一首歌曲，或歌曲是由一名艺人歌唱的，则用户与歌曲，歌曲与艺人之间都存在连边；
上述算法的具体说明：我们首先对异构信息网络中的符号进行了定义并对异构信息网络中的可解释任务形式化，异构信息网络作为一种特殊的信息网络，包含了多种类型节点和多种类型的连接，因此本节对文中涉及到符号进行预定义：
异构信息网络：一般用符号G＝(V,E)表示，其中，V为节点集合，E为边的集合。异构网络中每一个节点v与每一条边e都存在一个映射关系
Figure BDA0002660684370000107
其中TV和TE分别为节点类型集合与连边类型集合；
异构信息网络中的路径：在异构信息网络G中，我们定义用户u到物品i的节点连接序列作为路径，定义为P＝[v1,v2,…,vL]，其中L为路径中包含的最多节点数目。区别于设计元路径，本模型中定义路径中的第一个节点为用户节点u，最后一个节点为目标物品节点i，以图1中所展示的音乐推荐为例，当模型向用户Tony推荐相同歌曲In the City时，共有三条路径可以解释推荐原因：
p1＝[Tony→Calif ornia Hotel→Tom→In the City]，
p2＝[Tony→Calif ornia Hotel→Eagles→In the City]，
p3＝[Tony→Calif ornia Hotel→Live New York→In the City]。
这些从同一用户到相同电影的不同路径显然表达了它们之间不同的多步关系，更揭示了用户可能对电影喜欢的不同原因。
可解释推荐任务：我们的任务定义如下：给定目标用户u，目标物品i和以两个节点为头尾节点的路径集合P(u,i)＝{p1,p1,…,pk}，最终得到用户对物品购买或喜爱的概率：
Figure BDA0002660684370000111
其中，
Figure BDA0002660684370000112
表示用户和物品之间的交互概率，f表示具有参数θ的映射函数，我们通过用户和物品之间的交互路径得到概率；
2、建模
本实施例以每个用户项对的一组路径作为输入，并输出一个分数，指示用户可能与目标物品如何交互。如图2所示，模型整体包含三个关键部分：(1)嵌入层：该部分映射不同类型节点的id信息，将节点映射为低维向量表示；(2)序列建模层：使用双向自注意力层对路径中的节点序列建模，以此来捕捉节点之间的上下文关系并计算路径中节点的权重；(3)预测层：结合给定用户与目标物品的多条路径，输出用户与物品的交互概率，以此来明确概率最高的路径。
第一步、嵌入层，基于确定头尾节点的遍历路径模型，得到了包含不同类型节点以及不同类型连边的路径序列，给定包含用户u和歌曲i的路径。给定一条用户u到物品i之间的第k条路径，我们将节点类型和节点的具体映射到两个向量中，el∈Rd和e′l∈Rd，d作为这两个向量的维度。对于每一个节点，将节点类型向量el和节点具体值向量e′l相加，根据公式(1)得到节点新的初始化向量；
hl＝el+e′l (1-1)；
第二步、序列建模层的说明，通过异构网络嵌入的方式，已经得到了包含节点之间连接类型的节点低维向量表示，将路径中节点的低维向量表示集合作为输入，通过改进的LSTM模型得到用户对目标物品的喜爱概率，因此借鉴现有的Att-BiLSTM模型进一步挖掘节点之间的序列逻辑关系，并生成表示路径整体的向量表示。区别于NLP问题中的句子，从用户到目标物品的路径节点有限，并关注路径中不同节点的重要性以及其对整个路径的影响，同时路径中节点之间的关系需要向前向后一起考虑，做到真正的基于上下文推断，故采用双向LSTM模型，由两个LSTM的状态共同决定输出，具体来说，在前向LSTM层中，目标物品i为路径p中的最后一个节点，并表示为vl，输入前一个节点的低维向量表示vl-1，隐藏状态hl-1及其细胞状态向量cl-1，并定义如下公式计算得到其vl：
zl＝tanh(Wzvl+Whhl-1+bz)
fl＝σ(Wfvl+Whhl-1+bf)
il＝σ(Wivl+Whhl-1+bi)
ol＝σ(Wovl+Whhl-1+bo)
cl＝fl*cl-1+il*zl
hl＝ol*tanh(cl)+il*.zl (4-1-1)；
其中，z∈R表示信息转换向量，il，ol和fl分别表示输入、输出和遗忘门。Wz、Wi、Wf、Wo∈R是映射系数矩阵，而bz、bf、bi和bo是偏移向量，σ(·)是激活函数sigmoid，*表示两个向量的元素相乘；而反向LSTM层则只需要输入相反的节点序列以达到隐藏状态按照相反的方向流动，充分利用路径中的前后信息，最终，vl的表示向量由前后两个方向生成的状态向量拼接而成，即公式(6)。
为了克服异构网络中的噪声问题，提高模型嵌入表示向量的鲁棒性，我们改进了原有的Att-BiLSTM模型，受到现有基于对抗学习的推荐模型的启发，我们设计一个新的损失函数，通过优化该函数，达到以上的目的，由于现有基于对抗学习的模型往往在两个方面加入对抗正则化项：(1)在特征表示上加入对抗性正则化项；(2)在模型参数上加入对抗性正则化项。因为用户与物品之间的交互信息稀疏且庞大，模型结构复杂，导致后者这种解决方法在训练过程中无法在合适的参数位置上加入对抗性正则化项，且容易导致模型发生过拟合问题，此外，这种解决方案需要推荐模型为端到端的训练过程，加入对抗性正则化项会增加模型的训练过程，学习过程更加复杂。为了避免以上问题，我们将对抗性正则化项添加于原有得到的节点嵌入表示向量，具体来说，我们定义目标函数如公式(13)：
L＝-logp(y|dk+Δk；θ) (13)。
在公式(13)中：
Δk＝-∈g/||g||2，
Figure BDA0002660684370000131
其中，Δk表示对抗性正则化项，∈控制Δk的大小，通过最小化损失函数学习到对抗性正则化项，并通过反向传播计算得到。
实验证明：
在三个真实数据集中对所提方法进行了实验，以评估上述算法，具体目的是回答以下研究问题：
问题一：对比目前最先进的网络嵌入方法和传统的推荐模型以及本实施例所提到的算法模型的性能如何？
问题二：对抗训练的效果如何，是否能提高模型的鲁棒性？
问题三：关键超参数如何影响模型性能？
问题四：所提出的模型是否可以对用户推荐进行推理解释？
1、数据集及预处理
数据集：本实施例中用到了三个真实世界并被广泛使用的数据集：下面涉及到的数据集均属于现有技术，故此不做具体描述。Nowplaying音乐数据集、Xiami音乐数据集和Yahoo音乐数据集。Nowplaying数据集依赖于Twitter创建的有关用户音乐收听行为的数据，其中包含了8,820首歌曲的87,663条交互数据。Xiami音乐数据集中包含了虾米音乐APP中4，270位用户在两个月时间内的收听数据。另一个数据集Yahoo来自雅虎音乐APP，其中包含了音乐的一些详细描述，如艺人，专辑等。数据集的统计信息见表1。
数据预处理：在雅虎数据集中每个用户至少对20首歌曲进行了评级，至少有20位用户对每首歌进行了评级。对于虾米数据集中的数据，我们遵从中的做法，只筛选了交互次数大于5的用户。对两个数据集我们根据数据的分布情况抽样了100万条数据，划分数据集中80％和20％的交互历史分别作为训练集和测试集。为了评价推荐模型，我们采用了留一法的评价机制。
表1.数据集的统计信息
Figure BDA0002660684370000132
2、评价指标
为了评估所有模型的推荐性能，本实施例采用了两个常见的推荐系统评价指标：命中率和归一化累积折损收益。考虑到每个用户的每条路径都只有一个真实的物品，HR@K等于Recall@K并且与精度呈正比。在实施例中，我们用k＝5,10来计算HR和NDCG。对于这两个评价指标，值越高，性能越好。
3、对比方法及实现细节
对比方法：本文针对提出的方法与以下几种方法进行了对比，以回答研究问题一。
MP：这是最基本的推荐方法，即将最流行的歌曲推荐给用户；
BPR：贝叶斯个性化排序方法，该方法使用成对排序损失函数优化隐式矩阵分解模型；
CDAE：利用变分自编码器对用户进行推荐；
NeuMF：该模型使用神经网络对用户-物品之间的交互信息建模；
RNN4rec：将循环神经网络用于用户的长短期偏好建模中，从而对用户进行个性化推荐；
CNN4rec：采用卷积神经网络(CNN)的方法对异构网络中路径序列建模，预测用户下一个感兴趣的物品。
KPRN:该使用LSTM来捕获节点的顺序依赖关系，并组成节点和边缘的表示来构造路径的表示。
参数设置：对于上述对比方法中的超参数，我们在实际应用中，充分探索异构网络中的所有连接路径是不可行的。如先前相关工作所建议，忽略遥远连接，固定一定长度提取路径对于序列建模时高效的。
为了更公平的对比，对于所有的方法，我们选择该方法中性能最好的参数作为对比参数。对于本模型，我们通过TensorFlow实现，其中所有的参数通过网格搜索得到最优的设置。我们使用Adam训练模型，其中学习率为0.001，最大值为1，且随着训练次数的增加和损失函数的降低，学习率呈线性下降。对于其他参数，我们设置循环网络的层数为2，每层神经元个数为64，用户的每条路径长度在Nowplaying数据集中为3，Xiami数据集中为5，在Yahoo数据集中为5。我们通过实验设置节点的低维向量表示维度为32，Dropout概率为0.8。对于所有的模型我们使用NVIDIA GeForce GTX 1080的硬件设备。
表2.和其他推荐模型推荐性能对比
Figure BDA0002660684370000141
Figure BDA0002660684370000151
4、推荐性能对比(研究问题1)
表2展示了所有模型在三个数据集上的最好推荐性能。评价指标中最好的结果被加粗。从表中我们可以观察到：
最基本的推荐模型，流行度模型(POP)，因为没有利用用户与物品之间的历史交互信息，所以在所有数据集中的性能最差。对比POP模型，BPR模型的性能较好，但比不上NeuMF模型，因为NeuMF利用神经网络模拟了用户与物品之间复杂的交互关系。从这一组对比实验中可以看出，考虑用户与物品之间的交互信息可以帮助提高推荐性能，且神经网络更能模拟复杂的交互关系。
在利用神经网络进行路径序列建模的推荐模型中，利用异构网络中节点之间序列信息学习节点的向量表示的模型，如RNN4rec和CNN4rec，性能优于单纯使用神经网络的NeuMF模型，特别是数据稀疏的数据集上，性能提高更加明显，证明了考虑异构网络可以缓解数据稀疏问题。此外，CNN4rec的推荐性能不及RNN4rec模型的性能，尤其是稀疏数据集。这可能是因为在我们的路径序列建模中，路径长度不长，相对比较长的序列长度，循环神经网络不会产生梯度消失的问题，能通过记忆功能更好地学习到序列信息。通过与所提模型的推荐性能比较，RNN4rec的性能较差，表明双向LSTM可以更好地学习节点本身的表示，也论证了Att-BiLSTM和对抗性学习在路径推理过程中的重要性。
根据实验结果，我们可以看到所提模型在三个数据集的所有模型中表现最好，相对于最强的其他基本模型，在HR@10上平均增加了17.28％和在NDCG@10上平均增加了28.12％。
5、对抗正则化项及注意力机制对模型的影响(研究问题2)
为了更好地理解所提模型各个关键成分对推荐性能的影响，揭示对抗性学习和注意力机制的重要作用，我们在三个数据集上进行模型简化实验。表3显示了所提模型变体的结果，同时将超参数保持在最佳设置。我们介绍了变体模型，并分析其效果如下：
1、w/o AM:该模型去除原有所提模型中的注意力机制，对异构网络中节点序列建模。我们将它与原有模型进行了比较，以验证在所提出的模型中注意机制的好处。即将每个节点的权重看作是相同的。实验结果表明，去除注意机制会导致所提模型在三个数据集上的性能下降。
2、ABLH：它是所提模型的基本模型，它只使用Att-BiLSTM对HIN中的节点序列进行建模，而不考虑对抗性正则化项。我们比较一下它用于回答对抗性训练的效果如何的问题。结果表明，当路径长度选择较小时，所提模型的性能不如ABLH。当从异构网络中选择的路径长度变长时，所提的性能逐渐优于ABLH。为了进一步验证路径长度对两种模型的影响，我们改变了Xiami数据集中提取的路径长度，如表4所示。我们可以看到，当路径长度L＝5时，推荐模型得到了最好的结果。随着路径长度的增加，模型的性能逐渐提高，但当L>5时，性能开始逐渐下降。这表明，路径长度太长会引入额外的信息和更多的噪声，并最终影响节点的向量表示。但是，随着路径长度的增加，我们的模型性能保持稳定，没有产生急剧下降，这表明我们的模型是稳健的。总的来说，添加对抗性正则化项确实可以学习更精确的节点向量并提高嵌入表示的鲁棒性。
3、w/o AM and ART：该模型只使用双向LSTM对HIN中的节点序列进行建模，而不考虑注意机制和对抗性正则化。我们将其与所提模型进行比较，以验证在所提出的模型中注意机制的好处。我们观察到该模型的性能比ABLH和w/o AM两个变体模型都差，再次验证了所提模型中注意机制和对抗性正则化项对学习节点表示的有效性。
表3简化实验在三个数据集的分析(HR@10)
Figure BDA0002660684370000161
Figure BDA0002660684370000171
表4在Xiami数据集上不同路径长度L的性能分析
Figure BDA0002660684370000172
6、模型详细分析(研究问题3)
在这一部分，我们研究了不同参数的不同设置对荐性能的影响，在探究一个超参数对模型性能的影响时，我们将其他超参数固定为同一个数值。
嵌入维度。图3展示了节点维度从16到256推荐性能的变化。最明显的观察是模型性能随着维度的增加而趋于收敛。较大的嵌入维度并不能学习到更好的模型表示，尤其是在稀疏数据集中。对于HBLA模型，当嵌入维度为128时，模型达到满意的性。因此，我们在其他部分的实验中，将维度d设置为128。
神经网络深度。在该模型中，我们采用神经网络来映射最终状态。因此，神经网络的深度是模型中重要的参数。我们为实验分别设置了{1,2,3,4,5}个神经网络层。如图4(a)所示，我们发现当神经网络为4时，该模型在Nowplaying数据集中表现出更好的性能。使用2层神经网络在Xiami和Yahoo数据集中产生最佳性能，这表明数据越稀疏，神经网络层越深，性能越能越好好。
神经元个数。同时，我们分析了神经网络每一层中的神经元数量，并设计了{16、32、64、128、256}个个数来测试模型性能。如图4(b)所示，当神经元数为64时，我们的模型将获得最佳性能。HR@10随着神经元数量的增加先增加，然后减少，因此我们选择128作为神经元数量。
∈大小的影响。然后，我们将节点嵌入的维数固定为128，并调整用于控制对抗性正则项的∈大小。我们研究了它从0.1到1.0变化后如何影响模型性能。如图4(c)所示，Nowplaying数据集中的最佳性能时∈接近0.4。当∈的大小为0.6时，我们的模型在Xiami和Yahoo数据集中实现了最佳性能。
Dropout大小的影响。最后，我们研究Dropout大小对性能变化的影响。图4(d)显示了在三个数据集上，Dropout的大小从0.1变化到0.9的结果。我们可以看到，Dropout的规模不应太大，因为这会导致模型欠拟合。而且它不应太小，因为它不足以学习一个强大的模型。Nowplaying数据集的最佳取值为0.3。对于稀疏数据集(例如Xiami和Yahoo)，最佳性能分别达到0.5和0.6。
7、可解释性推荐实例(研究问题4)
利用双向循环神经网络对每个用户和每个物品之间的路径进行推理，从而学习用户的偏好是该方法的一个创新之处。为了直观地理解我们的模型是如何解释推荐的，我们在这里根据先前实验中产生的结果给出了一个案例研究。我们从虾米数据集中随机选择了一个用户(User1，并展示了其到歌曲Song4的4条路径，如图5(a)所示。从中可以看出，目标歌曲Song4与User1之前聆听的歌曲(如：Song2)有关，根据异构信息网络我们可以看到，歌曲Song4与Album2和Artist1有关，通过对不同路径的展示，我们发现不同的路径从不同的角度描述了User1与Song4之间的连通性，可以将其看作该项目推荐给用户的依据。
如图5(b)所示。我们从双向和单向两个角度计算不同路径的权重。从图中可以看出，双向计算路径的权重一般高于单向计算的权重，且路径(User1,Song1,Album1,Artist2,Song4)为将歌曲Song4推荐给用户User1概率最高的路径。然而，如果我们采用单向方法，模型将根据路径(1)推荐给用户User1。这条路径可能并不是推荐的真正原因。
综上所述本发明引入了一个称为ABLAH的基于双向长短期记忆网络与对抗学习的异构网络路径推理与推荐算法，并向用户可解释性的推荐物品，能够有效对于路径序列中可能存在的噪声信息(即干扰)进行处理，然后利用对抗性正则化项来提高节点嵌入的鲁棒性。
本实施例提供的一种基于对抗学习与双向长短期记忆网络的推荐算法，具有如下技术效果：
(1)我们利用基于注意力机制的双向循环网络对异构网络路径中的上下文节点进行双向建模，对节点序列进行了深入的算法，实现将双向序列建模引入到异构网络路径序列算法，路径序列建模过程中得到的路径权重可以更好地解释推荐结果；
(2)该算法是第一个将对抗性正则化项应用到异构网络嵌入技术中的算法，以此来缓解异构网络中节点关系存在噪声的问题，实现能够向用户可解释性的推荐物品，能够有效对于路径序列中可能存在的噪声信息(即干扰)进行处理，然后利用对抗性正则化项来提高节点嵌入的鲁棒性，即最终保证数据的准确度。
在本实施例中上述未说明的英文符号均属于本领域的常规技术，故此不做具体描述。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于双向长短期记忆网络与对抗学习的异构网络路径推理与推荐算法，其特征在于具体包括以下步骤：
第一步、预先定义符号
A1)异构信息网络定义：用符号G＝(V,E)表示异构信息网络，其中，V为节点集合，E为边的集合；
A2)异构信息网络中的路径定义：异构网络中每一个节点v与每一条边e都存在一个映射关系
Figure FDA0002660684360000011
其中TV和TE分别为节点类型集合与连边类型集合，Tv≥2或TE≥2，U表示用户集合，u∈U，表示第u个用户，一共有m个用户，I表示物品集合，i∈I表示第i个物品，一共有n个物品；
A3)在异构信息网络G中，定义用户u到物品i的节点连接序列作为路径，定义为p＝[v1,v2,…,vl],p∈P，其中l为路径中包含的最多节点数目，P为所有路径的集合；并选取每个用户u到物品i的路径中的K条，k表示其中的第k条路径同时定义路径中的第一个节点为用户节点u，最后一个节点为目标物品节点i，并采用随机游走的方式从异构网络中抽取每个用户的K条路径；
第二步、建模
S1、建模嵌入层，用初始化节点向量表示；
S1-1、给定一条用户u到物品i之间的第k条路径，pk∈P，我们将节点类型和节点的具体映射到两个向量中，el∈Rd和e′l∈Rd，d作为这两个向量的维度；
S1-2、对于每一个节点，将节点类型向量el和节点具体值向量e′l相加，根据公式(1)得到节点新的初始化向量；
hl＝el+e′l (1)；
S1-3、随机初始化LSTM中系数矩阵、偏移向量和状态向量；
S1-4、然后将
Figure FDA0002660684360000012
作为前向LSTM模型信息转换、输入门、遗忘门和输出门的映射系数矩阵，
Figure FDA0002660684360000013
和
Figure FDA0002660684360000014
分别代表各自的前向偏移向量，
Figure FDA0002660684360000015
为前向LSTM隐藏状态向量的系数矩阵；
Figure FDA0002660684360000016
分别代表后向LSTM模型信息转换、输入门、遗忘门和输出门的映射系数矩阵，Wh为后向LSTM隐藏状态向量的系数矩阵，
Figure FDA0002660684360000017
和
Figure FDA0002660684360000018
分别代表各自的后向偏移向量，随机初始化
Figure FDA0002660684360000019
作为路径中第l个节点的隐藏状态向量表示，随机初始化细胞状态向量
Figure FDA00026606843600000110
S2、构建序列建模层，将第S1-2步骤中初始化得到的向量表示hl作为输入，并应用到现有的利用基于注意力机制的双向LSTM模型中来优化节点的向量表示并学习模型中系数矩阵和偏移向量；
S3、设置预测层、根据公式(8)计算概率；
根据第三步序列建模可以得到异构信息网络中每个用户与物品之间的路径序列表示，采用全连接层转换序列表示，根据公式(8)计算得到：
Figure FDA0002660684360000021
其中，
Figure FDA0002660684360000022
和
Figure FDA0002660684360000023
为两个系数矩阵的转置矩阵；
由于用户与物品之间有多条路径，采用平均的方法计算用户与物品之间路径的最终表示向量sk，根据公式(9)计算得到：
Figure FDA0002660684360000024
计算每条路径用户对物品交互的概率
Figure FDA0002660684360000025
根据公式(10)计算得到：
Figure FDA0002660684360000026
将推荐学习任务视为二进制分类问题，其中观察到的用户项交互被认定为1，否则为0，通过损失函数公式(11)计算模型中的参数：
L＝-log p(y|sui；θ) (11)；
S4、构建对抗学习模型；
S4-1)由公式(9)计算得到用户与物品之间路径的最终表示向量sk，根据公式(12)计算对抗性正则化项Δk；
Δk＝-∈g/‖g‖2
Figure FDA0002660684360000027
其中，∈为超参数，控制Δk的大小，
Figure FDA0002660684360000028
表示对sk求偏导，
Figure FDA0002660684360000029
统称为模型中参数；
S4-2)将对抗正则化项添加到原有节点的向量表示上，最终根据公式(13)最小化损失函数学习到对抗性正则化项，最终根据公式(12)的定义目标函数获得们定义目标的过程：
L＝-logp(y|dk+Δk；θ) (13)。
2.根据权利要求1所述的一种基于双向长短期记忆网络与对抗学习的异构网络路径推理与推荐算法，其特征在于步骤S2的具体步骤如下：
1)令u＝1；
2)遍历所有与用户u有联系的物品i，并以此在异构信息网络中随机游走，抽取K条路径；
3)令k＝1；
4)令路径中节点下标l＝1，令目标物品i为路径p中的最后一个节点，由(1)式得到节点的初始表示为hl并将其作为输入，隐藏状态
Figure FDA0002660684360000031
及其细胞状态向量c，如公式(2)优化节点初始向量，并得到前向LSTM隐藏状态向量
Figure FDA0002660684360000032
Figure FDA0002660684360000033
Figure FDA0002660684360000034
Figure FDA0002660684360000035
Figure FDA0002660684360000036
-
Figure FDA00026606843600000316
Figure FDA0002660684360000037
其中，z∈Rd表示信息转换向量，il∈Rd，ol∈Rd和fl∈Rd分别表示输入、输出和遗忘门向量；σ(·)是激活函数sigmoid，tanh(·)是激活函数，*表示两个向量的元素相乘；
Figure FDA0002660684360000038
Figure FDA0002660684360000039
5)令l＝l+1；
6)如果l<L，则返回步骤3)，否则执行下一步；
7)令j＝l；
8)同时，采用反向LSTM模型计算每一个节点的隐藏状态h′，类似于步骤4)中，只是将节点的输入顺序进行调换，根据公式(5)计算反向LSTM模型隐藏状态向量
Figure FDA00026606843600000310
Figure FDA00026606843600000311
Figure FDA00026606843600000312
Figure FDA00026606843600000313
Figure FDA00026606843600000314
Figure FDA00026606843600000317
Figure FDA00026606843600000315
9)令j＝j-1；
10)如果j≤l，则返回步骤8)，否则执行下一步；
11)用户u的路径k中的节点前向
Figure FDA0002660684360000041
和反向隐藏状态向量
Figure FDA0002660684360000042
由上式计算得到了，将前向和反向的隐藏状态向量拼接得到顶点的最终向量，如公式(6)；
Figure FDA0002660684360000043
12)令k＝k+1；
13)如果k≤K，则返回步骤4)，否则执行下一步；
14)学习完与用户u有关的节点向量；
15)在得到一条路径中所有节点的表示向量后，为了突出不同节点在同一条路径中的不同的重要性，采用注意力机制形成用户u所有路径的表示向量Ru，根据公式(7)计算路径的表示向量Ru：
M＝tanh(Hu)
αu＝softmax(WuM)
Ru＝Huαu T (7)；
16)其中，Hu为用户u的K条路径中所有节点向量表示矩阵，αu为注意力矩阵，Wu为系数矩阵；
17)令u＝u+1；
18)如果u≤m，则返回步骤2)，否则结束循环。
3.根据权利要求1所述的一种基于双向长短期记忆网络与对抗学习的异构网络路径推理与推荐算法，其特征在于：在步骤A1中如果两个节点之间存在关系即就有连边。
CN202010903794.8A 2020-09-01 2020-09-01 一种基于对抗学习与双向长短期记忆网络的推荐算法 Withdrawn CN112035745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010903794.8A CN112035745A (zh) 2020-09-01 2020-09-01 一种基于对抗学习与双向长短期记忆网络的推荐算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010903794.8A CN112035745A (zh) 2020-09-01 2020-09-01 一种基于对抗学习与双向长短期记忆网络的推荐算法

Publications (1)

Publication Number Publication Date
CN112035745A true CN112035745A (zh) 2020-12-04

Family

ID=73590990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010903794.8A Withdrawn CN112035745A (zh) 2020-09-01 2020-09-01 一种基于对抗学习与双向长短期记忆网络的推荐算法

Country Status (1)

Country Link
CN (1) CN112035745A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417063A (zh) * 2020-12-11 2021-02-26 哈尔滨工业大学 一种基于异构关系网络的相容功能项推荐方法
CN112559904A (zh) * 2020-12-16 2021-03-26 中国计量大学 一种基于门机制和多模态图网络的会话社交推荐方法
CN113343117A (zh) * 2021-07-09 2021-09-03 马上消费金融股份有限公司 对抗网络模型的训练方法、信息推荐方法及相关设备
CN113554100A (zh) * 2021-07-28 2021-10-26 湖南科技大学 异构图注意力网络增强的Web服务分类方法
CN113628059A (zh) * 2021-07-14 2021-11-09 武汉大学 一种基于多层图注意力网络的关联用户识别方法及装置
CN113822482A (zh) * 2021-09-24 2021-12-21 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 综合能源系统负荷预测模型建立方法及装置
CN114004667A (zh) * 2021-09-17 2022-02-01 重庆大学 一种知识众包冷启动任务建模与推荐方法
CN114095892A (zh) * 2021-11-17 2022-02-25 东南大学 一种解决大规模信号异质性的室内人员状态检测的方法
CN114168845A (zh) * 2021-11-24 2022-03-11 电子科技大学 一种基于多任务学习的序列化推荐方法
CN114493034A (zh) * 2022-02-14 2022-05-13 重庆大学 一种面向区域流量预测的时空全局语义表示学习方法
CN114880586A (zh) * 2022-06-07 2022-08-09 电子科技大学 一种通过移动性上下文感知基于对抗的社交圈推理方法
CN115394084A (zh) * 2022-08-29 2022-11-25 郑州轻工业大学 一种基于NMF-BiLSTM的城市路网短时交通流预测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177781A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于异构信息网络嵌入的差分隐私推荐方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177781A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于异构信息网络嵌入的差分隐私推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNWEI ZHANG 等: "Path-Based Reasoning over Heterogeneous Networks for Recommendation via Bidirectional Modeling", 《HTTPS://ARXIV.ORG/ABS/2008.04185》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417063A (zh) * 2020-12-11 2021-02-26 哈尔滨工业大学 一种基于异构关系网络的相容功能项推荐方法
CN112559904A (zh) * 2020-12-16 2021-03-26 中国计量大学 一种基于门机制和多模态图网络的会话社交推荐方法
CN113343117A (zh) * 2021-07-09 2021-09-03 马上消费金融股份有限公司 对抗网络模型的训练方法、信息推荐方法及相关设备
CN113343117B (zh) * 2021-07-09 2022-05-17 马上消费金融股份有限公司 对抗网络模型的训练方法、信息推荐方法及相关设备
CN113628059B (zh) * 2021-07-14 2023-09-15 武汉大学 一种基于多层图注意力网络的关联用户识别方法及装置
CN113628059A (zh) * 2021-07-14 2021-11-09 武汉大学 一种基于多层图注意力网络的关联用户识别方法及装置
CN113554100A (zh) * 2021-07-28 2021-10-26 湖南科技大学 异构图注意力网络增强的Web服务分类方法
CN114004667A (zh) * 2021-09-17 2022-02-01 重庆大学 一种知识众包冷启动任务建模与推荐方法
CN114004667B (zh) * 2021-09-17 2024-05-14 重庆大学 一种知识众包冷启动任务建模与推荐方法
CN113822482A (zh) * 2021-09-24 2021-12-21 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 综合能源系统负荷预测模型建立方法及装置
CN114095892A (zh) * 2021-11-17 2022-02-25 东南大学 一种解决大规模信号异质性的室内人员状态检测的方法
CN114095892B (zh) * 2021-11-17 2024-03-05 东南大学 一种解决大规模信号异质性的室内人员状态检测的方法
CN114168845A (zh) * 2021-11-24 2022-03-11 电子科技大学 一种基于多任务学习的序列化推荐方法
CN114168845B (zh) * 2021-11-24 2023-08-15 电子科技大学 一种基于多任务学习的序列化推荐方法
CN114493034A (zh) * 2022-02-14 2022-05-13 重庆大学 一种面向区域流量预测的时空全局语义表示学习方法
CN114493034B (zh) * 2022-02-14 2024-05-31 重庆大学 一种面向区域流量预测的时空全局语义表示学习方法
CN114880586A (zh) * 2022-06-07 2022-08-09 电子科技大学 一种通过移动性上下文感知基于对抗的社交圈推理方法
CN115394084B (zh) * 2022-08-29 2023-07-25 郑州轻工业大学 一种基于NMF-BiLSTM的城市路网短时交通流预测方法
CN115394084A (zh) * 2022-08-29 2022-11-25 郑州轻工业大学 一种基于NMF-BiLSTM的城市路网短时交通流预测方法

Similar Documents

Publication Publication Date Title
CN112035745A (zh) 一种基于对抗学习与双向长短期记忆网络的推荐算法
Raschka et al. Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python
Raschka et al. Python machine learning: Machine learning and deep learning with Python, scikit-learn, and TensorFlow 2
Zheng et al. Research on image classification method based on improved multi-scale relational network
Tsymbalov et al. Dropout-based active learning for regression
Hwang et al. Hexagan: Generative adversarial nets for real world classification
WO2018152534A1 (en) Method and apparatus of machine learning using a network with software agents at the network nodes and then ranking network nodes
Yang et al. Variational co-embedding learning for attributed network clustering
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN109933720B (zh) 一种基于用户兴趣自适应演化的动态推荐方法
Chen et al. Memory network with hierarchical multi-head attention for aspect-based sentiment analysis
Bu et al. Differentially private optimization on large model at small cost
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
US20220366257A1 (en) Small and Fast Video Processing Networks via Neural Architecture Search
Parimi et al. Community detection on large graph datasets for recommender systems
Viadinugroho et al. A weighted metric scalarization approach for multiobjective BOHB hyperparameter optimization in LSTM model for sentiment analysis
Liu et al. Hands-On Deep Learning Architectures with Python: Create deep neural networks to solve computational problems using TensorFlow and Keras
Yuan et al. Deep learning from a statistical perspective
Chang Latent variable modeling for generative concept representations and deep generative models
Bellot Learning probabilistic graphical models in R
Thavasimani et al. Deep learning techniques: A case study on comparative analysis of various optimizers to detect bots from CRESCI-2017 dataset
Modrakowski et al. Improving deep learning projections by neighborhood analysis
Xu et al. Personalized Repository Recommendation Service for Developers with Multi-modal Features Learning
Pelamatti Mixed-variable Bayesian optimization: application to aerospace system design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201204