CN111832724A - 一种基于深度神经网络的异构网络推荐算法 - Google Patents

一种基于深度神经网络的异构网络推荐算法 Download PDF

Info

Publication number
CN111832724A
CN111832724A CN202010674870.2A CN202010674870A CN111832724A CN 111832724 A CN111832724 A CN 111832724A CN 202010674870 A CN202010674870 A CN 202010674870A CN 111832724 A CN111832724 A CN 111832724A
Authority
CN
China
Prior art keywords
meta
path
user
vector
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010674870.2A
Other languages
English (en)
Other versions
CN111832724B (zh
Inventor
蔡晓妍
王楠鑫
杨黎斌
戴航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010674870.2A priority Critical patent/CN111832724B/zh
Publication of CN111832724A publication Critical patent/CN111832724A/zh
Application granted granted Critical
Publication of CN111832724B publication Critical patent/CN111832724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度神经网络的异构网络推荐算法，包括如下步骤：S1：用户和物品的全局局部信息的向量表征；S2：利用螺栓遗传算法对元路径种类进行自动选取；S3：获取最优的X种元路径种类下的元路径实例；S4：获取基于元路径的交互向量；S5：用户，物品全局局部信息融合；S6：使用协同注意力机制，对用户和物品的向量表征进行加强；S7：用户，物品对的评分获取；S8：构建损失函数优化参数；S9：重复步骤1‑8，当lu，i稳定趋于一个很小的阈值ε(ε>0)时，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。本发明利用遗传算法自动获取有价值的元路径种类，减少人为因素的干扰；通过节点域和网络结构信息挖掘异构网络中的全局和局部信息。

Description

一种基于深度神经网络的异构网络推荐算法
技术领域
本发属于机器学习领域，具体涉及一种基于深度神经网络的异构网络推荐算法。
背景技术
与同构网络不同，具有不同节点和链路类型的异构信息网络整合了复杂的信息，包含丰富的语义。因此，基于异构网络的推荐方法近年来激增。虽然这些方法在一定程度上提高了推荐性能，但仍然存在不足。首先，大多现有的推荐算法的元路径种类通常是人为定义的，大多数元路径种类是根据先验信息来判断的，存在着一定的干扰。再者，这些算法很少显式地将元路径表征出来。同时，这些算法还面临着如何在异构网络中广泛探索，挖掘网络的局部和全局信息的问题。最后，这些算法没有显示地考虑元路径和所涉及的用户-项目对之间的交互。针对这些问题，我们提出了一种基于深度神经网络的异构网络推荐算法。
发明内容
本发明的目的在于提供一种基于深度神经网络的异构网络推荐算法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度神经网络的异构网络推荐算法，包括如下步骤：
S1：用户和物品的全局局部信息的向量表征；
S2：利用螺栓遗传算法对元路径种类进行自动选取；
S3：获取最优的X种元路径种类下的元路径实例；
S4：获取基于元路径的交互向量；
S5：用户，物品全局局部信息融合；
S6：使用协同注意力机制，对用户和物品的向量表征进行加强；
S7：用户，物品对的评分获取；
S8：构建损失函数优化参数；
S9：重复步骤1-8，当lu，i稳定趋于一个很小的阈值ε(ε>0)时，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。
优选的，所述步骤S1中：
物品和用户的全局信息向量表示方法：利用HIN2VEc算法[1]获得网络中节点的全局表示，从[2]中获得启发,设置了一个映射层将用户和物品的独热编码映射为低纬向量；
给定用户-物品对<u，i>，设
Figure BDA0002583687060000021
表示用户的独热编码，
Figure BDA0002583687060000022
表示物品的独热编码；
Figure BDA0002583687060000023
表示查找层对应的参数矩阵，用于存储用户和物品的潜在信息；
d为用户和项嵌入的维数，|U|和|I|分别为用户数量和物品的数量；
具体公式如下：
Figure BDA0002583687060000024
Figure BDA0002583687060000025
物品和用户的局部信息向量表示方法：每个用户(物品)都可以表示为其邻居物品(用户)序列，称它们为网络中该用户(物品)的局向量表征；
这里，使用
Figure BDA0002583687060000026
表示当前用户，物品的邻居序列，|lu|，|li|表示该用户，物品的邻居个数(这里因为每个用户，物品的邻居数量较多，利用了cos相似度获取前15个邻居)，该序列中的每个节点的取值为节点的标识；
Neighbor(u)，Neighbor(i)分别表示用户u和项目i的一组邻居；
然后，使用查找层将Sn(u)，Sn(i)中的每个节点向量化，形成该用户(物品)的邻居向量序列
Figure BDA0002583687060000031
最后，我们将向量化的邻居序列输入到注意力机制中获取用户(物品)的局部向量表征；
具体公式如下：
Figure BDA0002583687060000032
Figure BDA0002583687060000033
γn(u)＝softmax(xn(u)) (5)
γn(i)＝softmax(yn(i)) (6)
x′u＝∑n∈Neighbor(u)γn(u)·xn(u) (7)
y′i＝∑n∈Neighbor(i)γn(i)·yn(i) (8)。
优选的，所述步骤S2的具体步骤为：
假设异构网络G中存在着M种元路径，我们的任务是自动选取M元路径中最优的X(X≤M)种元路径；
这里我们构建一个表现型矩阵H,该矩阵的大小为
Figure BDA0002583687060000041
代表选取X种元路径的所有可能组合，其中每一行代表一个染色体，即该染色体的大小为1×X,代表选取X种元路径的某一种组合；
该异构网络G中存在着5种元路径(ρ1，ρ2，ρ3，ρ4，ρ5),我们选取其中最优的4种元路径(ρ1，ρ2，ρ3，ρ4).H的大小为5×4,代表了从5种元路径中选取出4种元路径的所有可能组合，每行染色体大小为1×4，代表了其中一种可能的组合。
优选的，所述步骤S3的具体步骤为：
使用含有优先级的加权采样策略去获取最优X种元路径种类下的元路径实例；直观地讲，就是在获取元路径实例的每一步中，游走者都应该考虑到下一步游走到一个优先级更高的邻居，通过这样的游走策略就会获得一个语义更加紧密，更适用于推荐系统的路径实例；
使用类似的预训练技术来测量每个候选节点的优先级；基本思想是我们根据异构网络中不同节点之间的评分作为分配权重的标准，比如在电影评价中评分为1-5分，用户u对电影i的评分为5分，那么对于用户u与电影i之间的链接的权重值就为最高；
然后，通过权重与当前节点和其邻居节点之间的相似性的乘积值来衡量优先级，这样的优先级分数直接反映了两个节点之间的关联程度；
最后，对于给定长度为L的路劲实例，可以计算出路径实例中两个连续节点之间的成对相似性和权重值，然后将这些相似性与权重值的乘积平均起来，对候选路径实例进行排序；给定一个元路径，只保留平均相似性最高的top K路径实例。
优选的，所述步骤S4的具体步骤为：
在得到了X种元路径下的路径实例之后，我们采用层次结构去获取基于元路径的交互向量：元路径实例的向量表征——>元路径种类的向量表征——>基于元路径的交互向量的表征；
首先，先介绍元路径实例的向量表征：元路径是一组节点的序列，这里，我们采用卷积神经网络(CNN)将这样一个节点序列嵌到一个低维向量中，CNN的结构是一个卷积层和一个最大池化层；
给定元路径种类ρ下的某一路径实例p，使得
Figure BDA0002583687060000051
表示路径实例矩阵，其中L表示路径长度；
元路径实例p的向量表征如下：
hp＝CNN(Xp；Θ) (9)
其中Θ表示CNN中所有有关的参数，hp表示元路径实例p的向量表征
其次，介绍元路径种类的向量表征：元路径下包含了许多的路径实例，经过我们加权采样策略的筛选，对于每一个元路径种类我们获得了前k个路径实例，这里我们采用简单的最大池化操作从多个路径实例中捕获重要的维度特征，使
Figure BDA0002583687060000061
表示从元路径ρ选择出的k个路径实例的向量表征；
元路径种类ρ的表示计算如下：
Figure BDA0002583687060000062
最后，介绍基于元路径的交互向量的表征：元路径含有丰富的语义信息,不同的用户通过不同元路径表明不同的喜好,即使是相同的用户与不同的物品通过同一个元路径,元路径中的语义信息也是不同的，因此为了更好地表征用户和物品的语义信息，我们使用注意机制为用户和物品之间的不同元路径分配权重；
给定用户全局向量表征xu，物品全局向量表征yi，元路径种类ρ的表征向量cρ，我们使用两个全连接层获取融合了前三者的注意力分数
Figure BDA0002583687060000063
其中
Figure BDA0002583687060000064
上标表示全连接层的层数，下标表示融合的信息，比如
Figure BDA0002583687060000065
表示第一个全连接层，融合了用户全局信息，物品全局信息，元路径种类信息的注意力分数，然后我们使用softmax对该分数进行归一化αu，i，ρ；
最后，通过简单的加权求和操作获得基于元路径的交互向量的表征；具体公式如下：
Figure BDA0002583687060000071
Figure BDA0002583687060000072
Figure BDA0002583687060000073
Figure BDA0002583687060000074
其中，W* (1)，b(1)表示第一个全连接层的权重矩阵和偏置项，w(2)，b(2)表示第二个全连接层的权重向量和偏置项；f(·)是非线性激活函数ReLU function；cu→i表示基于元路径的交互向量的表征；
所述步骤S5的具体步骤为：
按照之前的步骤我们获得了用户局部信息的向量表征x′u，物品局部信息的向量表征y′i，以及用户全局信息的向量表征xu和物品全局信息的向量表征yi；
采用拼接的方式将用户，物品的全局局部信息进行简单融合获得用户向量
Figure BDA0002583687060000075
和物品向量
Figure BDA0002583687060000076
具体的公式如下：
Figure BDA0002583687060000077
Figure BDA0002583687060000081
优选的，所述步骤S6的具体步骤为：
从语义和网络结构两方面考虑，我们利用基于元路径的交互向量cu→i同时分别增强用户和项的向量表示；
我们使用一个全连接层来分别获取用户和项目的注意分数；
最后，通过注意力分数分别与用户向量
Figure BDA0002583687060000082
和物品向量
Figure BDA0002583687060000083
进行的元素积⊙，得到最终用户与项目向量：
Figure BDA0002583687060000084
Figure BDA0002583687060000085
其中βu表示用户的注意力分数，βi表示物品的注意力分数，
Figure BDA0002583687060000086
表示最后的用户向量表征，
Figure BDA0002583687060000087
表示最后的物品向量表征；
所述步骤S7的具体步骤为：
首先，我们先将通过之前步骤获取的用户向量表征
Figure BDA0002583687060000088
物品向量表征
Figure BDA0002583687060000089
和基于元路径的交互向量的表征cu→i三者进行拼接操作，以获取最后融合了(用户，物品，用户-物品对下元路径交互)三元组的输出向量
Figure BDA00025836870600000810
Figure BDA00025836870600000811
然后，我们将
Figure BDA00025836870600000812
输入MLP中，实现复杂交互建模的非线性函数:
Figure BDA0002583687060000091
其中，MLP组件由两个包含ReLU非线性激活函数的隐含层和一个包含sigmoid函数的输出层组成；
Figure BDA0002583687060000092
表示用户物品对的预估分数值；
所述步骤S8的具体步骤为：
使用二分类的交叉熵作为损失函数：
Figure BDA0002583687060000093
其中第一项用于对观测到的相互作用进行建模，第二项用于对噪声分布为均匀分布P的负反馈进行建模；
这里的噪声分布可以设置为其他有偏分布；从这个公式我们可以看出当
Figure BDA0002583687060000094
无限接近1时，lu，i的数值很小几乎为0，当
Figure BDA0002583687060000095
无限接近0时，lu，i数值可以达到非常大，那么也就是说对模型的惩罚力度非常大，可以非常好地修正模型参数，优化模型。
与现有技术相比，本发明的有益效果是：本发明提供的一种基于深度神经网络的异构网络推荐算法，本发明利用遗传算法自动获取有价值的元路径种类，减少人为因素的干扰，结合元路径上下文显式地学习元路径向量；
通过协同注意机制将用户、对象和元路径相互集成；
通过节点域和网络结构信息挖掘异构网络中的全局和局部信息。
附图说明
图1为本发明的全局流程示意图；
图2为本发明的自动选取元路径种类示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明提供了如图1所示的一种基于深度神经网络的异构网络推荐算法，具体包括如下步骤：
S1：用户和物品的全局局部信息的向量表征；
物品和用户的全局信息向量表示方法：我们利用HIN2VEc算法[1]获得网络中节点的全局表示，我们从[2]中获得启发,我们设置了一个映射层将用户和物品的独热编码映射为低纬向量。给定用户-物品对<u，i>，设
Figure BDA0002583687060000101
表示用户的独热编码，
Figure BDA0002583687060000102
表示物品的独热编码。
Figure BDA0002583687060000103
表示查找层对应的参数矩阵，用于存储用户和物品的潜在信息。d为用户和项嵌入的维数，|U|和|I分别为用户数量和物品的数量。具体公式如下：
Figure BDA0002583687060000104
Figure BDA0002583687060000105
物品和用户的局部信息向量表示方法：参考[3]，每个用户(物品)都可以表示为其邻居物品(用户)序列，我们称它们为网络中该用户(物品)的局向量表征。这里，我们使用
Figure BDA0002583687060000111
表示当前用户，物品的邻居序列，|lu|，|li|表示该用户，物品的邻居个数(这里因为每个用户，物品的邻居数量较多，我们利用了cos相似度获取前15个邻居)，该序列中的每个节点的取值为节点的标识。Neighbor(u)，Neighbor(i)分别表示用户u和项目i的一组邻居。然后，我们使用查找层将Sn(u)，Sn(i)中的每个节点向量化，形成该用户(物品)的邻居向量序列
Figure BDA0002583687060000112
最后，我们将向量化的邻居序列输入到注意力机制中获取用户(物品)的局部向量表征。具体公式如下：
Figure BDA0002583687060000113
Figure BDA0002583687060000114
γn(u)＝softmax(xn(u)) (5)
γn(i)＝softmax(yn(i)) (6)
x′u＝∑n∈Neighbor(u)γn(y)·xn(u) (7)
y′i＝∑n∈Neighbor(i)γn(i)·yn(i)( 8)
S2：利用螺栓遗传算法[4]对元路径种类进行自动选取；
我们假设异构网络G中存在着M种元路径，我们的任务是自动选取M元路径中最优的X(X≤M)种元路径。这里我们构建一个表现型矩阵H,该矩阵的大小为
Figure BDA0002583687060000121
代表选取X种元路径的所有可能组合，其中每一行代表一个染色体，即该染色体的大小为1×X,代表选取X种元路径的某一种组合。
具体地，我们举出一个详细地例子如图2所示，该异构网络中存在着5种路径(ρ1，ρ2，ρ3，ρ4，ρ5),我们选取其中最优的4种元路径(ρ1，ρ2，ρ3，ρ4).H的大小为5×4,代表了从5种元路径中选取出4种元路径的所有可能组合，每行染色体大小为1×4，代表了其中一种可能的组合。
S3：获取最优的X种元路径种类下的元路径实例；
我们使用含有优先级的加权采样策略去获取最优X种元路径种类下的元路径实例。直观地讲，就是在获取元路径实例的每一步中，游走者都应该考虑到下一步游走到一个优先级更高的邻居，通过这样的游走策略就会获得一个语义更加紧密，更适用于推荐系统的路径实例。那么，如何定义出节点之间的优先级就是一个关键的问题。受[5,6]的启发，我们使用类似的预训练技术来测量每个候选节点的优先级。基本思想是我们根据异构网络中不同节点之间的评分作为分配权重的标准，比如在电影评价中评分为1-5分，用户u对电影i的评分为5分，那么对于用户u与电影i之间的链接的权重值就为最高。然后，我们可以通过权重与当前节点和其邻居节点之间的相似性的乘积值来衡量优先级，这样的优先级分数直接反映了两个节点之间的关联程度。最后，对于给定长度为L的路劲实例，我们可以计算出路径实例中两个连续节点之间的成对相似性和权重值，然后将这些相似性与权重值的乘积平均起来，对候选路径实例进行排序。给定一个元路径，我们只保留平均相似性最高的topK路径实例。
S4：获取基于元路径的交互向量；
在得到了X种元路径下的路径实例之后，我们采用层次结构去获取基于元路径的交互向量：元路径实例的向量表征——>元路径种类的向量表征——>基于元路径的交互向量的表征。
首先，先介绍元路径实例的向量表征。元路径是一组节点的序列。这里，我们采用卷积神经网络(CNN)将这样一个节点序列嵌到一个低维向量中，CNN的结构是一个卷积层和一个最大池化层。给定元路径种类ρ下的某一路径实例p，使得
Figure BDA0002583687060000131
表示路径实例矩阵，其中L表示路径长度。元路径实例p的向量表征如下：
hp＝CNN(Xp；Θ) (9)
其中Θ表示CNN中所有有关的参数，hp表示元路径实例p的向量表征。
其次，介绍元路径种类的向量表征。元路径下包含了许多的路径实例。经过我们加权采样策略的筛选，对于每一个元路径种类我们获得了前k个路径实例，这里我们采用简单的最大池化操作从多个路径实例中捕获重要的维度特征。使
Figure BDA0002583687060000141
表示从元路径ρ选择出的k个路径实例的向量表征。元路径种类ρ的表示计算如下：
Figure BDA0002583687060000142
最后，介绍基于元路径的交互向量的表征。元路径含有丰富的语义信息,不同的用户通过不同元路径表明不同的喜好,即使是相同的用户与不同的物品通过同一个元路径,元路径中的语义信息也是不同的，因此为了更好地表征用户和物品的语义信息，我们使用注意机制为用户和物品之间的不同元路径分配权重。给定用户全局向量表征xu，物品全局向量表征yi，元路径种类ρ的表征向量cρ，我们使用两个全连接层获取融合了前三者的注意力分数
Figure BDA0002583687060000151
其中
Figure BDA0002583687060000152
上标表示全连接层的层数，下标表示融合的信息，比如
Figure BDA0002583687060000153
表示第一个全连接层，融合了用户全局信息，物品全局信息，元路径种类信息的注意力分数，然后我们使用softmax对该分数进行归一化αu，i，ρ。最后，通过简单的加权求和操作获得基于元路径的交互向量的表征。具体公式如下：
Figure BDA0002583687060000154
Figure BDA0002583687060000155
Figure BDA0002583687060000156
Figure BDA0002583687060000157
其中，W* (1)，b(1)表示第一个全连接层的权重矩阵和偏置项，w(2)，b(2)表示第二个全连接层的权重向量和偏置项。f(·)是非线性激活函数ReLU function。cu→i表示基于元路径的交互向量的表征。
S5：用户，物品全局局部信息融合；
按照之前的步骤我们获得了用户局部信息的向量表征x′u，物品局部信息的向量表征y′i，以及用户全局信息的向量表征xu和物品全局信息的向量表征yi。采用拼接的方式将用户，物品的全局局部信息进行简单融合获得用户向量
Figure BDA0002583687060000158
和物品向量
Figure BDA0002583687060000159
具体的公式如下：
Figure BDA0002583687060000161
Figure BDA0002583687060000162
S6：使用协同注意力机制，对用户和物品的向量表征进行加强；
这里，从语义和网络结构两方面考虑，我们利用基于元路径的交互向量cu→i同时分别增强用户和项的向量表示。我们使用一个全连接层来分别获取用户和项目的注意分数。最后，通过注意力分数分别与用户向量
Figure BDA0002583687060000163
和物品向量
Figure BDA0002583687060000164
进行的元素积⊙，得到最终用户与项目向量：
Figure BDA0002583687060000165
Figure BDA0002583687060000166
其中βu表示用户的注意力分数，βi表示物品的注意力分数，
Figure BDA0002583687060000167
表示最后的用户向量表征，
Figure BDA0002583687060000168
表示最后的物品向量表征。
S7：用户，物品对的评分获取；
首先，我们先将通过之前步骤获取的用户向量表征
Figure BDA0002583687060000169
物品向量表征
Figure BDA00025836870600001610
和基于元路径的交互向量的表征cu→i三者进行拼接操作，以获取最后融合了(用户，物品，用户-物品对下元路径交互)三元组的输出向量
Figure BDA00025836870600001611
Figure BDA00025836870600001612
然后，参考[2]，我们将
Figure BDA00025836870600001613
输入MLP中，实现复杂交互建模的非线性函数:
Figure BDA0002583687060000171
其中，MLP组件由两个包含ReLU非线性激活函数的隐含层和一个包含sigmoid函数的输出层组成。
Figure BDA0002583687060000172
表示用户物品对的预估分数值。
S8：构建损失函数优化参数；
这里我们使用二分类的交叉熵作为损失函数：
Figure BDA0002583687060000173
其中第一项用于对观测到的相互作用进行建模，第二项用于对噪声分布为均匀分布P的负反馈进行建模。这里的噪声分布可以设置为其他有偏分布。从这个公式我们可以看出当
Figure BDA0002583687060000174
无限接近1时，lu，i的数值很小几乎为0，当
Figure BDA0002583687060000175
无限接近0时，lu，i数值可以达到非常大，那么也就是说对模型的惩罚力度非常大，可以非常好地修正模型参数，优化模型。
S9：重复步骤1-8，当lu，i稳定趋于一个很小的阈值ε(ε>0)时，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。
[1]Fu,Tao-yang,Wang-Chien Lee,and Zhen Lei."Hin2vec:Explore meta-paths in heterogeneous information networks for representation learning."Proceedings of the 2017ACM on Conference on Information and KnowledgeManagement.ACM,2017.
[2]Xiang nan He,Lizi Liao,Han wang Zhang,Liqiang Nie,Xia Hu,and Tat-Seng Chua.2017.Neural collaborative filtering.In Proceedings of the 26thInternational Conference on World Wide Web.173–182.
[3]Hu,B.,Shi,C.,Zhao,W.X.,&Yang,T.(2018,October).Local and GlobalInformation Fusion for Top-N Recommendation in Heterogeneous InformationNetwork.In Proceedings of the 27th ACM International Conference onInformation and Knowledge Management(pp.1683-1686).ACM.
[4]Ming-Gang D,Qin-Zhou N,Xiang Y.Opposition-based Stud GeneticAlgorithm[J].Computer Engineering,2009,35(20):239-241.
[5]Xiang nan He,Lizi Liao,Hanwang Zhang,Liqiang Nie,Xia Hu,and Tat-Seng Chua.2017.Neural collaborative filtering.In Proceedings of the 26thInternational Conference on World Wide Web.173–182.
[6]Geoffrey E Hinton and Ruslan R Salakhutdinov.2012.A better way topretrain deep Boltzmann machines.In Advances in Neural Information ProcessingSystems.2447–2455。
综上所述，与现有技术相比，本发明利用遗传算法自动获取有价值的元路径种类，减少人为因素的干扰，结合元路径上下文显式地学习元路径向量；
通过协同注意机制将用户、对象和元路径相互集成；
通过节点域和网络结构信息挖掘异构网络中的全局和局部信息。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度神经网络的异构网络推荐算法，其特征在于：包括如下步骤：
S1：用户和物品的全局局部信息的向量表征；
S2：利用螺栓遗传算法对元路径种类进行自动选取；
S3：获取最优的X种元路径种类下的元路径实例；
S4：获取基于元路径的交互向量；
S5：用户，物品全局局部信息融合；
S6：使用协同注意力机制，对用户和物品的向量表征进行加强；
S7：用户，物品对的评分获取；
S8：构建损失函数优化参数；
S9：重复步骤1-8，当lu，i稳定趋于一个很小的阈值ε(ε>0)时，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。
2.根据权利要求1所述的一种基于深度神经网络的异构网络推荐算法，其特征在于：所述步骤S1中：
物品和用户的全局信息向量表示方法：利用HIN2VEc算法[1]获得网络中节点的全局表示，从[2]中获得启发,设置了一个映射层将用户和物品的独热编码映射为低纬向量；
给定用户-物品对<u，i>，设
Figure FDA0002583687050000011
表示用户的独热编码，
Figure FDA0002583687050000012
表示物品的独热编码；
Figure FDA0002583687050000013
表示查找层对应的参数矩阵，用于存储用户和物品的潜在信息；
d为用户和项嵌入的维数，|U|和|I|分别为用户数量和物品的数量；
具体公式如下：
xu＝PT·pu (1)
yi＝QT·qi (2)；
物品和用户的局部信息向量表示方法：参考[3]，每个用户(物品)都可以表示为其邻居物品(用户)序列，称它们为网络中该用户(物品)的局向量表征；
这里，使用
Figure FDA0002583687050000021
表示当前用户，物品的邻居序列，|lu|，|li|表示该用户，物品的邻居个数(这里因为每个用户，物品的邻居数量较多，利用了cos相似度获取前15个邻居)，该序列中的每个节点的取值为节点的标识；
Neighbor(u)，Neighbor(i)分别表示用户u和项目i的一组邻居；
然后，使用查找层将Sn(u)，Sn(i)中的每个节点向量化，形成该用户(物品)的邻居向量序列
Figure FDA0002583687050000022
最后，我们将向量化的邻居序列输入到注意力机制中获取用户(物品)的局部向量表征；
具体公式如下：
xn(u)＝QT·Sn(u) (3)
yn(i)＝PT·Sn(i) (4)
γn(u)＝softmax(xn(u)) (5)
γn(i)＝softmax(yn(i)) (6)
x′u＝∑n∈Neighbor(u)γn(u)·xn(u) (7)
y′i＝∑n∈Neighbor(i)γn(i)·yn(i) (8)。
3.根据权利要求1所述的一种基于深度神经网络的异构网络推荐算法，其特征在于：所述步骤S2的具体步骤为：
假设异构网络G中存在着M种元路径，我们的任务是自动选取M元路径中最优的X(X≤M)种元路径；
这里我们构建一个表现型矩阵H,该矩阵的大小为
Figure FDA0002583687050000031
代表选取X种元路径的所有可能组合，其中每一行代表一个染色体，即该染色体的大小为1×X,代表选取X种元路径的某一种组合；
该异构网络G中存在着5种元路径(ρ1，ρ2，ρ3，ρ4，ρ5),我们选取其中最优的4种元路径(ρ1，ρ2，ρ3，ρ4).H的大小为5×4,代表了从5种元路径中选取出4种元路径的所有可能组合，每行染色体大小为1×4，代表了其中一种可能的组合。
4.根据权利要求1所述的一种基于深度神经网络的异构网络推荐算法，其特征在于：所述步骤S3的具体步骤为：
使用含有优先级的加权采样策略去获取最优X种元路径种类下的元路径实例；直观地讲，就是在获取元路径实例的每一步中，游走者都应该考虑到下一步游走到一个优先级更高的邻居，通过这样的游走策略就会获得一个语义更加紧密，更适用于推荐系统的路径实例；
使用类似的预训练技术来测量每个候选节点的优先级；基本思想是我们根据异构网络中不同节点之间的评分作为分配权重的标准，比如在电影评价中评分为1-5分，用户u对电影i的评分为5分，那么对于用户u与电影i之间的链接的权重值就为最高；
然后，通过权重与当前节点和其邻居节点之间的相似性的乘积值来衡量优先级，这样的优先级分数直接反映了两个节点之间的关联程度；
最后，对于给定长度为L的路劲实例，可以计算出路径实例中两个连续节点之间的成对相似性和权重值，然后将这些相似性与权重值的乘积平均起来，对候选路径实例进行排序；给定一个元路径，只保留平均相似性最高的top K路径实例。
5.根据权利要求1所述的一种基于深度神经网络的异构网络推荐算法，其特征在于：所述步骤S4的具体步骤为：
在得到了X种元路径下的路径实例之后，我们采用层次结构去获取基于元路径的交互向量：元路径实例的向量表征——>元路径种类的向量表征——>基于元路径的交互向量的表征；
首先，先介绍元路径实例的向量表征：元路径是一组节点的序列，这里，我们采用卷积神经网络(CNN)将这样一个节点序列嵌到一个低维向量中，CNN的结构是一个卷积层和一个最大池化层；
给定元路径种类ρ下的某一路径实例p，使得
Figure FDA0002583687050000051
表示路径实例矩阵，其中L表示路径长度；
元路径实例p的向量表征如下：
hp＝CNN(Xp；Θ) (9)
其中Θ表示CNN中所有有关的参数，hp表示元路径实例p的向量表征
其次，介绍元路径种类的向量表征：元路径下包含了许多的路径实例，经过我们加权采样策略的筛选，对于每一个元路径种类我们获得了前k个路径实例，这里我们采用简单的最大池化操作从多个路径实例中捕获重要的维度特征，使
Figure FDA0002583687050000052
表示从元路径ρ选择出的k个路径实例的向量表征；
元路径种类ρ的表示计算如下：
Figure FDA0002583687050000061
最后，介绍基于元路径的交互向量的表征：元路径含有丰富的语义信息,不同的用户通过不同元路径表明不同的喜好,即使是相同的用户与不同的物品通过同一个元路径,元路径中的语义信息也是不同的，因此为了更好地表征用户和物品的语义信息，我们使用注意机制为用户和物品之间的不同元路径分配权重；
给定用户全局向量表征xu，物品全局向量表征yi，元路径种类ρ的表征向量cρ，我们使用两个全连接层获取融合了前三者的注意力分数
Figure FDA0002583687050000062
其中
Figure FDA0002583687050000063
上标表示全连接层的层数，下标表示融合的信息，比如
Figure FDA0002583687050000064
表示第一个全连接层，融合了用户全局信息，物品全局信息，元路径种类信息的注意力分数，然后我们使用softmax对该分数进行归一化αu，i，ρ；
最后，通过简单的加权求和操作获得基于元路径的交互向量的表征；具体公式如下：
Figure FDA0002583687050000065
Figure FDA0002583687050000066
Figure FDA0002583687050000067
Figure FDA0002583687050000068
其中，W* (1)，b(1)表示第一个全连接层的权重矩阵和偏置项，w(2)，b(2)表示第二个全连接层的权重向量和偏置项；f(·)是非线性激活函数ReLU function；cu→i表示基于元路径的交互向量的表征；
所述步骤S5的具体步骤为：
按照之前的步骤我们获得了用户局部信息的向量表征x′u，物品局部信息的向量表征y′i，以及用户全局信息的向量表征xu和物品全局信息的向量表征yi；
采用拼接的方式将用户，物品的全局局部信息进行简单融合获得用户向量
Figure FDA0002583687050000071
和物品向量
Figure FDA0002583687050000072
具体的公式如下：
Figure FDA0002583687050000073
Figure FDA0002583687050000074
6.根据权利要求1所述的一种基于深度神经网络的异构网络推荐算法，其特征在于：所述步骤S6的具体步骤为：
从语义和网络结构两方面考虑，我们利用基于元路径的交互向量cu→i同时分别增强用户和项的向量表示；
我们使用一个全连接层来分别获取用户和项目的注意分数；
最后，通过注意力分数分别与用户向量
Figure FDA0002583687050000075
和物品向量
Figure FDA0002583687050000076
进行的元素积⊙，得到最终用户与项目向量：
Figure FDA0002583687050000081
Figure FDA0002583687050000082
其中βu表示用户的注意力分数，βi表示物品的注意力分数，
Figure FDA0002583687050000083
表示最后的用户向量表征，
Figure FDA0002583687050000084
表示最后的物品向量表征；
所述步骤S7的具体步骤为：
首先，我们先将通过之前步骤获取的用户向量表征
Figure FDA0002583687050000085
物品向量表征
Figure FDA0002583687050000086
和基于元路径的交互向量的表征cu→i三者进行拼接操作，以获取最后融合了(用户，物品，用户-物品对下元路径交互)三元组的输出向量
Figure FDA0002583687050000087
Figure FDA0002583687050000088
然后，我们将
Figure FDA0002583687050000089
输入MLP中，实现复杂交互建模的非线性函数:
Figure FDA00025836870500000810
其中，MLP组件由两个包含ReLU非线性激活函数的隐含层和一个包含sigmoid函数的输出层组成；
Figure FDA00025836870500000811
表示用户物品对的预估分数值；
所述步骤S8的具体步骤为：
使用二分类的交叉熵作为损失函数：
Figure FDA00025836870500000812
其中第一项用于对观测到的相互作用进行建模，第二项用于对噪声分布为均匀分布P的负反馈进行建模；
这里的噪声分布可以设置为其他有偏分布；从这个公式我们可以看出当
Figure FDA0002583687050000091
无限接近1时，lu，i的数值很小几乎为0，当
Figure FDA0002583687050000092
无限接近0时，lu，i数值可以达到非常大，那么也就是说对模型的惩罚力度非常大，可以非常好地修正模型参数，优化模型。
CN202010674870.2A 2020-07-14 2020-07-14 一种基于深度神经网络的异构网络推荐方法 Active CN111832724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010674870.2A CN111832724B (zh) 2020-07-14 2020-07-14 一种基于深度神经网络的异构网络推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010674870.2A CN111832724B (zh) 2020-07-14 2020-07-14 一种基于深度神经网络的异构网络推荐方法

Publications (2)

Publication Number Publication Date
CN111832724A true CN111832724A (zh) 2020-10-27
CN111832724B CN111832724B (zh) 2023-03-28

Family

ID=72923322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010674870.2A Active CN111832724B (zh) 2020-07-14 2020-07-14 一种基于深度神经网络的异构网络推荐方法

Country Status (1)

Country Link
CN (1) CN111832724B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102015A (zh) * 2020-11-17 2020-12-18 腾讯科技（深圳）有限公司 物品推荐方法、元网络处理方法、装置、存储介质和设备
CN112800344A (zh) * 2021-01-29 2021-05-14 重庆邮电大学 一种基于深度神经网络的电影推荐方法
CN113254785A (zh) * 2021-06-21 2021-08-13 腾讯科技（深圳）有限公司 推荐模型训练方法、推荐方法和相关设备
CN113780827A (zh) * 2021-09-14 2021-12-10 北京沃东天骏信息技术有限公司 一种物品筛选方法、装置、电子设备及计算机可读介质
CN117495481A (zh) * 2023-10-25 2024-02-02 宁夏大学 一种基于异构时序图关注度网络的物品推荐方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583991A (en) * 1993-06-29 1996-12-10 Bay Networks, Inc. Method for providing for automatic topology discovery in an ATM network or the like
CN105373597A (zh) * 2015-10-27 2016-03-02 华侨大学 基于k-medoids项目聚类和局部兴趣融合的用户协同过滤推荐方法
CN105787100A (zh) * 2016-03-18 2016-07-20 浙江大学 一种基于深度神经网络的用户会话推荐方法
US20160275401A1 (en) * 2015-03-20 2016-09-22 Fuji Xerox Co., Ltd. Methods and systems of venue inference for social messages
CN106802956A (zh) * 2017-01-19 2017-06-06 山东大学 一种基于加权异构信息网络的电影推荐方法
US20180020250A1 (en) * 2015-09-08 2018-01-18 Tencent Technology (Shenzhen) Company Limited Recommendation information pushing method, server, and storage medium
CN109002488A (zh) * 2018-06-26 2018-12-14 北京邮电大学 一种基于元路径上下文的推荐模型训练方法及装置
CN109190030A (zh) * 2018-08-22 2019-01-11 南京工业大学 融合node2vec和深度神经网络的隐式反馈推荐方法
CN110598130A (zh) * 2019-09-30 2019-12-20 重庆邮电大学 一种融合异构信息网络和深度学习的电影推荐方法
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN111222049A (zh) * 2020-01-08 2020-06-02 东北大学 语义增强的异构信息网络上Top-k相似度搜索方法
CN111310045A (zh) * 2020-02-16 2020-06-19 重庆邮电大学 一种基于元路径的网络嵌入的电影推荐方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583991A (en) * 1993-06-29 1996-12-10 Bay Networks, Inc. Method for providing for automatic topology discovery in an ATM network or the like
US20160275401A1 (en) * 2015-03-20 2016-09-22 Fuji Xerox Co., Ltd. Methods and systems of venue inference for social messages
US20180020250A1 (en) * 2015-09-08 2018-01-18 Tencent Technology (Shenzhen) Company Limited Recommendation information pushing method, server, and storage medium
CN105373597A (zh) * 2015-10-27 2016-03-02 华侨大学 基于k-medoids项目聚类和局部兴趣融合的用户协同过滤推荐方法
CN105787100A (zh) * 2016-03-18 2016-07-20 浙江大学 一种基于深度神经网络的用户会话推荐方法
CN106802956A (zh) * 2017-01-19 2017-06-06 山东大学 一种基于加权异构信息网络的电影推荐方法
CN109002488A (zh) * 2018-06-26 2018-12-14 北京邮电大学 一种基于元路径上下文的推荐模型训练方法及装置
CN109190030A (zh) * 2018-08-22 2019-01-11 南京工业大学 融合node2vec和深度神经网络的隐式反馈推荐方法
CN110598130A (zh) * 2019-09-30 2019-12-20 重庆邮电大学 一种融合异构信息网络和深度学习的电影推荐方法
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN111222049A (zh) * 2020-01-08 2020-06-02 东北大学 语义增强的异构信息网络上Top-k相似度搜索方法
CN111310045A (zh) * 2020-02-16 2020-06-19 重庆邮电大学 一种基于元路径的网络嵌入的电影推荐方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BINBIN HU ET AL.: "Local and Global Information Fusion for Top-N Recommendation in Heterogeneous Information Network", 《IN PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》 *
GAURAV SRIVASTAV ET AL.: "Review on e-Learning Environment Development and context aware recommendation systems using Deep Learning", 《2019 3RD INTERNATIONAL CONFERENCE ON RECENT DEVELOPMENTS IN CONTROL,AUTOMATION & POWER ENGINEERING(RDCAPE)》 *
曹玖新 等: "LBSN中基于元路径的兴趣点推荐", 《计算机学报》 *
步少莉: "异构信息网络Top-k相关性查询方法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *
赵桓幜: "基于异构信息网络的引文推荐方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102015A (zh) * 2020-11-17 2020-12-18 腾讯科技（深圳）有限公司 物品推荐方法、元网络处理方法、装置、存储介质和设备
CN112800344A (zh) * 2021-01-29 2021-05-14 重庆邮电大学 一种基于深度神经网络的电影推荐方法
CN112800344B (zh) * 2021-01-29 2022-03-22 重庆邮电大学 一种基于深度神经网络的电影推荐方法
CN113254785A (zh) * 2021-06-21 2021-08-13 腾讯科技（深圳）有限公司 推荐模型训练方法、推荐方法和相关设备
CN113780827A (zh) * 2021-09-14 2021-12-10 北京沃东天骏信息技术有限公司 一种物品筛选方法、装置、电子设备及计算机可读介质
CN117495481A (zh) * 2023-10-25 2024-02-02 宁夏大学 一种基于异构时序图关注度网络的物品推荐方法
CN117495481B (zh) * 2023-10-25 2024-06-11 宁夏大学 一种基于异构时序图关注度网络的物品推荐方法

Also Published As

Publication number Publication date
CN111832724B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN111832724B (zh) 一种基于深度神经网络的异构网络推荐方法
Huang et al. Knowledge-aware coupled graph neural network for social recommendation
Xi et al. Modelling of bi-directional spatio-temporal dependence and users’ dynamic preferences for missing poi check-in identification
CN110677284B (zh) 一种基于元路径的异构网络链路预测的方法
Borzooei et al. Semi global domination sets in vague graphs with application
CN111709518A (zh) 一种基于社区感知和关系注意力的增强网络表示学习的方法
CN111462282A (zh) 一种场景图生成方法
CN112036445B (zh) 基于神经张量网络的跨社交网络用户身份识别方法
CN111310045A (zh) 一种基于元路径的网络嵌入的电影推荐方法
Bagavathi et al. Multi-net: a scalable multiplex network embedding framework
Wu et al. EAGCN: An efficient adaptive graph convolutional network for item recommendation in social Internet of Things
CN112948625A (zh) 一种基于属性异质信息网络嵌入的电影推荐方法
CN113298191A (zh) 基于个性化半监督在线联邦学习的用户行为识别方法
CN112507246A (zh) 一种融合全局和局部社会兴趣影响的社会推荐方法
Liang et al. Collaborative energy-efficient moving in Internet of Things: Genetic fuzzy tree versus neural networks
CN115408621B (zh) 顾及辅助信息特征线性及非线性交互的兴趣点推荐方法
CN114461934A (zh) 基于动态交通网络的多模态出行方式融合推荐方法
CN112364245B (zh) 基于异构信息网络嵌入的Top-K电影推荐方法
Liu et al. Wl-align: Weisfeiler-lehman relabeling for aligning users across networks via regularized representation learning
CN117251586A (zh) 多媒体资源推荐方法、装置及存储介质
Liu et al. Simple primitives with feasibility-and contextuality-dependence for open-world compositional zero-shot learning
Qi et al. Breaking the barrier to transferring link information across networks
Biadsy et al. Transfer learning for content-based recommender systems using tree matching
CN114792384A (zh) 融合高阶结构嵌入与复合池化的图分类方法及系统
Zhang et al. When behavior analysis meets social network alignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant