CN111832724B - 一种基于深度神经网络的异构网络推荐方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的异构网络推荐算法，包括如下步骤：S1：用户和物品的全局局部信息的向量表征；S2：利用螺栓遗传算法对元路径种类进行自动选取；S3：获取最优的X种元路径种类下的元路径实例；S4：获取基于元路径的交互向量；S5：用户，物品全局局部信息融合；S6：使用协同注意力机制，对用户和物品的向量表征进行加强；S7：用户，物品对的评分获取；S8：构建损失函数优化参数；S9：重复步骤1‑8，当l_u，i稳定趋于一个很小的阈值ε(ε>0)时，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。本发明利用遗传算法自动获取有价值的元路径种类，减少人为因素的干扰；通过节点域和网络结构信息挖掘异构网络中的全局和局部信息。

Description

一种基于深度神经网络的异构网络推荐方法

技术领域

本发属于机器学习领域，具体涉及一种基于深度神经网络的异构网络推荐方法。

背景技术

与同构网络不同，具有不同节点和链路类型的异构信息网络整合了复杂的信息，包含丰富的语义。因此，基于异构网络的推荐方法近年来激增。虽然这些方法在一定程度上提高了推荐性能，但仍然存在不足。首先，大多现有的推荐算法的元路径种类通常是人为定义的，大多数元路径种类是根据先验信息来判断的，存在着一定的干扰。再者，这些算法很少显式地将元路径表征出来。同时，这些算法还面临着如何在异构网络中广泛探索，挖掘网络的局部和全局信息的问题。最后，这些算法没有显示地考虑元路径和所涉及的用户-项目对之间的交互。针对这些问题，我们提出了一种基于深度神经网络的异构网络推荐方法。

发明内容

本发明的目的在于提供一种基于深度神经网络的异构网络推荐方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度神经网络的异构网络推荐方法，包括如下步骤：

S1：用户和物品的全局局部信息的向量表征；

S2：利用螺栓遗传算法对元路径种类进行自动选取；

S3：获取最优的X种元路径种类下的元路径实例；

S4：获取基于元路径的交互向量；

S5：用户，物品全局局部信息融合；

S6：使用协同注意力机制，对用户和物品的向量表征进行加强；

S7：用户，物品对的评分获取；

S8：构建损失函数优化参数；

S9：重复步骤S1-S8，当

稳定趋于一个很小的阈值ε时，其中ε>0，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。

优选的，所述步骤S1中：

物品和用户的全局信息向量表示方法：利用HIN2VEc算法[1]获得网络中节点的全局表示，从[2]中获得启发,设置了一个映射层将用户和物品的独热编码映射为低纬向量；

给定用户-物品对<u，i>，设

表示用户的独热编码，/>

表示物品的独热编码；

表示查找层对应的参数矩阵，用于存储用户和物品的潜在信息；/>

d为用户和项嵌入的维数，|U|和|I|分别为用户数量和物品的数量；

具体公式如下：

x_u＝P^T·p_u (1)

y_i＝Q^T·q_i (2)；

物品和用户的局部信息向量表示方法：每个用户(物品)都可以表示为其邻居物品(用户)序列，称它们为网络中该用户(物品)的局向量表征；

这里，使用

表示当前用户，物品的邻居序列，/>

表示该用户，物品的邻居个数(这里因为每个用户，物品的邻居数量较多，利用了cos相似度获取前15个邻居)，该序列中的每个节点的取值为节点的标识；

Neighbor(u)，Neighbor(i)分别表示用户u和项目i的一组邻居；

然后，使用查找层将S_n(u)，S_n(i)中的每个节点向量化，形成该用户(物品)的邻居向量序列

最后，我们将向量化的邻居序列输入到注意力机制中获取用户(物品)的局部向量表征；

具体公式如下：

x_n(u)＝Q^T·S_n(u) (3)

y_n(i)＝P^T·S_n(i) (4)

γ_n(u)＝softmax(x_n(u)) (5)

γ_n(i)＝softmax(y_n(i)) (6)

x′_u＝∑_{n∈Neighbor(u)}γ_n(u)·x_n(u) (7)

y′_i＝∑_{n∈Neighbor(i)}γ_n(i)·y_n(i) (8)。

优选的，所述步骤S2的具体步骤为：

假设异构网络G中存在着M种元路径，我们的任务是自动选取M元路径中最优的X(X≤M)种元路径；

这里我们构建一个表现型矩阵H,该矩阵的大小为

代表选取X种元路径的所有可能组合，其中每一行代表一个染色体，即该染色体的大小为1×X,代表选取X种元路径的某一种组合；

该异构网络G中存在着5种元路径(ρ₁，ρ₂，ρ₃，ρ₄，ρ₅),我们选取其中最优的4种元路径(ρ₁，ρ₂，ρ₃，ρ₄),H的大小为5×4,代表了从5种元路径中选取出4种元路径的所有可能组合，每行染色体大小为1×4，代表了其中一种可能的组合。

优选的，所述步骤S3的具体步骤为：

使用含有优先级的加权采样策略去获取最优X种元路径种类下的元路径实例；直观地讲，就是在获取元路径实例的每一步中，游走者都应该考虑到下一步游走到一个优先级更高的邻居，通过这样的游走策略就会获得一个语义更加紧密，更适用于推荐系统的路径实例；

使用类似的预训练技术来测量每个候选节点的优先级；基本思想是我们根据异构网络中不同节点之间的评分作为分配权重的标准，比如在电影评价中评分为1-5分，用户u对电影i的评分为5分，那么对于用户u与电影i之间的链接的权重值就为最高；

然后，通过权重与当前节点和其邻居节点之间的相似性的乘积值来衡量优先级，这样的优先级分数直接反映了两个节点之间的关联程度；

最后，对于给定长度为L的路径实例，可以计算出路径实例中两个连续节点之间的成对相似性和权重值，然后将这些相似性与权重值的乘积平均起来，对候选路径实例进行排序；给定一个元路径，只保留平均相似性最高的K个路径实例。

优选的，所述步骤S4的具体步骤为：

在得到了X种元路径下的路径实例之后，我们采用层次结构去获取基于元路径的交互向量：元路径实例的向量表征——>元路径种类的向量表征——>基于元路径的交互向量的表征；

首先，先介绍元路径实例的向量表征：元路径是一组节点的序列，这里，我们采用卷积神经网络(CNN)将这样一个节点序列嵌到一个低维向量中，CNN的结构是一个卷积层和一个最大池化层；

给定元路径种类ρ下的某一路径实例p，使得

表示路径实例矩阵，其中L表示路径长度；

元路径实例p的向量表征如下：

h_p＝CNN(X^p；Θ) (9)

其中Θ表示CNN中所有有关的参数，h_p表示元路径实例p的向量表征

其次，介绍元路径种类的向量表征：元路径下包含了许多的路径实例，经过我们加权采样策略的筛选，对于每一个元路径种类我们获得了前k个路径实例，这里我们采用简单的最大池化操作从多个路径实例中捕获重要的维度特征，使

表示从元路径ρ选择出的k个路径实例的向量表征；

元路径种类ρ的表示计算如下：

最后，介绍基于元路径的交互向量的表征：元路径含有丰富的语义信息,不同的用户通过不同元路径表明不同的喜好,即使是相同的用户与不同的物品通过同一个元路径,元路径中的语义信息也是不同的，因此为了更好地表征用户和物品的语义信息，我们使用注意机制为用户和物品之间的不同元路径分配权重；

给定用户全局向量表征x_u，物品全局向量表征y_i，元路径种类ρ的表征向量c_ρ，我们使用两个全连接层获取融合了前三者的注意力分数

其中/>

上标表示全连接层的层数，下标表示融合的信息，比如/>

表示第一个全连接层，融合了用户全局信息，物品全局信息，元路径种类信息的注意力分数，然后我们使用softmax对该分数进行归一化α_u，i，ρ；

最后，通过简单的加权求和操作获得基于元路径的交互向量的表征；具体公式如下：

其中，W_* ⁽¹⁾b⁽¹⁾表示第一个全连接层的权重矩阵和偏置项，w⁽²⁾，b⁽²⁾表示第二个全连接层的权重向量和偏置项；f(·)是非线性激活函数ReLU function；c_u→i表示基于元路径的交互向量的表征；

所述步骤S5的具体步骤为：

按照之前的步骤我们获得了用户局部信息的向量表征x′_u，物品局部信息的向量表征y′_i，以及用户全局信息的向量表征x_u和物品全局信息的向量表征y_i；

采用拼接的方式将用户，物品的全局局部信息进行简单融合获得用户向量

和物品向量/>

具体的公式如下：

优选的，所述步骤S6的具体步骤为：

从语义和网络结构两方面考虑，我们利用基于元路径的交互向量c_u→i同时分别增强用户和物品的向量表示；

我们使用一个全连接层来分别获取用户和物品的注意分数；

最后，通过注意力分数分别与用户向量

和物品向量/>

进行元素积⊙，得到最终用户与物品向量：

其中β_u表示用户的注意力分数，β_i表示物品的注意力分数，

表示最后的用户向量表征，/>

表示最后的物品向量表征；

所述步骤S7的具体步骤为：

首先，我们先将通过之前步骤获取的用户向量表征

物品向量表征/>

和基于元路径的交互向量的表征c_u→i三者进行拼接操作，以获取最后融合了用户，物品，用户-物品对下元路径交互三元组的输出向量/>

然后，我们将

输入MLP中，实现复杂交互建模的非线性函数:/>

其中，MLP组件由两个包含ReLU非线性激活函数的隐含层和一个包含sigmoid函数的输出层组成；

表示用户物品对的预估分数值；

所述步骤S8的具体步骤为：

使用二分类的交叉熵作为损失函数：

其中第一项用于对观测到的相互作用进行建模，第二项用于对噪声分布为均匀分布P的负反馈进行建模；

这里的噪声分布可以设置为其他有偏分布；从这个公式我们可以看出当

无限接近1时，/>

的数值很小几乎为0，当/>

无限接近0时，/>

数值可以达到非常大，那么也就是说对模型的惩罚力度非常大，可以非常好地修正模型参数，优化模型。

与现有技术相比，本发明的有益效果是：本发明提供的一种基于深度神经网络的异构网络推荐方法，本发明利用遗传算法自动获取有价值的元路径种类，减少人为因素的干扰，结合元路径上下文显式地学习元路径向量；

通过协同注意机制将用户、对象和元路径相互集成；

通过节点域和网络结构信息挖掘异构网络中的全局和局部信息。

附图说明

图1为本发明的全局流程示意图；

图2为本发明的自动选取元路径种类示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明提供了如图1所示的一种基于深度神经网络的异构网络推荐方法，具体包括如下步骤：

S1：用户和物品的全局局部信息的向量表征；

物品和用户的全局信息向量表示方法：我们利用HIN2VEc算法^[1]获得网络中节点的全局表示，我们从[2]中获得启发,我们设置了一个映射层将用户和物品的独热编码映射为低纬向量。给定用户-物品对<u，i>，设

表示用户的独热编码，

表示物品的独热编码；，/>

表示查找层对应的参数矩阵，用于存储用户和物品的潜在信息。d为用户和项嵌入的维数，|U|和|I|分别为用户数量和物品的数量。具体公式如下：/>

x_u＝P^T·p_u (1)

y_i＝Q^T·q_i (2)

物品和用户的局部信息向量表示方法：参考[3]，每个用户(物品)都可以表示为其邻居物品(用户)序列，我们称它们为网络中该用户(物品)的局向量表征。这里，我们使用

表示当前用户，物品的邻居序列，/>

表示该用户，物品的邻居个数(这里因为每个用户，物品的邻居数量较多，我们利用了cos相似度获取前15个邻居)，该序列中的每个节点的取值为节点的标识。Neighbor(u)，Neighbor(i)分别表示用户u和项目i的一组邻居。然后，我们使用查找层将S_n(u)，S_n(i)中的每个节点向量化，形成该用户(物品)的邻居向量序列/>

最后，我们将向量化的邻居序列输入到注意力机制中获取用户(物品)的局部向量表征。具体公式如下：

x_n(u)＝Q^T·S_n(u) (3)

y_n(i)＝P^T·S_n(i) (4)

γ_n(u)＝softmax(x_n(u)) (5)

γ_n(i)＝softmax(y_n(i)) (6)

x′_u＝∑_{n∈Neighbor(u)}γ_n(u)·x_n(u) (7)

y′_i＝∑_{n∈Neighbor(i)}γ_n(i)·y_n(i) (8)

S2：利用螺栓遗传算法^[4]对元路径种类进行自动选取；

我们假设异构网络G中存在着M种元路径，我们的任务是自动选取M元路径中最优的X(X≤M)种元路径。这里我们构建一个表现型矩阵H,该矩阵的大小为

代表选取X种元路径的所有可能组合，其中每一行代表一个染色体，即该染色体的大小为1×X,代表选取X种元路径的某一种组合。

具体地，我们举出一个详细地例子如图2所示，该异构网络中存在着5种路径(ρ₁，ρ₂，ρ₃，ρ₄，ρ₅),我们选取其中最优的4种元路径(ρ₁，ρ₂，ρ₃，ρ₄),H的大小为5×4,代表了从5种元路径中选取出4种元路径的所有可能组合，每行染色体大小为1×4，代表了其中一种可能的组合。

S3：获取最优的X种元路径种类下的元路径实例；

我们使用含有优先级的加权采样策略去获取最优X种元路径种类下的元路径实例。直观地讲，就是在获取元路径实例的每一步中，游走者都应该考虑到下一步游走到一个优先级更高的邻居，通过这样的游走策略就会获得一个语义更加紧密，更适用于推荐系统的路径实例。那么，如何定义出节点之间的优先级就是一个关键的问题。受[5,6]的启发，我们使用类似的预训练技术来测量每个候选节点的优先级。基本思想是我们根据异构网络中不同节点之间的评分作为分配权重的标准，比如在电影评价中评分为1-5分，用户u对电影i的评分为5分，那么对于用户u与电影i之间的链接的权重值就为最高。然后，我们可以通过权重与当前节点和其邻居节点之间的相似性的乘积值来衡量优先级，这样的优先级分数直接反映了两个节点之间的关联程度。最后，对于给定长度为L的路径实例，我们可以计算出路径实例中两个连续节点之间的成对相似性和权重值，然后将这些相似性与权重值的乘积平均起来，对候选路径实例进行排序。给定一个元路径，我们只保留平均相似性最高的K个路径实例。

S4：获取基于元路径的交互向量；

在得到了X种元路径下的路径实例之后，我们采用层次结构去获取基于元路径的交互向量：元路径实例的向量表征——>元路径种类的向量表征——>基于元路径的交互向量的表征。

首先，先介绍元路径实例的向量表征。元路径是一组节点的序列。这里，我们采用卷积神经网络(CNN)将这样一个节点序列嵌到一个低维向量中，CNN的结构是一个卷积层和一个最大池化层。给定元路径种类ρ下的某一路径实例p，使得

表示路径实例矩阵，其中L表示路径长度。元路径实例p的向量表征如下：

h_p＝CNN(X^p；Θ) (9)

其中Θ表示CNN中所有有关的参数，h_p表示元路径实例p的向量表征。

其次，介绍元路径种类的向量表征。元路径下包含了许多的路径实例。经过我们加权采样策略的筛选，对于每一个元路径种类我们获得了前k个路径实例，这里我们采用简单的最大池化操作从多个路径实例中捕获重要的维度特征。使

表示从元路径ρ选择出的k个路径实例的向量表征。元路径种类ρ的表示计算如下：

最后，介绍基于元路径的交互向量的表征。元路径含有丰富的语义信息,不同的用户通过不同元路径表明不同的喜好,即使是相同的用户与不同的物品通过同一个元路径,元路径中的语义信息也是不同的，因此为了更好地表征用户和物品的语义信息，我们使用注意机制为用户和物品之间的不同元路径分配权重。给定用户全局向量表征x_u，物品全局向量表征y_i，元路径种类ρ的表征向量c_ρ，我们使用两个全连接层获取融合了前三者的注意力分数

其中/>

上标表示全连接层的层数，下标表示融合的信息，比如

表示第一个全连接层，融合了用户全局信息，物品全局信息，元路径种类信息的注意力分数，然后我们使用softmax对该分数进行归一化α_u，i，ρ。最后，通过简单的加权求和操作获得基于元路径的交互向量的表征。具体公式如下：

其中，W_* ⁽¹⁾b⁽¹⁾表示第一个全连接层的权重矩阵和偏置项，w⁽²⁾，b⁽²⁾表示第二个全连接层的权重向量和偏置项。f(·)是非线性激活函数ReLU function。c_u→i表示基于元路径的交互向量的表征。

S5：用户，物品全局局部信息融合；

按照之前的步骤我们获得了用户局部信息的向量表征x′_u，物品局部信息的向量表征y′_i，以及用户全局信息的向量表征x_u和物品全局信息的向量表征y_i。采用拼接的方式将用户，物品的全局局部信息进行简单融合获得用户向量

和物品向量/>

具体的公式如下：

S6：使用协同注意力机制，对用户和物品的向量表征进行加强；

这里，从语义和网络结构两方面考虑，我们利用基于元路径的交互向量c_u→i同时分别增强用户和物品的向量表示。我们使用一个全连接层来分别获取用户和物品的注意分数。最后，通过注意力分数分别与用户向量

和物品向量/>

进行元素积⊙，得到最终用户与物品向量：

其中β_u表示用户的注意力分数，β_i表示物品的注意力分数，

表示最后的用户向量表征，/>

表示最后的物品向量表征。

S7：用户，物品对的评分获取；

首先，我们先将通过之前步骤获取的用户向量表征

物品向量表征/>

和基于元路径的交互向量的表征c_u→i三者进行拼接操作，以获取最后融合了用户，物品，用户-物品对下元路径交互三元组的输出向量/>

然后，参考[2]，我们将

输入MLP中，实现复杂交互建模的非线性函数:

其中，MLP组件由两个包含ReLU非线性激活函数的隐含层和一个包含sigmoid函数的输出层组成。

表示用户物品对的预估分数值。

S8：构建损失函数优化参数；

这里我们使用二分类的交叉熵作为损失函数：

其中第一项用于对观测到的相互作用进行建模，第二项用于对噪声分布为均匀分布P的负反馈进行建模。这里的噪声分布可以设置为其他有偏分布。从这个公式我们可以看出当

无限接近1时，/>

的数值很小几乎为0，当/>

无限接近0时，/>

数值可以达到非常大，那么也就是说对模型的惩罚力度非常大，可以非常好地修正模型参数，优化模型。

S9：重复步骤S1-S8，当

稳定趋于一个很小的阈值ε时，其中ε>0，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。

[1]Fu,Tao-yang,Wang-Chien Lee,and Zhen Lei."Hin2vec:Explore meta-paths in heterogeneous information networks for representation learning."Proceedings of the 2017 ACM on Conference on Information and KnowledgeManagement.ACM,2017.

[2]Xiang nan He,Lizi Liao,Han wang Zhang,Liqiang Nie,Xia Hu,and Tat-Seng Chua.2017.Neural collaborative filtering.In Proceedings of the 26^thInternational Conference on World Wide Web.173–182.

[3]Hu,B.,Shi,C.,Zhao,W.X.,&Yang,T.(2018,October).Local and GlobalInformation Fusion for Top-N Recommendation in Heterogeneous InformationNetwork.In Proceedings of the 27th ACM International Conference onInformation and Knowledge Management(pp.1683-1686).ACM.

[4]Ming-Gang D,Qin-Zhou N,Xiang Y.Opposition-based Stud GeneticAlgorithm[J].Computer Engineering,2009,35(20):239-241.

[5]Xiang nan He,Lizi Liao,Hanwang Zhang,Liqiang Nie,Xia Hu,and Tat-Seng Chua.2017.Neural collaborative filtering.In Proceedings of the 26^thInternational Conference on World Wide Web.173–182.

[6]Geoffrey E Hinton and Ruslan R Salakhutdinov.2012.A better way topretrain deep Boltzmann machines.In Advances in Neural Information ProcessingSystems.2447–2455。

综上所述，与现有技术相比，本发明利用遗传算法自动获取有价值的元路径种类，减少人为因素的干扰，结合元路径上下文显式地学习元路径向量；

通过协同注意机制将用户、对象和元路径相互集成；

通过节点域和网络结构信息挖掘异构网络中的全局和局部信息。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度神经网络的异构网络推荐方法，其特征在于：包括如下步骤：

S1：用户和物品的全局局部信息的向量表征；

物品和用户的全局信息向量表示方法：利用HIN2VEc算法获得网络中节点的全局表示，设置了一个映射层将用户和物品的独热编码映射为低维向量；

给定用户-物品对<u，i>，设

表示用户的独热编码，/>

表示物品的独热编码；

表示查找层对应的参数矩阵，用于存储用户和物品的潜在信息；

d为用户和物品嵌入的维数，|U|和|I|分别为用户数量和物品的数量；

具体公式如下：

物品和用户的局部信息向量表示方法：每个用户/物品都可以表示为其邻居物品/用户序列，称它们为网络中该用户/物品的局部向量表征；

这里，使用

表示当前用户，物品的邻居序列，|l_u|，|l_i|表示该用户，物品的邻居个数，这里因为每个用户，物品的邻居数量较多，利用了cos相似度获取前15个邻居，该序列中的每个节点的取值为节点的标识；

Neighbor(u)，Neighbor(i)分别表示用户u和物品i的一组邻居；

然后，使用查找层将S_n(u)，S_n(i)中的每个节点向量化，形成该用户/物品的邻居向量序列

最后，我们将向量化的邻居序列输入到注意力机制中获取用户/物品的局部向量表征；

具体公式如下：

γ_n(u)＝softmax(x_n(u))(5)

γ_n(i)＝softmax(y_n(i))(6)

x′_u＝∑_{n∈Neighbor(u)}γ_n(u)·x_n(u)(7)

y′_i＝∑_{n∈Neighbor(i)}γ_n(i)·y_n(i)(8)

其中，x′_u和y′_i分别表示用户或物品的局部向量表征；

S2：利用螺栓遗传算法对元路径种类进行自动选取；

S3：获取最优的X种元路径种类下的元路径实例；

S4：获取基于元路径的交互向量；

在得到了X种元路径下的路径实例之后，我们采用层次结构去获取基于元路径的交互向量：元路径实例的向量表征——>元路径种类的向量表征——>基于元路径的交互向量的表征；

首先，先介绍元路径实例的向量表征：元路径是一组节点的序列，这里，我们采用卷积神经网络(CNN)将这样一个节点序列嵌到一个低维向量中，CNN的结构是一个卷积层和一个最大池化层；

给定元路径种类ρ下的某一路径实例p，使得

表示路径实例矩阵，其中L表示路径长度；

元路径实例p的向量表征如下：

h_p＝CNN(X^p；Θ)(9)

其中Θ表示CNN中所有有关的参数，h_p表示元路径实例p的向量表征

其次，介绍元路径种类的向量表征：元路径下包含了许多的路径实例，经过我们加权采样策略的筛选，对于每一个元路径种类我们获得了前k个路径实例，这里我们采用简单的最大池化操作从多个路径实例中捕获重要的维度特征，使

表示从元路径ρ选择出的k个路径实例的向量表征；

元路径种类ρ的表征向量计算如下：

最后，介绍基于元路径的交互向量的表征：元路径含有丰富的语义信息，不同的用户通过不同元路径表明不同的喜好，即使是相同的用户与不同的物品通过同一个元路径，元路径中的语义信息也是不同的，因此为了更好地表征用户和物品的语义信息，我们使用注意机制为用户和物品之间的不同元路径分配权重；

给定用户全局向量表征x_u，物品全局向量表征y_i，元路径种类ρ的表征向量c_ρ，我们使用两个全连接层获取融合了前三者的注意力分数

其中/>

上标表示全连接层的层数，下标表示融合的信息，/>

表示第一个全连接层，融合了用户全局信息，物品全局信息，元路径种类信息的注意力分数，然后我们使用softmax对该分数进行归一化α_u，i，ρ；

最后，通过简单的加权求和操作获得基于元路径的交互向量的表征；具体公式如下：

其中，W_* ⁽¹⁾，b⁽¹⁾表示第一个全连接层的权重矩阵和偏置项，w⁽²⁾，b⁽²⁾表示第二个全连接层的权重向量和偏置项；f(·)是非线性激活函数ReLU function；c_u→i表示基于元路径的交互向量的表征；M_u→i表示元路径种类的向量表征；

S5：用户，物品全局局部信息融合；

按照之前的步骤我们获得了用户局部信息的向量表征x′_u，物品局部信息的向量表征y′_i，以及用户全局信息的向量表征x_u和物品全局信息的向量表征y_i；

采用拼接的方式将用户，物品的全局局部信息进行简单融合获得用户向量

和物品向量/>

具体的公式如下：

S6：使用协同注意力机制，对用户和物品的向量表征进行加强；

S7：用户，物品对的评分获取；

S8：构建损失函数优化参数；

S9：重复步骤S1-S8，当损失函数l_u，i稳定趋于一个很小的阈值ε时，其中ε＞0，停止训练，即得到了一个基于深度神经网络的异构网络推荐模型。

2.根据权利要求1所述的一种基于深度神经网络的异构网络推荐方法，其特征在于：所述步骤S2的具体步骤为：

假设异构网络G中存在着M种元路径，我们的任务是自动选取M元路径中最优的X种元路径，其中X≤M；

这里我们构建一个表现型矩阵H，该矩阵的大小为

代表选取X种元路径的所有可能组合，其中每一行代表一个染色体，即该染色体的大小为1×X，代表选取X种元路径的某一种组合；

该异构网络G中存在着5种元路径(ρ₁,ρ₂,ρ₃,ρ₄,ρ₅),我们选取其中最优的4种元路径(ρ₁,ρ₂,ρ₃,ρ₄),H的大小为5×4,代表了从5种元路径中选取出4种元路径的所有可能组合，每行染色体大小为1×4，代表了其中一种可能的组合。

3.根据权利要求1所述的一种基于深度神经网络的异构网络推荐方法，其特征在于：所述步骤S3的具体步骤为：

使用含有优先级的加权采样策略去获取最优X种元路径种类下的元路径实例；直观地讲，就是在获取元路径实例的每一步中，游走者都应该考虑到下一步游走到一个优先级更高的邻居，通过这样的游走策略就会获得一个语义更加紧密，更适用于推荐系统的路径实例；

使用类似的预训练技术来测量每个候选节点的优先级；基本思想是我们根据异构网络中不同节点之间的评分作为分配权重的标准，在电影评价中评分为1-5分，用户u对电影i的评分为5分，那么对于用户u与电影i之间的链接的权重值就为最高；

然后，通过权重与当前节点和其邻居节点之间的相似性的乘积值来衡量优先级，这样的优先级分数直接反映了两个节点之间的关联程度；

最后，对于给定长度为L的路径实例，可以计算出路径实例中两个连续节点之间的成对相似性和权重值，然后将这些相似性与权重值的乘积平均起来，对候选路径实例进行排序；给定一个元路径，只保留平均相似性最高的k个路径实例。

4.根据权利要求1所述的一种基于深度神经网络的异构网络推荐方法，其特征在于：所述步骤S6的具体步骤为：

从语义和网络结构两方面考虑，我们利用基于元路径的交互向量c_u→i同时分别增强用户和物品的向量表示；

我们使用一个全连接层来分别获取用户和物品的注意分数；

最后，通过注意力分数分别与用户向量

和物品向量/>

进行元素积⊙，得到最终用户与物品向量：

其中β_u表示用户的注意力分数，β_i表示物品的注意力分数，

表示最后的用户向量表征，/>

表示最后的物品向量表征；

所述步骤S7的具体步骤为：

首先，我们先将通过之前步骤获取的用户向量表征

物品向量表征/>

和基于元路径的交互向量的表征c_u→i三者进行拼接操作，以获取最后融合了用户，物品，用户-物品对下元路径交互三元组的输出向量/>

然后，我们将

输入MLP中，实现复杂交互建模的非线性函数：

其中，MLP组件由两个包含ReLU非线性激活函数的隐含层和一个包含sigmoid函数的输出层组成；

表示用户物品对的预估分数值；

所述步骤S8的具体步骤为：

使用二分类的交叉熵作为损失函数：

其中第一项用于对观测到的相互作用进行建模，第二项用于对噪声分布为均匀分布P的负反馈进行建模；

这里的噪声分布可以设置为其他有偏分布；从这个公式我们可以看出当

无限接近1时，l_u，i的数值很小几乎为0，当/>

无限接近0时，l_u，i数值可以达到非常大，那么也就是说对模型的惩罚力度非常大，可以非常好地修正模型参数，优化模型。/>

Images