CN113505294A

CN113505294A - 一种融合元路径的异质网络表示推荐算法

Info

Publication number: CN113505294A
Application number: CN202110663073.9A
Authority: CN
Inventors: 黄萌
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-06-15
Filing date: 2021-06-15
Publication date: 2021-10-15

Abstract

本发明涉及异质网络的推荐模型技术领域，公开了一种融合元路径的异质网络表示推荐算法，包括以下步骤：1)异质信息网络上的信息抽取；2)基于元路径权重的向量融合；3)结合矩阵分解预测推荐得分，先利用随机游走策略获取基于不同元路径的节点序列，针对不同路径利用metapath2vec++算法学习用户与项目在统一维度空间的隐向量表示，然后基于注意力机制利用多层感知机MLP学习节点对于不同元路径的偏好权重，并计算出全局表示向量，最后结合矩阵因子分解的推荐模型，利用路径结构Hetesim相似度对评分矩阵分解出的隐因子向量进行约束，对项目评分进行预测。

Description

一种融合元路径的异质网络表示推荐算法

技术领域

本发明涉及异质网络的推荐模型技术领域，具体为一种融合元路径的异质网络表示推荐算法。

背景技术

多数基于异质网络的推荐模型都是先通过预设好的元路径提取节点的特征向量表示，然后对评分矩阵进行拟合实现评分预测。虽然现有的异质网络的方法在提升准确度方面已经有了一定的成效，但大多数方法依然存在以下问题：

(1)仅利用单一元路径提取节点信息，面临稀疏数据时无法得到节点的精准表示；

(2)融合多条元路径信息时忽视了用户对于不同路径语义的偏好，造成复杂网络中节点表示不够精确。

针对上述问题，本发明提供了一种融合元路径的异质网络表示推荐算法。

发明内容

本发明的目的在于提供一种融合元路径的异质网络表示推荐算法，解决了以往在推荐中无法结合异质网络中多重元路径语义信息的问题。

为实现上述目的，本发明提供如下技术方案：一种融合元路径的异质网络表示推荐算法，包括以下步骤：

S01：异质信息网络上的信息抽取，基于推荐系统中用户-商品交互信息构建异质信息网络，计算网络的节点在不同元路径下的随机游走序列，并通过Metapath2vec++算法学习结点的网络表示；

S02：基于元路径权重的向量融合，将这些不同元路径下的节点表示矩阵作为输入，分别学习各个元路径的特征向量；

S03：结合矩阵分解预测推荐得分，通过注意力机制学习元路径权重，融合结点隐向量，以获得用户和商品的整体隐向量，结合矩阵分解用于推荐。

进一步地，步骤S01包括以下步骤：

S011：元路径选择，元路径的选择只针对用户或项目为端点的路径；

S012：基于元路径随机游走的结点网络表示学习。

进一步地，元路径选择遵循以下三点原则：

a)为了学习更加准确的用户表示和项目表示，元路径的构造要以用户(项目)为端点；

b)元路径中只包含对用户评分行为影响较大的节点类型；

c)元路径长度在四个节点之内。

进一步地，游走路径可按如下的计算方式所产生：

上式中，n_t为随机游走经过的第t个节点，并且该节点类型为At，n_t+1代表节点n_t的基于规定元路径游走的下一节点，N^At+1代表属于A_t+1类型的节点集合。该策略可以基于元路径约束等概率选取与初始节点相关联的节点，根据预设的长度进行游走，最后筛选出有意义的随机游走序列。

进一步地，在得到异质信息网络的随机游走序列之后，利用 Metapath2vec++的SkipGram模型对节点表示进行学习，设置节点的嵌入维度为d，模型输出结果则将用户与项目节点映射到同一个d维的空间中，其目标函数如下所示：

进一步地，步骤S02包括以下步骤：

S021：构建用户-项目的邻接矩阵；

S022：基于注意力机制的元路径加权表示。

进一步地，步骤S021中根据公式PathSim构建基于新的元路径的用户项目相似度邻接矩阵SC_pi。

其中

为用户节点n*n维的相似度矩阵，

为项目节点m*m维的相似度矩阵，它们的元素值都是根据公式PathSim计算得来，然后将所有路径的SC_pi以张量的形式按位相加。

SC＝SC_p1+SC_p2+…SC_pl

进一步地，步骤S022中项目与用户的权重采用了互为增强的两层感知机结构来实现协同注意力机制：

Attention(Q，K，V)＝MLP(Q，K^T)V

其中，

和b⁽¹⁾为第一层的基于元路径的权重矩阵和偏置向量，同理，

和b⁽²⁾为第二层的权重向量和偏置，

为用户节点i基于元路径p_l的表示。

进一步地，步骤S03通过对评分矩阵进行分解，结合用户、项目以及全局的偏好，进而得出用户和项目的隐特征向量，评分预测可表示为以下形式：

其中u_i表示用户的隐因子表示，

n表示用户数量，即 i表示第i个用户；同理，

m表示为项目数量，k表示第k个项目。

进一步地，为了更加充分的考虑异质信息网络结构特征，在评分拟合部分使用带有一定权重的结构偏好，并通过基于元路径的节点相似度HeteSim 作为约束用户与项目隐语义表示的正则项。

与现有技术相比，本发明的有益效果如下：

本发明提供的一种融合元路径的异质网络表示推荐算法，用户对项目的评分偏好与元路径的隐特征表示有很强的关联，因此先利用随机游走策略获取基于不同元路径的节点序列，针对不同路径利用metapath2vec++算法学习用户与项目在统一维度空间的隐向量表示，然后基于注意力机制利用多层感知机MLP学习节点对于不同元路径的偏好权重，并计算出全局表示向量，最后结合矩阵因子分解的推荐模型，利用路径结构Hetesim相似度对评分矩阵分解出的隐因子向量进行约束，对项目评分进行预测，该模型较传统矩阵分解和基于异质网络的推荐算法都有一定的提升，尤其是可以提高数据稀疏时的预测精度。

附图说明

图1为本发明的融合元路径的异质网络表示推荐算法的整体步骤流程图；

图2为本发明的融合元路径的异质网络表示推荐算法的推荐算法流程示意图；

图3为本发明的融合元路径的异质网络表示推荐算法的用户—项目邻接矩阵图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种融合元路径的异质网络表示推荐算法，包括以下步骤：

一、异质信息网络信息抽取

首先选取以用户节点为端点的对称元路径，将用户、项目节点映射在同一个维度空间中，最后通过加权融合不同元路径的表示形成全局向量。

(1)元路径选择

元路径包含了节点之间的结构偏好信息。比如在DoubanMovie数据集中，元路径用户-电影-类型-电影-用户(UVTVU)可表示与用户看过同类别电影的用户，用户-电影-演员-电影-用户(UVAVU)表示与用户看过同演员电影的用户，用户-电影-导演-电影-用户(UVDVU)代表与用户看过同导演电影的用户。因此，基于元路径的节点表示可以有效的反映出在不同影响下节点之间的关联，不过元路径的选择可以对求解节点网络表示产生很大影响，如，元路径设置过长，则距离较远的节点关联度就会很弱，在模型计算中就会产生很多噪声信息，同时，由于给予不同的元路径可以得到用户或项目节点不同层面的向量表示(如UVDVU可以反映出用户在电影观看历史行为方面的隐特征， UVDVU可以反映出用户在导演偏好方面的隐特征)。

因此，本实施例在元路径的选择方面遵循以下三点原则：

1、为了学习更加准确的用户表示和项目表示，元路径的构造要以用户(项目)为端点；

2、元路径中只包含对用户评分行为影响较大的节点类型(如用户在选择电影时可能更加在意电影的类别、演员或者导演而非来源地，即元路径“UVT(Type)VU、UVA(Actor)VU、UVD(Director)VU”比“UVC(Country)VU”更加重要)

3、元路径长度在四个节点之内。

(2)基于元路径随机游走的结点网络表示学习

由于最后仅需要得到用户与项目节点的表示，因此元路径的选择只针对用户或项目为端点的路径，并且将原始的复杂网络简化为只包含用户项目节点的二部图，然后进行随机游走策略。这样做的好处可以过滤掉无用类型的节点，避免由于参杂了过多多余类型节点产生的噪声，同时，在给定的窗口条件下，可以得到更多有用类型节点的信息，从而覆盖更全面的语义信息。与同质网络的随机游走不同，异质信息网络需要考虑不同路径下的节点类型，即游走节点类型要与元路径的节点类型一致，在此处使用Metapath2vec++算法得到节点的特征向量。

为了获得对计算节点表示更有辅助作用的节点序列，采取的游走策略应包含网络中复杂的语义与结构信息。提出将Deepwalk算法应用于元路径来产生节点序列。一个异质信息网络表示为G＝{V，E，T}，V表示节点集合，E表示边集合，指定的元路径集合为 P＝{ρ₁，ρ₂，ρ₃…ρ_l}其中ρ_l代表单条元路径。ρ:A₁→A₂→A₃→…A_n， Ai表示节点类型，Ai∈T_v，ρ_l∈T_E，并且

游走路径可按如下的计算方式所产生：

上式中，n_t叫为随机游走经过的第t个节点，并且该节点类型为 At，n_t+1代表节点n_t的基于规定元路径游走的下一节点，

代表属于A_t+1类型的节点集合。该策略可以基于元路径约束等概率选取与初始节点相关联的节点，根据预设的长度进行游走，最后筛选出有意义的随机游走序列。

在得到异质信息网络的随机游走序列之后，利用Metapath2vec++的 SkipGram模型对节点表示进行学习，设置节点的嵌入维度为d，模型输出结果则将用户与项目节点映射到同一个d维的空间中。其目标函数如下所示：

当SkipGram模型的窗口遍历到节点序列中某个位置的节点时，则v可以表示在该窗口所处位置的中间节点，

为处于中间位置节点类型的邻接节点。

为计算方便，通常将p(c_t|v；θ)映射为一个非线性的softmax函数；

其中，x_v为节点v在给定元路径下的d维特征表示，L条元路径应该有L个x_v表示，节点的更新方式为下式：

式(3.5)中的

代表第i轮迭代时的负采样，

为负采样时的先验分布。由于实际应用的异质网络中节点数目庞大，如果单纯的将与目标节点无关的节点当成负样本可能会大大降低训练速度。因此本实施例采用负采样节点考虑了节点在复杂网络的出现频率，还考虑了基于评分交互的节点度，在实际的网络交互场景中，如果一个用户对产生的交互行为很多，并且对大量项目都有评分，则应该认为该用户被选择为负样本的概率会很高。因此，计算节点u被负采样的概率公式如下：

当节点类型为用户节点时，g(u)为网络中用户节点的度与评过分的项目数量之和，同理，当节点类型为项目节点时，则g(u)应为该节点拥有的评分数量与度之和。

二、基于元路径权重的向量融合

通过pathsim计算用户与项目的路径关联度构建连接图。

(1)构建用户—项目的邻接矩阵

首先根据步骤S02中以用户节点为端点的对称元路径，提炼出以下三种节点数目在6以内的元路径：第一种是形如UV的直接交互路径；第二种是形如UV*V的基于项目关联度的交互路径；第三张是形如U*UV的基于用户间关联度的交互路径。如，当原始元路径ρ为UVBVU时，则提炼出的交互路径

为UVBV。如图所示，当元路径为UV时，则用户与项目的邻接矩阵为C_p0，当元路径为UVDV时，则用户与项目的链接矩阵为C_p1，矩阵中的值代表用户到该节点的实例数量。然后根据公式PathSim构建基于新的元路径的用户项目相似度邻接矩阵SC_pi。

其中

为用户节点n*n维的相似度矩阵，

为项目节点m*m维的相似度矩阵，它们的元素值都是根据公式PathSim计算得来。然后将所有路径的SC_pi以张量的形式按位相加。

SC＝SC_p1+SC_p2+…SC_pl................(3.11)

即SC的每一个元素值SC(i，j)＝SC_p1(i，j)+SC_p2(i，j)+…SC_pl(i，j)。设

为用户i基于元路径历史行为的度均值，即：

N(i)表示与用户i交互过的节点个数，“i，”表示在相似度矩阵中用户i所在行。然后将小于

的元素归零，其余设置为1，如公式(3.13) 所示。这样做可以将因偶然发生交互的路径实例减少，降低数据中的噪声。

(2)基于注意力机制的元路径加权表示

不同的用户对同一个元路径的兴趣偏好往往也是不同的，一个用户在一条元路径上的偏好也会由于交互的项目不同二发生变化，因此用户在不同元路径中对项目的评分偏好也不同，比如用户对电影的评分偏好可能更倾向于情节类型，而不是导演，因此基于导演概念构建的元路径在全局的评分预测权重占比就要小一些。为了使图嵌入部分的输出的用户对项目的全局偏好值，本实施例采用注意力机制描述用户对项目基于不同元路径的偏好权重。

注意力机制函数通常被描述为：模型中有一组以键值对(Key—Value) 形式存储的的信息，根据输入的Query，确定Query和不同key的权重关联，然后将value按照权重叠加输出。在本实施例中，当求用户角度的路径权重时，Query为用户基于给定元路径下的d维嵌入向量，Key为项目节点全局表示，(反之则当求项目角度的路径权重时，Query为项目基于给定元路径下的 d维嵌入向量，Key为用户节点全局表示)用户与项目对于路径权重的求取互为增强表示。Value为在不同元路径条件下用户对项目的偏好。一般注意力机制的函数形式如(3.14)所示。项目与用户的权重采用了互为增强的两层感知机结构来实现协同注意力机制：

Attention(Q，K，V)＝MLP(Q，K^T)V··············(3.14)

其中(3.15)中，

和b⁽¹⁾为第一层的基于元路径的权重矩阵和偏置向量，同理，(3.16)中

和b⁽²⁾为第二层的权重向量和偏置，

为用户节点i基于元路径p_l的表示。激活函数f(x)是Relu函数。最终的权值为通过softmax进行无量纲化后的值：

同理可得项目的偏好权重

得到用户对元路径的偏好权重表示

之后，结合用户和项目基于元路径的隐向量表示

和

可得到用户、项目基于元路径不同层面的加权全局表征：

y_k为项目对不同用户的全局偏好表示。通过步骤S02计算用户与项目加权融合后的全局偏好，目标函数如公式(3.21)所示。

该部分的损失函数为：

其中SC(i，k)为真实的样本值，

为预测值。

三、结合矩阵分解预测推荐得分

通过对评分矩阵进行分解，结合用户、项目以及全局的偏好，进而得出用户和项目的隐特征向量，评分预测可表示为式(3.23)的形式：

其中u_i表示用户的隐因子表示，

n表示用户数量，即 i表示第i个用户；同理，

m表示为项目数量，k表示第k个项目。在前文，已经求得了用户u和商品k基于异质信息网络的隐向量表示，因此得到改进的基于异构网络的隐因子分解模型，如下所示：

其中

为矩阵分解模型中用户与项目评分的结构偏好，为了更加充分的考虑异质信息网络结构特征，在评分拟合部分使用带有一定权重的结构偏好，并通过基于元路径的节点相似度HeteSim作为约束用户与项目隐语义表示的正则项。因此，MERec的目标函数可表示如下：

在式(3.25)中，F1项为矩阵分解模型，I_ik是指示函数，当原始矩阵中存在i对k的评分则为1，反之为0。由前文所知，

为预测评分。第二项为节点网络表示学习与元路径权重学习的总体损失函数，节点表示、元路径权重与得分预测三部分所需要的信息是彼此关联、互为前提，因此需要同时进行训练，超参数α为网络表示的权重。第三项F3为辅助向量基于路径相似度的正则化项，V分别代表了特征分量e在d维空间映射的辅助向量，L是基于HeteSim相似度的拉普拉斯矩阵，下面以用户相似度为基准进行公式介绍：

第四项F4为防止过拟合的正则项，可以提高模型的泛化误差，β、λ分别代表 F3、F4的权重。

综上所述：本发明提供了一种融合元路径的异质网络表示推荐算法，用户对项目的评分偏好与元路径的隐特征表示有很强的关联，因此先利用随机游走策略获取基于不同元路径的节点序列，针对不同路径利用 metapath2vec++算法学习用户与项目在统一维度空间的隐向量表示，然后基于注意力机制利用多层感知机MLP学习节点对于不同元路径的偏好权重，并计算出全局表示向量，最后结合矩阵因子分解的推荐模型，利用路径结构Hetesim相似度对评分矩阵分解出的隐因子向量进行约束，对项目评分进行预测，该模型较传统矩阵分解和基于异质网络的推荐算法都有一定的提升，尤其是可以提高数据稀疏时的预测精度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。