CN111859166B - 一种基于改进的图卷积神经网络的物品评分预测方法 - Google Patents

Abstract

本发明涉及一种基于改进的图卷积神经网络的物品评分预测方法，属于信息推荐技术领域。该方法包括：S1：获取用户对物品的历史评分、用户的个人信息，以及物品的属性信息；S2：构造用户‑物品，用户‑用户，物品‑物品关系图；S3：利用改进的图卷积神经网络提取多种关系图中节点的结构和内容特征；S4：选择神经网络模型融合节点的多种特征信息；S5：根据用户和物品的特征表示，预测用户对物品感兴趣的概率；S6：利用训练集和验证集训练模型；S7：利用训练好的模型预测用户对物品的评分。本发明通过改进的图卷积神经网络来有效提取用户与物品关系图的特征，实现预测用户对物品的评分，而且提升了预测的准确率。

Description

一种基于改进的图卷积神经网络的物品评分预测方法

技术领域

本发明属于信息推荐技术领域，涉及一种基于改进的图卷积神经网络的物品评分预测方法。

背景技术

随着电商以及社交媒体平台的兴起，推荐系统成为现代人工智能中不可缺少的一部分。在信息过载的时代，为用户提供个性化和高准确度的推荐服务是提升商业收益的重要基石。通过分析用户与互联网在交互过程中留下的数据，捕获用户的兴趣偏好从而为用户推荐商品是推荐的主要目标，如何在多样化的数据中有效提取用户的偏好特征是一个关键环节。

深度学习由于其强大的表征能力在推荐系统中扮演着重要的角色，其中，处理图形结构数据的新型深度学习模型有了显著的进步，并在推荐系统中得到应用。最得到关注的是图卷积网络，它的核心思想是利用神经网络迭代地将图中节点的邻节点信息聚合，通过卷积操作模拟信息传播过程，来聚合节点特征。许多工作利用图卷积网络提取图中节点的结构和内容特征，并融入辅助信息来缓解数据稀疏从而提升推荐性能。

但是目前许多方法只考虑用户和物品单一的关系，简单的利用数据之间的结构信息来模拟消息传播，导致得到的推荐信息不更准确，对于用户可用性不大。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进的图卷积神经网络的物品评分预测方法，将辅助信息应用于模型中，通过信息融合来挖掘多种关系之间的潜在联系，有助于模型提取到用户和物品的偏好特征。

为达到上述目的，本发明提供如下技术方案：

一种基于改进的图卷积神经网络的物品评分预测方法，首先构造用户-用户、物品-物品、用户-物品关系图，然后利用改进的图卷积网络提取多个关系图中节点的特征，最后利用BP神经网络融合特征信息得到用户和物品的特征表示，从而预测用户对物品的评分。

该方法具体包括以下步骤：

S1：获取用户对物品的历史评分、用户的个人信息，以及物品的属性信息等数据；

S2：构造用户-物品，用户-用户，物品-物品关系图；

S3：利用改进的图卷积神经网络提取多种关系图中节点(用户和物品)的结构和内容特征；

S4：选择神经网络模型融合节点的多种特征信息；

S5：根据用户和物品的特征表示，预测用户对物品感兴趣的概率；

S6：利用训练集和验证集训练模型；

S7：利用训练好的模型预测用户对物品的评分。

进一步，所述步骤S1具体包括以下步骤：

S11：获取用户对物品的评分数据，用户的年龄、性别、职业、邮编，物品的属性、类别等数据，并根据用户ID和物品ID组成评分矩阵、用户特征矩阵和物品特征矩阵；

S12：划分数据集：随机选取80％作为训练集，20％作为测试集，再选取训练集的10％作为验证集。

进一步，所述步骤S2具体包括以下步骤：

S21：根据用户的年龄、性别、职业和邮编等特征计算用户之间兴趣的相似关系图G₁＝{(u_i,t_ij,u_j)|u∈U,0≤t_ij≤1}，其中，u表示用户，t表示用户之间兴趣的相似程度；根据物品的属性和类别等计算物品之间的相似关系图G₂＝{(v_i,t_ij,v_j)|v∈V,0≤t_ij≤1}，其中，v表示物品，t表示物品之间的相似度，表达式为：

其中，f表示用户个人信息/物品属性的初始特征向量，sum表示向量的各个元素相加；

S22：根据用户对物品的评分数据构建用户-物品交互二分图G₃＝{(u,y_uv,v)|u∈U,v∈V,y_uv∈(1,2,…,r)}，其中，y表示用户对物品的评分值，U、V分别为用户和物品的集合，r为用户对物品的评分值。

进一步，所述步骤S3具体包括以下步骤：

S31：构造改进的图卷积神经网络；

将图上的节点作为模型的输入向量x∈R^N，并将其视为一种图上的信号；

表示正则化的图拉普拉斯矩阵，其中，I表示单位矩阵，A∈R^N×N表示邻接矩阵，D_ii＝∑_jA_ij表示图中节点的度矩阵；由于L是对称半正定矩阵，它可以分解为L＝UΛU^T，U＝[u₀,…,u_n-1]∈R^N×N表示正交特征向量，Λ＝diag([λ₀,…,λ_n-1])∈R^N×N表示非负特征值向量；根据频域上的卷积定理，一个信号与滤波器g_θ＝diag(θ)在图上的卷积为：

g_θ*x＝Ug_θU^Tx (2)

利用K阶多项式来近似计算g_θ来简化计算，

其中，Θ∈R^K是多项式的系数，将其代入方程(2)，根据(UΛU^T)^k＝UΛ^kU^T，得到：

其中，Θ_k表示多项式第k项的系数；

为防止发生过拟合，简化多项式的系数参数，并在邻接矩阵和度矩阵中加单位矩阵I，

得到改进的图卷积网络层的计算公式：

其中，Θ′表示模型中可学习的参数；

S32：将关系图G₁，G₂，G₃输入到图卷积网络，模拟消息传播的过程来提取图中节点的结构特征和内容特征；

对相同类型的节点进行处理，即用户-用户关系图G₁和物品-物品关系图G₂，分别得到用户和物品关于辅助信息的节点表示f_u,f_v；

其中，σ表示非线性激活函数Relu(·)＝max(0,·)，Θ_u表示模型中的参数矩阵，T_u表示用户节点之间的相似度系数，D是关于T_u的度矩阵，x_u为节点的初始特征向量；类似地，f_v采用同样的方式计算；

对不同类型的节点进行处理，即对用户-物品关系图G₃进行处理，并为不同的评分设置不同的处理通道，得到用户和物品的特征表示Z_u,Z_v；

其中，R_i表示评分为i的评分矩阵，D是关于R_i的度矩阵；对不同处理通道的输出进行聚合，得到

其中，W表示可学习的参数，accum表示向量之间的连接操作；类似地，Z_v采用同样的方式计算。

进一步，所述步骤S4具体包括：通过将不同图中提取到的节点特征输入到BP神经网络中进行信息融合，通过信息互助来更准确地学习节点特征的表示，得到用户和物品的最终的特征表示H_u,H_v；

H_u＝σ(W₁Z_u+W₂f_u+b) (9)

其中，W₁,W₂是可训练的参数矩阵，b表示偏置；类似地，H_v采用同样的方式计算。

进一步，所述步骤S5具体包括以下步骤：

S51：根据网络输出的用户和物品的嵌入向量H_u,H_v，运用softmax函数预测用户对物品的评分值为r的概率：

其中，Q_r、Q_s为可训练的参数，用来防止发生过拟合；s表示取不同的评分值时的下标；

S52：预测用户对物品的评分值为：

进一步，所述步骤S6具体包括：采用随机梯度下降的方法最小化损失函数来训练模型，最小化损失函数为：

其中，I(k＝l)＝1，否则为0。

进一步，所述步骤S7具体包括：将评分测试集输入已经训练好的改进的图卷积神经网络，输出评分测试集的评分预测。

本发明的有益效果在于：本发明通过改进的图卷积神经网络来有效提取用户与物品关系图的特征，实现预测用户对物品的评分，而且提升了预测的准确率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明方法流程图；

图2为本发明改进的图卷积神经网络示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图2，图1为本发明所提出的基于图卷积神经网络的物品评分预测的模型流程图，主要分为以下几步：

1)构造关系图：本发明首先用独热编码初始化用户和物品的节点表示，再利用用户的个人信息如年龄、性别、职业、邮编等计算用户之前兴趣程度的相似性，同时利用物品的属性信息如属性、类别等计算物品之间的相似性，以及用户对物品的历史评分信息构造用户-用户、物品-物品、用户-物品关系图来描述用户、物品之间的复杂关系。其中，相似性的计算方式如下：

其中，f表示用户个人信息/物品属性的初始特征向量，sum表示向量的各个元素相加。

2)构建改进的图卷积神经网络；

该过程是处理图形结构数据的关键环节，用来提取图中节点的特征。将关系图输入图卷积神经网络中，学习用户和物品的特征表示向量H_u,H_v。它包含有图卷积层和全连接神经网络层。

3)评分预测：根据图卷积神经网络输出的用户和物品的嵌入向量H_u,H_v，运用softmax函数预测用户对物品的评分值为r的概率，

式中，Q_r为可训练的参数，用来防止发生过拟合。然后预测用户对物品的评分值为：

然后根据如下损失函数采用随机梯度下降方法训练模型：

式中，I(k＝l)＝1，否则为0。

4)运用测试集的数据预测用户喜爱的物品。

图2为本发明所提出的改进的图卷积神经网络模型图，主要分为以下几部分：

1)图卷积层：我们将图上的节点作为模型的输入向量x∈R^N，并将其视为一种图上的信号。

表示正则化的图拉普拉斯矩阵，其中，I表示单位矩阵，A∈R^N×N表示邻接矩阵，D_ii＝∑_jA_ij表示图中节点的度矩阵。由于L是是对称半正定矩阵，它可以分解为L＝UΛU^T，U＝[u₀,…,u_n-1]∈R^N×^N表示正交特征向量，Λ＝diag([λ₀,…,λ_n-1])∈R^N×N表示非负特征值。根据频域上的卷积定理，一个信号与滤波器g_θ＝diag(θ)在图上的卷积为：

g_θ*x＝Ug_θU^Tx

利用K阶多项式来近似计算g_θ来简化计算，得到：

上式简化了多项式的系数参数，并在邻接矩阵和度矩阵中加单位矩阵I，

得到图卷积网络层的计算方式：

2)全连接神经网络层：对特征进行非线性融合，

H＝σ(WZ+b)

式中，W表示参数矩阵，b表示偏置。

3)激活函数采用ReLU函数。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于改进的图卷积神经网络的物品评分预测方法，其特征在于，该方法具体包括以下步骤：

S1：获取用户对物品的历史评分、用户的个人信息，以及物品的属性信息；

S2：构造用户-物品，用户-用户，物品-物品关系图；

S3：利用改进的图卷积神经网络提取多种关系图中节点的结构和内容特征；具体是将关系图输入图卷积神经网络中，学习用户和物品的特征表示向量H_u,H_v；改进的图卷积神经网络，包含有图卷积层和全连接神经网络层，具体包括：

1)图卷积层：将图上的节点作为模型的输入向量x∈R^N，并将其视为一种图上的信号；

表示正则化的图拉普拉斯矩阵，其中，I表示单位矩阵，A∈R^N×N表示邻接矩阵，D_ii＝∑_jA_ij表示图中节点的度矩阵；将L分解为L＝UΛU^T，U＝[u₀,…,u_N-1]∈R^N×N表示正交特征向量，Λ＝diag([λ₀,…,λ_N-1])∈R^N×N表示非负特征值；根据频域上的卷积定理，一个信号与滤波器g_θ＝diag(θ)在图上的卷积为：

g_θ*x＝Ug_θU^Tx (2)

利用K阶多项式来近似计算g_θ来简化计算，得到：

其中，Θ∈R^K是多项式的系数，将其代入方程(2)，根据(UΛU^T)^k＝UΛ^kU^T，得到：

其中，Θ_k表示多项式第k项的系数；

为防止发生过拟合，简化多项式的系数参数，并在邻接矩阵和度矩阵中加单位矩阵I，

得到改进的图卷积网络层的计算公式：

其中，Θ′表示模型中可学习的参数；

2)全连接神经网络层：对特征进行非线性融合，

H＝σ(WZ+b)

其中，W表示参数矩阵，b表示偏置，σ表示非线性激活函数，采用ReLU函数；

S4：选择神经网络模型融合节点的多种特征信息；

S5：根据用户和物品的特征表示，预测用户对物品感兴趣的概率；

S6：利用训练集和验证集训练模型；

S7：利用训练好的模型预测用户对物品的评分。

2.根据权利要求1所述的物品评分预测方法，其特征在于，所述步骤S1具体包括以下步骤：

S11：获取用户对物品的评分数据，用户的年龄、性别、职业、邮编，物品的属性、类别，并根据用户ID和物品ID组成评分矩阵、用户特征矩阵和物品特征矩阵；

S12：划分数据集：随机选取80％作为训练集，20％作为测试集，再选取训练集的10％作为验证集。

3.根据权利要求2所述的物品评分预测方法，其特征在于，所述步骤S2具体包括以下步骤：

S21：根据用户的年龄、性别、职业和邮编计算用户之间兴趣的相似关系图G₁＝{(u_i,t_ij,u_j)|u∈U,0≤t_ij≤1}，其中，u表示用户，t表示用户之间兴趣的相似程度；根据物品的属性和类别计算物品之间的相似关系图G₂＝{(v_i,t_ij,v_j)|v∈V,0≤t_ij≤1}，其中，v表示物品，t表示物品之间的相似度，表达式为：

其中，f表示用户个人信息/物品属性的初始特征向量，sum表示向量的各个元素相加；

S22：根据用户对物品的评分数据构建用户-物品交互二分图G₃＝{(u,y_uv,v)|u∈U,v∈V,y_uv∈(1,2,…,r)}，其中，y表示用户对物品的评分值，U、V分别为用户和物品的集合，r为用户对物品的评分值。

4.根据权利要求3所述的物品评分预测方法，其特征在于，所述步骤S3具体包括以下步骤：

S31：构造改进的图卷积神经网络；

S32：将关系图G₁，G₂，G₃输入到图卷积网络，模拟消息传播的过程来提取图中节点的结构特征和内容特征；

对相同类型的节点进行处理，即用户-用户关系图G₁和物品-物品关系图G₂，分别得到用户和物品关于辅助信息的节点表示f_u,f_v；

其中，σ表示非线性激活函数Relu(·)＝max(0,·)，Θ_u表示模型中的参数矩阵，T_u表示用户节点之间的相似度系数，D是关于T_u的度矩阵，x_u为节点的初始特征向量；类似地，f_v采用同样的方式计算；

对不同类型的节点进行处理，即对用户-物品关系图G₃进行处理，并为不同的评分设置不同的处理通道，得到用户和物品的特征表示Z_u,Z_v；

其中，

表示评分为i的评分矩阵，D是关于R_i的度矩阵；对不同处理通道的输出进行聚合，得到

其中，W_u表示可学习的参数，accum表示向量之间的连接操作；类似地，Z_v采用同样的方式计算。

5.根据权利要求4所述的物品评分预测方法，其特征在于，所述步骤S4具体包括：通过将不同图中提取到的节点特征输入到BP神经网络中进行信息融合，通过信息互助来更准确地学习节点特征的表示，得到用户和物品的最终的特征表示H_u,H_v；

H_u＝σ(W₁Z_u+W₂f_u+b) (9)

其中，W₁,W₂是可训练的参数矩阵，b表示偏置；类似地，H_v采用同样的方式计算。

6.根据权利要求5所述的物品评分预测方法，其特征在于，所述步骤S5具体包括以下步骤：

S51：根据网络输出的用户和物品的嵌入向量H_u,H_v，运用softmax函数预测用户对物品的评分值为r的概率：

其中，Q_r、Q_s为可训练的参数；s表示取不同的评分值时的下标；

S52：预测用户对物品的评分值为：

7.根据权利要求6所述的物品评分预测方法，其特征在于，所述步骤S6具体包括：采用随机梯度下降的方法最小化损失函数来训练模型，最小化损失函数为：

其中，I(k＝l)＝1，否则为0。

8.根据权利要求7所述的物品评分预测方法，其特征在于，所述步骤S7具体包括：将评分测试集输入已经训练好的改进的图卷积神经网络，输出评分测试集的评分预测。

Images