CN115840853A - 一种基于知识图谱和图注意力网络的课程推荐系统 - Google Patents

Abstract

本发明提供了一种基于知识图谱和图注意力网络的课程推荐系统，包括领域知识图谱构建模块、知识表示学习CTransD模块、图注意力网络CTransD‑GAT模块和评分预测模块，本发明根据课程数据集构建知识图谱，通过知识学习表示模块，将知识图谱中的实体和关系嵌入到连续的稠密的低维向量空间中，本发明利用图注意力网络模块计算权重系数传播和聚合实体节点的特征信息，生成新的包含更多信息的节点表示，根据评分预测模块得到课程预测评分。本发明的基于知识图谱和图注意力网络的课程推荐系统，通过知识图谱为推荐系统提供较准确和丰富的语义信息，利用图注意力网络，捕捉不同用户对课程不同关系的注意力，提高了推荐结果的准确度。

Description

一种基于知识图谱和图注意力网络的课程推荐系统

技术领域

本发明涉及课程推荐技术领域，尤其涉及一种基于知识图谱和图注意力网络的课程推荐系统。

背景技术

在信息过载的时代，推荐系统的任务就是联系用户和物品，一方面帮助用户发现对自己有价值的物品，另一方面让物品能够展现在对它有兴趣的用户面前，从而实现物品消费者和物品生产者的双赢，推荐系统在各种在线服务中发挥着重要作用。协同过滤算法作为经典的推荐算法之一，根据用户物品评分矩阵，对用户和物品进行向量嵌入，通过内积操作来模拟用户偏好。然而，协同过滤算法存在冷启动和数据稀薄时推荐效果受限的问题，也很难解释推荐结果的原因。

为了解决上述缺陷，近年来基于知识图谱的推荐系统成为研究的热点，因为知识图谱蕴含了物品属性和各种类型的关系信息，能够为推荐系统提供丰富的物品语义信息。基于嵌入的方法将知识图谱中的实体和关系嵌入到连续的稠密的低维向量空间中，得到低维稠密的向量化表示后，将其与原有推荐系统中的物品、用户嵌入向量进行融合，基于知识图谱嵌入算法分为两类，基于翻译的模型，如TransE，TransH，TransR，TransD等，和语义匹配模型，如DistMult。然而，TransD模型参数多和实体表示间没有关联，很难应用到大型知识图谱中，以及现有的基于知识图谱的推荐模型忽略了用户对物品不同关系所产生的不同重视程度的问题。

发明内容

针对上述问题，本发明提出了一种基于知识图谱和图注意力网络的课程推荐系统，使知识表示学习更好的应用到大型知识图谱中，为推荐系统提供丰富的物品语义关联信息，弥补空间向量模型丢失实体类之间关系信息的缺陷，并且解决了推荐模型忽略用户对物品不同关系所产生的不同重视程度的问题。

为了实现本发明的上述目的，本发明采用的技术方案如下：

一种基于知识图谱和图注意力网络的课程推荐系统，包括领域知识图谱构建模块、知识表示学习CTransD模块、图注意力网络CTransD-GAT模块和评分预测模块；

所述的领域知识图谱构建模块：采用自顶向下的构建方式，抽象概括领域知识，得到领域知识图谱的实体概念，为领域中的每个实体概念定义实体类、对象属性、数据属性、值域和约束条件，构建出领域知识图谱本体库，从数据集中获取数据，将知识图谱所需的实体、属性、关系元素抽取出来，实例化本体库，形成结构化知识存入知识图谱；

所述的知识表示学习CTransD模块：将所述的知识图谱中的实体和关系嵌入到连续的稠密的低维向量空间中，形成用户、课程和关系的初始嵌入向量，用来刻画推荐系统的课程语义信息；

所述的图注意力网络CTransD-GAT模块：通过注意力机制来计算所述的知识图谱中关系对用户的权重，利用用户的嵌入向量和关系嵌入向量的内积表示该种关系对用户的重要程度，实体节点根据权重系数将特征信息传递给相邻节点，并使实体节点与传播的相邻节点进行嵌入聚合生成新的包含更多信息的节点表示；

所述的评分预测模块：将用户嵌入向量e_u与聚合后的课程嵌入向量e_k做内积，作为用户点击物品的概率值

进一步的，所述知识表示学习模块为优化后的CTransD模块，模型创建步骤如下：

步骤1、三元组提取：将知识图谱中的数据转换为三元组结构；

步骤2、构造三元组得分函数：对每个三元组(h,r,t)来说，h是头实体向量，r是关系向量，t是尾实体向量，通过K-Means聚类算法，依据实体向量间的相似性聚成k类，每个实体向量属于且仅属于一个到其实体向量类簇中心距离最小的类簇中，使用算术平均值的方法计算簇群的平均值，并把这个平均值当做实体类中心，头实体的中心记为

头实体组成的邻域/>

尾实体的中心记为/>

尾实体组成的邻域/>

头尾实体类中心分别定义为：

头尾实体完成聚类后，头尾投影矩阵M_rh和M_rt分别表示为：

关系空间中被投影的头实体h_⊥和尾实体t_⊥分别表示为：

h_⊥＝M_rhh，t_⊥＝M_rtt

被投影到关系r平面的头实体h_⊥和尾实体t_⊥满足h_⊥+r-t_⊥≈0，三元组得分函数为：

步骤3、构造负例三元组：对于给定的三元组，以概率P替换头实体，以1-P的概率替换尾实体，生成负例三元组，概率P为：

其中，N_tph表示每个头实体对应的尾实体数量的平均值，N_hpt表示每个尾实体对应的头实体数量的平均值；

步骤4、构造实体类中心和实体投影相似性：用实体类中心代替整个实体类进行类间距计算，通过欧氏距离度量实体类中心的相似性，实体类中心相似性

定义为：

通过正态分布函数把欧氏距离转换成概率表示相似性，以

为条件选择/>

的实体类中心相似性概率/>

定义为：/>

实体类中心

对应投影向量/>

以/>

为条件选择/>

的实体投影向量相似性概率

定义为：

将上式的条件概率进行对称化处理，得到对称化处理后的实体类中心相似性概率

和实体投影向量相似性概率/>

定义为：

步骤5、根据目标函数进行梯度更新：采用三元组损失函数和KL散度损失函数作为样本的目标函数，目标函数为：

其中，(h,r,t)∈S表示中三元组集合，(h',r,t')∈S'表示负例三元组集合，由负三元组构建策略生成，目标函数使用随机梯度下降算法更新模型参数，每次伯努利抽样抽取部分三元组，生成负例三元组加入三元组数据集合中，γ表示正例和负例三元组得分的距离，将集合中的实体和关系在各自向量空间中归一化操作，使用归一化向量数据训练模型。

进一步的，所述图注意力网络CTransD-GAT模块，模块创建步骤如下：

步骤1、计算用户权重偏好系数：利用用户的嵌入向量和关系嵌入向量的内积表示该种关系对用户的重要程度，在知识图谱中头尾节点连接的边即为权重，权重系数表示如下：

其中e_u和e_r分别表示用户u和关系r的嵌入向量，通过softmax函数归一化对权重系数进行归一化操作，表示如下：

其中

是归一化后的权重系数，N(v)表示节点v的邻居节点集合；

步骤S2、特征传播与聚合：对所有关系类型的邻居节点进行传播，将节点加权求和得到实体邻域的特征向量，特征向量表示如下：

通过BI-Interaction聚合函数，先将两个向量相加进行非线性变换，再将两个向量元素点乘进行非线性变换，最后将两个向量相加，表示如下：

其中，W₁,W₂∈R^d′×d和b₁,b₂∈R^d为可训练权重矩阵与偏差，σ为ReLu激活函数，⊙表示点乘。

与现有技术相比，本发明具有以下有益效果：

(1)本发明充分利用的领域知识图谱知识，将其蕴含的丰富语义关系为推荐系统提供准确的语义关联信息，弥补了空间向量模型丢失实体类之间关系信息的缺陷。

(2)本发明中知识表示学习CTransD模块通过聚类算法减少了实体投影数量，减轻了计算压力，使其更好的应用到大型知识图谱中，并把实体类之间的距离关系转换成概率表示，解决聚类之后实体表示之间无联系的缺陷。在三个数据集中对各领域知识图谱实体链接预测，实验结果表明本发明知识表示学习CTransD模块在MeanRank和Hits@10两个指标上都具有提升，因此，本发明知识表示学习CTransD模块为后续的推荐算法提供了准确的语义关联信息和可解释性。

(3)本发明中图注意力网络CTransD-GAT模块，通过注意力机制捕捉不同用户对物品所产生的不同关系的注意力，实体节点根据权重系数将特征信息传递给相邻节点，并使实体节点与传播的相邻节点进行嵌入聚合生成新的包含更多信息的节点表示，解决了推荐模块忽略用户对物品不同关系所产生的不同重视程度的问题。在三个真实的数据集上的大量对比和消融实验表明，与其他最先进的模型相比所提出的模块有明显的性能提升。

附图说明

图1为本发明的系统框架示意图。

图2为本发明领域知识图谱构建模块示意图。

图3为本发明知识表示学习CTransD模块示意图。

图4为本发明图注意力网络CTransD-GAT模块示意图。

图5为本发明图注意力网络CTransD-GAT模块Top-k推荐实验结果图，

(a)是各模型在MoocCube数据集上的准确率，(b)是各模型在MovieLens-25M数据集上的准确率，(c)是各模型在Book-Crossing数据集上的准确率，(d)是各模型在MoocCube数据集上的召回率，(e)是各模型在MovieLens-25M数据集上的召回率，(f)是各模型在Book-Crossing数据集上的召回率。

具体实施方式

下面结果附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例1

如图1所示，一种基于知识图谱和图注意力网络的课程推荐系统，包括领域知识图谱构建模块、知识表示学习CTransD模块、图注意力网络CTransD-GAT模块、评分预测模块。其中，领域知识图谱构建模块，本发明采用自顶向下的构建方式，抽象概括领域知识，得到领域知识图谱的实体概念，为领域中的每个实体概念定义实体类、对象属性、数据属性、值域和约束条件，构建出领域知识图谱本体库，从数据集中获取数据将实体、属性、关系的知识图谱所需元素抽取出来，实例化本体库，形成结构化知识存入知识图谱；在知识表示学习CTransD模块，本发明将知识图谱中的实体和关系嵌入到连续的稠密的低维向量空间中，形成用户、课程和关系的初始嵌入向量，用来刻画推荐系统的课程语义信息；图注意力网络CTransD-GAT模块，本发明通过注意力机制来计算所述的知识图谱中关系对用户的权重，利用用户的嵌入向量和关系嵌入向量的内积表示该种关系对用户的重要程度，实体节点根据权重系数将特征信息传递给相邻节点，并使实体节点与传播的相邻节点进行嵌入聚合生成新的包含更多信息的节点表示；评分预测模块，本发明将用户嵌入向量与聚合后的课程嵌入向量做内积，作为用户点击课程的概率值。

领域知识图谱构建模块，本发明从领域数据集中知识获取，得到半结构化和非结构化数据，然后对数据知识清洗，进行预处理和人工校验填补缺失值，抽象概括领域知识，构建出教育领域知识图谱本体库，通过知识抽取实例化本体库中的本体及属性，将数据存储到Neo4j数据库中，完成领域知识图谱构建，具体如图2所示。

知识表示学习CTransD模块的框架如图3所示，本发明使用聚类算法对实体进行聚类来减少实体投影数量，使其更好的应用到大型知识图谱中，之后本发明将实体类之间的距离关系转换成概率表示，解决聚类之后实体表示之间无联系的缺陷。具体过程如下：

三元组提取：将知识图谱中的数据转换为三元组结构；

构造三元组得分函数：对每个三元组(h,r,t)来说，h是头实体向量，r是关系向量，t是尾实体向量，通过K-Means聚类算法，依据实体向量间的相似性聚成k类，每个实体向量属于且仅属于一个到其实体向量类簇中心距离最小的类簇中。使用算术平均值的方法计算簇群的平均值，并把这个平均值当做实体类中心，头实体的中心记为

头实体组成的邻域

尾实体的中心记为/>

尾实体组成的邻域/>

头尾实体类中心分别定义为

头尾实体完成聚类后，头尾投影矩阵M_rh和M_rt分别表示为：

关系空间中被投影的头实体h_⊥和尾实体t_⊥分别表示为

h_⊥＝M_rhh，t_⊥＝M_rtt

被投影到关系r平面的头实体h_⊥和尾实体t_⊥满足h_⊥+r-t_⊥≈0，三元组得分函数为

构造负例三元组：对于给定的三元组，以概率P替换头实体，以1-P的概率替换尾实体，生成负例三元组，概率P为

其中，N_tph表示每个头实体对应的尾实体数量的平均值，N_hpt表示每个尾实体对应的头实体数量的平均值；

构造实体类中心和实体投影相似性：用实体类中心代替整个实体类进行类间距计算，通过欧氏距离度量实体类中心的相似性，实体类中心相似性

为：

通过正态分布函数把欧氏距离转换成概率表示相似性，以

为条件选择/>

的实体类中心相似性概率/>

定义为：

实体类中心

对应投影向量/>

以/>

为条件选择/>

的实体投影向量相似性概率

定义为：

将上式的条件概率进行对称化处理，得到对称化处理后的实体类中心相似性概率

和实体投影向量相似性概率/>

定义为：

根据目标函数进行梯度更新：采用三元组损失函数和KL散度损失函数作为样本的目标函数，目标函数为：

其中(h,r,t)∈S表示中三元组集合，(h',r,t')∈S'表示负例三元组集合，由负三元组构建策略生成，目标函数使用随机梯度下降算法更新模型参数，每次伯努利抽样抽取部分三元组，生成负例三元组加入三元组数据集合中，γ表示正例和负例三元组得分的距离，将集合中的实体和关系在各自向量空间中归一化操作，使用归一化向量数据训练模型。

图注意力网络CTransD-GAT模块如图4所示，本发明将知识图谱表示学习得到初始向量通过图注意力网络计算用户权重系数，根据权重系数对节点的信息进行传播和聚合操作，生成新的节点表示。具体过程如下：

计算用户权重偏好系数：利用用户的嵌入向量和关系嵌入向量的内积表示该种关系对用户的重要程度。在知识图谱中头尾节点连接的边即为权重，权重系数表示如下：

其中e_u和e_r分别表示用户u和关系r的嵌入向量，通过softmax函数归一化对权重系数进行归一化操作，表示如下：

其中

是归一化后的权重系数，N(v)表示节点v的邻居节点集合；

特征传播与聚合：对所有关系类型的邻居节点进行传播，将节点加权求和得到实体邻域的特征向量

通过BI-Interaction聚合函数，先将两个向量相加进行非线性变换，再将两个向量元素点乘进行非线性变换，最后将两个向量相加，表示如下：

其中W₁,W₂∈R^d′×d和b₁,b₂∈R^d为可训练权重矩阵与偏差，σ为ReLu激活函数，⊙表示点乘。

评分预测模块，本发明将用户嵌入向量e_u与聚合后的物品嵌入向量e_k做内积，作为用户点击物品的概率值

表示如下：

其中预测函数

为内积操作，用来描述用户u和课程k之间的预测评分。

为了验证本发明的可行性，申请人还做了相关实验，具体如下：

数据集：为了验证本发明模块的性能，本发明采用了教育、电影、书籍三个领域的公共实验数据集，分别是一个服务于MOOC相关研究的开源大规模数据仓库MoocCube数据集，MovieLens网站提供的MovieLens-25M数据集，Cai-Nicolas Ziegler根据bookcrossing.com的数据编写的图书评分Book-Crossing数据集。三个数据集的基本信息如表1所示：

表1数据集的基本信息

/>

对比实验：本发明选取了知识表示学习领域效果突出的四个基线模型和推荐模型领域效果突出的四个基线模型来进行对比实验。

知识表示学习领域的四个基线模型分别为：TransE，TransH，TransR，TransD。

推荐模型领域效果突出的四个基线模型分别为：

CKE：融合知识图谱和协同过滤的模型，同时采用了TransR异构网络嵌入的方法。

LibFM：基于特征矩阵分解的模型，采用了堆积梯度下降法(SGD)和交替最小二乘法(ALS)来进行优化。

RippleNet：水波网络模型，将偏好传播引入融合知识图谱的推荐模型中。

NGCF：神经图协同过滤模型，将用户物品的二部图编码嵌入表示。

实验设置：为了保证公平比较，对于基线模型，首先依据其原文的参数设置，并在此基础上尽可能优化对比模型。对于CTransD模型，设置参数学习率ε取值范围{0.01,0.001,0.0001}，间距γ在{0.25,0.5,1,2}中选择，实体和关系的嵌入维度m和n在{20,50,80,100}中选择，单批数据量大小B在{100,200,1000,1400}中选择，聚类个数k在{20,50,100,200}中选择。对于CTransD-GAT模型，对于节点的邻居数量和跳数分别为4和2。每种组合配置下做了10次实验，实验中最大迭代次数都为500，然后对试验结果取平均值来确定最优的参数配置。

实验结果：本发明知识表示学习模块使用常见的链接预测场景基于排名的方式来评估模块的质量，通过两种评估标准来评估模型的质量，MeanRank：正确实体评分函数的平均排名，Hits@10：正确实体排名排在前10位的几率。

本发明图注意力网络模块针对TopN推荐任务，采用精确率Precision@K和召回率Recall@K衡量推荐系统能否正确预测用户喜欢或者不喜欢某个商品的能力，假设N_TP、N_FP、N_FN、N_TN分别表示系统推荐给用户且用户喜欢、系统推荐给用户但用户不喜欢、用户喜欢但系统没有推荐、用户不喜欢且系统没有推荐。精确率定义表示如下：

召回率定义表示如下：

本发明图注意力网络模块针对点击率预测，采用了AUC和F1来衡量推荐系统性能，AUC是ROC曲线下的面积，表示推荐系统能够多大程度上将用户喜欢的商品与不喜欢的商品区分出来。AUC定义表示如下：

F1是同时考虑准确率和召回率，综合反映系统性能，F1定义表示如下：

三个数据集中各领域知识图谱实体链接预测实验结果如表2所示，结果表明本发明CTransD模型相对于基线模型在两个指标上都具有提升，本发明CTransD模型相对于其他基线模型表示学习的能力更好。

表2CTransD模型实验结果

对基线模型和本发明CTransD-GAT模型进行Top-K推荐和点击率预测实验，在三个数据集上分别得出了各个模型的精确率和召回率，如图5所示，以及各个模型的AUC和F1，如表3所示。

表3点击率预测实验结果

本发明CTransD-GAT模型在三个数据集上的AUC和F1值都高于其他模型，Top-k推荐中随着K值的增加，所有模型的精确率都呈现下降的趋势，召回率都呈现上升的趋势。在三个数据集中，LibFM模型相比其他融合知识图谱的模型准确率要略低，说明在推荐中引入知识图谱作为辅助信息，有效的提取了物品的特征向量，提升了推荐的质量。本发明CTransD-GAT模型表现要明显优于其他只融合知识图谱的模型，说明融入图注意力网络有效的根据权重信息传播聚合邻域信息，提高了推荐的准确率，表明本发明该模型的有效性。

Claims (3)

1.一种基于知识图谱和图注意力网络的课程推荐系统，其特征在于，包括领域知识图谱构建模块、知识表示学习CTransD模块、图注意力网络CTransD-GAT模块和评分预测模块；

所述的领域知识图谱构建模块：采用自顶向下的构建方式，抽象概括领域知识，得到领域知识图谱的实体概念，为领域中的每个实体概念定义实体类、对象属性、数据属性、值域和约束条件，构建出领域知识图谱本体库，从数据集中获取数据，将知识图谱所需的实体、属性、关系元素抽取出来，实例化本体库，形成结构化知识存入知识图谱；

所述的知识表示学习CTransD模块：将所述的知识图谱中的实体和关系嵌入到连续的稠密的低维向量空间中，形成用户、课程和关系的初始嵌入向量，用来刻画推荐系统的课程语义信息；

所述的图注意力网络CTransD-GAT模块：通过注意力机制来计算所述的知识图谱中关系对用户的权重，利用用户的嵌入向量和关系嵌入向量的内积表示该种关系对用户的重要程度，实体节点根据权重系数将特征信息传递给相邻节点，并使实体节点与传播的相邻节点进行嵌入聚合生成新的包含更多信息的节点表示；

所述的评分预测模块：将用户嵌入向量e_u与聚合后的课程嵌入向量e_k做内积，作为用户点击物品的概率值

2.根据权利要求1所述的一种基于知识图谱和图注意力网络的课程推荐系统，其特征在于，所述知识表示学习模块为优化后的CTransD模块，模型创建步骤如下：

步骤1、三元组提取：将知识图谱中的数据转换为三元组结构；

步骤2、构造三元组得分函数：对每个三元组(h,r,t)来说，h是头实体向量，r是关系向量，t是尾实体向量，通过K-Means聚类算法，依据实体向量间的相似性聚成k类，每个实体向量属于且仅属于一个到其实体向量类簇中心距离最小的类簇中，使用算术平均值的方法计算簇群的平均值，并把这个平均值当做实体类中心，头实体的中心记为

头实体组成的邻域

尾实体的中心记为

尾实体组成的邻域

头尾实体类中心分别定义为：

头尾实体完成聚类后，头尾投影矩阵M_rh和M_rt分别表示为：

关系空间中被投影的头实体h_⊥和尾实体t_⊥分别表示为：

h_⊥＝M_rhh，t_⊥＝M_rtt

被投影到关系r平面的头实体h_⊥和尾实体t_⊥满足h_⊥+r-t_⊥≈0，三元组得分函数为：

步骤3、构造负例三元组：对于给定的三元组，以概率P替换头实体，以1-P的概率替换尾实体，生成负例三元组，概率P为：

其中，N_tph表示每个头实体对应的尾实体数量的平均值，N_hpt表示每个尾实体对应的头实体数量的平均值；

步骤4、构造实体类中心和实体投影相似性：用实体类中心代替整个实体类进行类间距计算，通过欧氏距离度量实体类中心的相似性，实体类中心相似性

为：

通过正态分布函数把欧氏距离转换成概率表示相似性，以

为条件选择

的实体类中心相似性概率

定义为：

实体类中心

对应投影向量

以

为条件选择

的实体投影向量相似性概率

定义为：

将上式的条件概率进行对称化处理，得到对称化处理后的实体类中心相似性概率

和实体投影向量相似性概率

定义为：

步骤5、根据目标函数进行梯度更新：采用三元组损失函数和KL散度损失函数作为样本的目标函数，目标函数为：

其中(h,r,t)∈S表示中三元组集合，(h',r,t')∈S'表示负例三元组集合，由负三元组构建策略生成，目标函数使用随机梯度下降算法更新模型参数，每次伯努利抽样抽取部分三元组，生成负例三元组加入三元组数据集合中，γ表示正例和负例三元组得分的距离，将集合中的实体和关系在各自向量空间中归一化操作，使用归一化向量数据训练模型。

3.根据权利要求1所述的一种基于知识图谱和图注意力网络的课程推荐系统，其特征在于，所述图注意力网络CTransD-GAT模块，模块创建步骤如下：

步骤1、计算用户权重偏好系数：利用用户的嵌入向量和关系嵌入向量的内积表示该种关系对用户的重要程度，在知识图谱中头尾节点连接的边即为权重，权重系数表示如下：

其中e_u和e_r分别表示用户u和关系r的嵌入向量，通过softmax函数归一化对权重系数进行归一化操作，表示如下：

其中

是归一化后的权重系数，N(v)表示节点v的邻居节点集合；

步骤S2、特征传播与聚合：对所有关系类型的邻居节点进行传播，将节点加权求和得到实体邻域的特征向量，特征向量表示如下：

通过BI-Interaction聚合函数，先将两个向量相加进行非线性变换，再将两个向量元素点乘进行非线性变换，最后将两个向量相加，表示如下：

其中，W₁,W₂∈R^d′×d和b₁,b₂∈R^d为可训练权重矩阵与偏差，σ为ReLu激活函数，

表示点乘。

Images