CN115098770A

CN115098770A - 融合强化学习和知识图谱链路传播的在线课程推荐方法

Info

Publication number: CN115098770A
Application number: CN202210640457.3A
Authority: CN
Inventors: 常亮; 陈艺; 刘铁园
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2022-09-23

Abstract

本发明提供了融合强化学习和知识图谱链路传播的在线课程推荐方法，本发明基于知识图谱与人工智能领域等方面的技术，包含信息采集模块，强化学习模块，数据处理模块和推荐模块。本发明通过路径信息丰富用户的嵌入式表达，并使用强化学习模块来辅助课程推荐系统，最终对用户提供更加精准的课程推荐。我们通过如下几个方面来提升课程推荐的准确率。首先，利用强化学习模块对用户的交互信息去噪，并得到用户对不同课程的兴趣因子。其次，使用携带用户目的性的隐含的链路传播信息与对应课程的兴趣因子丰富用户嵌入式表达，这使得用户的嵌入式表达更加准确且全面，最终实现提升课程推荐系统准确率的效果。

Description

融合强化学习和知识图谱链路传播的在线课程推荐方法

(一)技术领域

本发明涉及到知识图谱与人工智能领域，尤其是涉及到知识图谱嵌入表示方法和知识图谱链路传播和课程推荐方法。

(二)背景技术

在线教育的爆发式增长改变了传统的教学模式，随着互联网与教育的融合，各类在线教育平台应运而生。推荐算法是在线教育平台的核心，传统的推荐方法具有许多局限性，比如协同过滤在实际推荐场景中存在稀疏性和冷启动等问题。一般来说，推荐系统利用用户和物品之间属性和交互信息进行预测，知识图谱则可以提供用户和物品之间复杂的语义信息，因此研究人员可以使用知识图谱来解决传统推荐算法中的问题并提高推荐系统的性能。

当前知识图谱被越来越多的应用于推荐算法领域。知识图谱是一个异构图，其中节点表示实体，边表示实体之间的关系。知识图谱用“实体-关系-实体”三元组来描述现实世界中不同实体之间的语义关系，实体间的语义关系可以有效地扩展用户兴趣，然而这种语义关系难以被传统推荐方法发掘。与相比传统的推荐算法基于知识图谱地推荐算法具有巨大优势。现有的基于知识图谱的推荐算法很少有考虑用户的交互信息与用户内在的动机。本发明提出的融合强化学习和知识图谱链路传播的在线课程推荐方法通过融合用户与课程的交互信息与其内在兴趣对用户进行了更加准确的建模，同时使用了强化学习增加了推荐算法的鲁棒性和准确性。

(三)发明内容

针对现有解决方案中存在的问题，本发明提出了融合强化学习和知识图谱链路传播的在线课程推荐方法，本发明很好地考虑到了用户与课程的交互信息与其内在兴趣，并且使用了强化学习来对数据进行去噪，使得本发明提出的推荐算法相对于其他推荐算法具有更高的准确性和鲁棒性。

融合强化学习和知识图谱链路传播的在线课程推荐方法,包括以下步骤：

S1：利用信息收集模块收集用户的在线学习的历史交互数据，并整理出不同用户的交互历史。

S2：将步骤S1整理出的用户交互历史划分为训练集与测试集。将数据输入到强化学习模块，利用训练数据训练强化学习模块，利用测试集评估强化学习模块性能。在强化学习模块内部创建对应的课程-视频三级过滤文件。使用课程-视频三级过滤文件对用户的交互信息进行去噪，并得到用户对不同课程的兴趣因子λ_i。

S3：对强化学习模块去噪后的数据进行建模。得到基于用户-课程-视频的知识图谱，并记录不同用户对不同课程的兴趣因子λ_i。

S4：使用步骤S3得到的用户-课程-视频的知识图谱，使用嵌入式向量对用户U进行表示e_u，其中e_u∈R^d。使用嵌入式方法TransE计算公式如下：

f(h,r,t)＝||h+r-t||

S5：利用步骤S3得到的用户-课程交互图和步骤S2得到的交互信息与兴趣因子的信息，将如上信息融入到步骤S4得到的用户的嵌入向量中。其中用户的对应嵌入式表达公式如下：

S6：使用步骤S3得到的用户-课程-视频的知识图谱，使用嵌入式向量对课程E进行表示e_i，其中e_i∈R^d。使用嵌入式方法TransE计算公式如下：

f(h，r，t)＝||h+r-t||

S7：在得到融合了多种信息的用户的嵌入式表达与不同课程嵌入式向量表达后，预测模块使用如下预测公式对用户可能感兴趣的课程进行预测。其中预测公式如下：

S8：根据预测模块对每个课程进行预测得分，最终将得分topN的课程推荐给该用户。

进一步的步骤S4中所使用的知识图谱的嵌入式算法为TransE，此算法可以充分利用知识图谱的语义信息，对课程属性以及自身信息进行丰富的描述。TransE就是基于实体和关系的分布式向量表示，，通过不断调整h、r和t(头实体、关系实体和尾实体的向量)，使(h+r)尽可能与t相等，即h+r＝t。

进一步的步骤S5中使用强化学习模块得到用户的兴趣因子λ，融合用TransE得到的用户嵌入表示e_u和经过用户交互路径传播的信息，可以对用户进行更加全面的建模。

进一步的步骤S7中使用课程的向量和融合交互路径信息和兴趣因子后的用户与表示，使用内积估计用户对应课程的偏好程度。

相对于现有技术，本发明所述的融合强化学习和知识图谱链路传播的在线课程推荐方法具有以下优点：

本发明所述的融合强化学习和知识图谱链路传播的在线课程推荐方法，通过路径信息丰富用户的嵌入式表达，并使用强化学习模块来辅助课程推荐系统，最终对用户提供更加精准的课程推荐。我们通过如下几个方面来提升课程推荐的准确率。首先，利用强化学习模块对用户的交互信息去噪，并得到用户对不同课程的兴趣因子。其次，使用携带用户目的性的隐含的链路传播信息与对应课程的兴趣因子丰富用户嵌入式表达，这使得用户的嵌入式表达更加准确且全面，最终实现提升课程推荐系统准确率的效果。

(四)附图说明

图1本发明实施例所述的融合强化学习和知识图谱链路传播的在线课程推荐方法。

(五)具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实例，并参照附图，对本发明进一步详细阐述。

如图1所示，融合强化学习和知识图谱链路传播的在线课程推荐方法具有如下步骤：

S3：根据强化学习模块去噪后的数据，得到基于用户-课程-视频的知识图谱，并记录不同用户对不同课程的兴趣因子λ_i。

f(h,r,t)＝||h+r-t|| (1)

f(h,r,t)＝||h+r-t|| (3)

S8：根据推荐模块对每个课程进行预测得分，最终将得分topN的课程推荐给该用户。

步骤S1中采集的数据包括学习的ID、姓名、课程的ID，课程的名字，授课老师，授课老师所属的学习，观看课程的时长，课程的知识点，课程的属性等。

步骤S2中使用强化学习对用户的历史交互信息进行去噪，减少噪声信息对预测结果的干扰，并且得到用户对课程的兴趣因子。

步骤S4中知识图谱的嵌入式的算法使用的是的TransE嵌入方法，这种能够将知识图谱提供的语义信息嵌入到用户的表达式中。

步骤S5使用强化学习模块得到用户的兴趣因子λ，融合用TransE得到的用户嵌入表示e_u和经过用户交互路径传播的信息，可以对用户进行更加全面的建模。

步骤S7中使用课程的向量和融合交互路径信息和兴趣因子后的用户与表示，使用内积估计用户对应课程的偏好程度。

以上说明仅为本发明的一个实施示例，对本发明进行了一个较为清晰的阐述。在本领域的技术，实施人员在进行具体的方案设计与实施时，均有可能进行改变。综上所述，本说明内容不是对本发明的限制。

Claims

1.融合强化学习和知识图谱链路传播的在线课程推荐方法，其特征包含以下步骤：

S2：将步骤S1整理出的用户交互历史划分为训练集与测试集。将数据输入到强化学习模块，利用训练数据训练强化学习模块，利用测试集评估强化学习模块性能强化学习模块内部创建对应的课程-视频三级过滤文件。使用课程-视频三级过滤文件对用户的交互信息进行去噪，并得到用户对不同课程的兴趣因子λ。

S3：对强化学习模块去噪后的数据进行建模。得到基于用户-课程-视频的知识图谱，并记录不同用户对不同课程的兴趣因子λ。

S4：使用步骤S3得到的用户-课程-视频的知识图谱，使用嵌入式向量对用户U进行表示e_u，其中e_u∈R^d。使用基础嵌入式方法TransE计算公式如下：

f(h,r,t)＝||h+r-t||

S6:使用步骤S3得到的用户-课程-视频的知识图谱，使用嵌入式向量对课程E进行表示e_i，其中e_i∈R^d。使用基础嵌入式方法TransE计算公式如下：

f(h,r,t)＝||h+r-t||

S7:在得到融合了多种信息的用户的嵌入式表达与不同课程嵌入式向量表达后，预测模块使用如下预测公式对用户可能感兴趣的课程进行预测。其中预测公式如下：

2.根据权利1中所述的融合强化学习和知识图谱链路传播的在线课程推荐方法，特征包含步骤S2和S3中在使用强化学习模块去噪后的数据进行建模，得到基于用户-课程-视频的知识图谱，并记录不同用户对不同课程的兴趣因子λ。

3.根据权利1中所述的融合强化学习和知识图谱链路传播的在线课程推荐方法，特征包含步骤S5，利用步骤S3得到的用户-课程交互图和步骤S2得到的交互信息与兴趣因子的信息，将如上信息融入到步骤S4得到的用户的嵌入向量中，对用户嵌入式表达进行更加准确的建模。