CN112541846B

CN112541846B - 一种基于注意力机制的高校选修课混合推荐方法及系统

Info

Publication number: CN112541846B
Application number: CN202011529174.9A
Authority: CN
Inventors: 吕蕾; 王福运; 李赓; 吕晨
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2022-11-29
Anticipated expiration: 2040-12-22
Also published as: CN112541846A

Abstract

本发明公开一种基于注意力机制的高校选修课混合推荐方法及系统，包括：根据目标学生和其他学生的历史选课记录构建其他学生历史选课行为向量、目标学生专业课历史选课行为向量和候选选修课向量；根据目标学生专业课历史选课行为向量和候选选修课向量对目标学生向量进行注意力加权，根据加权后的目标学生向量和学生关系对得到带有同学关系权重的同学关系向量；根据候选选修课向量、其他学生历史选课行为向量和同学关系向量得到目标学生偏好向量，根据目标学生偏好向量对候选选修课进行排序，选取前k个选修课推荐至目标学生。该推荐算法利用多方信息来进行课程推荐，可以有效的实现推荐效果的记忆能力和泛化能力。

Description

一种基于注意力机制的高校选修课混合推荐方法及系统

技术领域

本发明涉及社会化推荐技术领域，特别是涉及一种基于注意力机制的高校选修课混合推荐方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着互联网选课方式在高校学生的课程选择中越来越普及，学生对于课程的选择往往处于一种迷茫的状态。由于对未知课程的不熟悉，学生很难抉择出满足自己兴趣同时有利于自己专业发展的选修课程。为了帮助学生更有效的选择出适合自己的课程，课程推荐需求在课程选择过程中愈加迫切。

当下已有的选课系统或者缺乏针对学生属性特征的个性化推荐、或者存在的推荐功能都是基于传统的协同过滤算法来实现的。协同过滤算法基于用户的历史行为，这种推荐算法可以充分挖掘用户的行为特征，却存在明显的冷启动问题，即学生之前对选课系统没有过历史行为的前提下，便很难得出学生选课的行为偏好。

同时传统的协同过滤算法不能很好的对学生行为特征做深层次的抽象，不能像深度学习那样挖掘出更多数据中潜藏的模式，简单地将深度学习应用于协同过滤方法的推荐也存在一些问题，因为学生的历史行为是多样的，所以多数情况下只有部分的历史行为对推荐结果有助益。比如对于一个学生来讲，他不仅选过选修课，也可能选过专业课，而专业课中的很多课程对于选修课的推荐也不会提供有效的作用。

传统的社会化推荐方法也存在若干问题，比如对于一个学生来讲，他的同学关系中对他选课偏好的塑造也可能是片面的，同学之间的选课偏好可能只是部分匹配，需要更为先进的推荐方法来提供更好的推荐算法。

综上，发明人认为，现有的推荐方法过于单一且推荐效果差；传统的协同过滤算法不能很好的表征一个学生对于课程的偏好，而现有的一些深度学习方法往往会利用学生所有的历史行为作为训练的样本，但学生所有的历史行为并不会都对学生的选课偏好预测起到正反馈的效果；传统的社会化推荐方法只是根据同学关系来预测新生的选课偏好，同学之间的选课偏好也可能只是部分相匹配，因此简单的采用社交关系中的其他同学选课偏好来塑造出一个学生的整体选课偏好可能具有更大的片面性。

发明内容

为了解决上述问题，本发明提出了一种基于注意力机制的高校选修课混合推荐方法及系统，通过应用注意力机制与深度神经网络构建的混合课程推荐方法，通过其他学生如学长等的选课历史行为得到其他同学的选课喜好，将多方面的选课行为偏好传播到学生间的社交关系中，进而推断出当前学生的选课行为偏好实现课程的推荐。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于注意力机制的高校选修课混合推荐方法，包括：

根据目标学生和其他学生的历史选课记录构建其他学生历史选课行为向量、目标学生专业课历史选课行为向量和候选选修课向量；

根据目标学生专业课历史选课行为向量和候选选修课向量对目标学生向量进行注意力加权，根据加权后的目标学生向量和学生关系对得到带有同学关系权重的同学关系向量；

根据候选选修课向量、其他学生历史选课行为向量和同学关系向量得到目标学生偏好向量，根据目标学生偏好向量对候选选修课进行排序，选取前k个选修课推荐至目标学生。

第二方面，本发明提供一种基于注意力机制的高校选修课混合推荐系统，包括：

获取模块，被配置为根据目标学生和其他学生的历史选课记录构建其他学生历史选课行为向量、目标学生专业课历史选课行为向量和候选选修课向量；

注意力模块，被配置为根据目标学生专业课历史选课行为向量和候选选修课向量对目标学生向量进行注意力加权，根据加权后的目标学生向量和学生关系对得到带有同学关系权重的同学关系向量；

推荐模块，被配置为根据候选选修课向量、其他学生历史选课行为向量和同学关系向量得到目标学生偏好向量，根据目标学生偏好向量对候选选修课进行排序，选取前k个选修课推荐至目标学生。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明通过应用注意力机制与深度神经网络构建的协同过滤算法和社会化推荐的混合课程推荐方法，设计一种AFSN的深度神经网络推荐算法，该推荐算法利用多方信息来进行课程推荐，可以有效的实现推荐效果的记忆能力和泛化能力。

本发明通过了解学生师兄的选课历史行为得到学长的选课喜好、了解其他同学的选课行为得到其他同学的选课喜好，最终将多方面的选课行为偏好传播到他们的社交关系中，进而推断出当前学生的选课行为偏好实现课程的推荐，达到更好的课程推荐效果，帮助实现课程推荐的千人千面。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的基于注意力机制的高校选修课混合推荐方法流程图；

图2为本发明实施例1提供的基于注意力机制的激活单元示意图；

图3为本发明实施例1提供的基于注意力机制的记忆模块示意图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提供一种基于注意力机制的高校选修课混合推荐方法，包括：

S1：根据目标学生和其他学生的历史选课记录构建其他学生历史选课行为向量、目标学生专业课历史选课行为向量和候选选修课向量；

S2：根据目标学生专业课历史选课行为向量和候选选修课向量对目标学生向量进行注意力加权，根据加权后的目标学生向量和学生关系对得到带有同学关系权重的同学关系向量；

S3：根据候选选修课向量、其他学生历史选课行为向量和同学关系向量得到目标学生偏好向量，根据目标学生偏好向量对候选选修课进行排序，选取前k个选修课推荐至目标学生。

所述步骤S1中，首先收集目标学生本专业相关同学的选课历史行为记录将其作为样本序列，然后应用Item2vec思路，将历史记录行为序列作为样本来训练生成学生查询课程时搜索词的Embedding向量、其他已经选过课程学生历史行为Embedding向量、此学生已经选过专业课的历史行为Embedding向量和系统中的全部待选的选修课的Embedding向量；

由于目标学生已经选过的课程和其他已经选过课程同学的课表中包含非专业相关的必修课程，所以每一种输入特征所占的比重也应该是不同的，不能经过简单的平均池化操作就进入上层神经网络进行下一步的训练。例如，计算机专业的学生已经选过的必修课包括数据结构、计算机网络、操作系统和大学英语，然而学生更希望能够在选课过程中，计算机相关专业的课程能够优先得到推荐以提高自己的专业能力，那么大学英语的特征输入便不再有更大的意义。

所述步骤S2中，将Attention机制应用于特征组的输入过程中；

在特征输入阶段，如图2所示，首先将目标学生的专业课历史选课行为向量与待选选修课向量进行一次外积运算，然后将外积运算的结果与二者原始的Embedding向量进行拼接，通过全连接部分控制输出的维度，最终得到一个权重值，该权重代表“注意力”的强弱，权重计算的公式：

其中，V_s表示学生的Embedding向量，V_c是候选课程的Embedding向量，V_i是学生s第i次行为的Embedding向量，g(V_i,V_c)是用于生成注意力得分的激活单元，该单元将输入的V_i向量和V_c向量经过元素的减操作之后与原Embedding向量一同连接作为全连接层的输入，最后经过单神经元输出评分。

所述步骤S3中，经过以上注意力机制的特征加工之后，将加权后的目标学生向量和待选选修课向量作为输入；将以上得到的输入向量输入到由基于注意力机制构建的记忆模块中，记忆模块用来将以上的用户向量进行同学之间相互关系的学习，之后将学习到的同学关系向量用于给同学分配不同的权重，将加权之后的同学的选课偏好应用于待选课程向量得到当前学生的选课偏好，如图3所示。

记忆模块的流程如下：

首先，将学生关系对(s_i,s_(i,l))作为输入向量对，其中s_i表示第i个学生的Embedding向量，s_(i，l)表示i学生与其第l个朋友组成关系的Embedding向量，通过联合嵌入的方式得到标准化向量u，其公式为：

其次，将得到的标准化向量u与学生关系对构成的矩阵K相乘得到注意力向量y：

y＝u^T*K_l

其中，K_l表示学生关系对构成的矩阵；

然后，将得到的每一个注意力向量y经过softmax函数激活得到注意力得分：

因为并不是所有的同学对这个学生选课的影响都是一样的，比如说这个学生可能是个男生，那他周围的师兄以及男同学的选课标准可能作用大于周围的师姐和女同学；所以本实施例利用以上得到的注意力得分乘以原来的u(i,l)向量得到带有同学关系权重的同学关系向量：

f(i,l)＝a_j*u(i,l)

在得到以上的同学关系向量之后，将待选课程向量和这个同学关系向量一同加入到Relu激活函数中，得到最终带有学生偏好的最终向量：

这个带有学生偏好的最终向量包含为当前学生推荐课程的候选集。

所述步骤S3中，在完成个性化召回阶段后，将召回的课程进行个性化排序；本实施例采用矩阵分解(MF)思路，将带有学生偏好的最终向量分别与课程向量相乘得到每一个课程的推荐顺序，最终将前top k个最值得推荐的课程推荐给目标学生。

实施例2

本实施例提供一种基于注意力机制的高校选修课混合推荐系统，包括：

此处需要说明的是，上述模块对应于实施例1中的步骤S1至S3，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。