CN118093960A - 一种基于学习意图感知的双重对比学习课程推荐方法 - Google Patents
一种基于学习意图感知的双重对比学习课程推荐方法 Download PDFInfo
- Publication number
- CN118093960A CN118093960A CN202410293493.6A CN202410293493A CN118093960A CN 118093960 A CN118093960 A CN 118093960A CN 202410293493 A CN202410293493 A CN 202410293493A CN 118093960 A CN118093960 A CN 118093960A
- Authority
- CN
- China
- Prior art keywords
- course
- learning
- learner
- intention
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008447 perception Effects 0.000 title claims abstract description 12
- 230000007774 longterm Effects 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 23
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000009977 dual effect Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 229940070527 tourmaline Drugs 0.000 description 1
- 229910052613 tourmaline Inorganic materials 0.000 description 1
- 239000011032 tourmaline Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于学习意图感知的双重对比学习课程推荐方法,包括:1构建学习者‑学习课程序列数据库;2利用注意力机制构建学习者长期学习意图模块,并用于得到学习者的长期学习意图;3构建学习者短期学习意图模块,并用于得到学习者的短期学习意图的表示;4构建双重对比学习模块,并用于得到增强视图和自增强学习意图以及检索增强的学习意图;5构建预测模块,并用于得到学习者选修课程的概率分布;6对双重对比学习课程推荐网络进行训练,以得到最优双重对比学习课程推荐模型,用于预测学习者选修完最后一门课程后的课程推荐方案。本发明能显著提升课程推荐的准确率和鲁棒性。
Description
技术领域
本发明属于个性化课程推荐领域,具体的说是一种基于学习意图感知的双重对比学习课程推荐方法。
背景技术
近年来,目睹了大规模开放在线课程(MOOCs)平台的蓬勃发展,如Coursera、Udemy和XueTangX等,它们以低成本提供来自世界顶级大学的各种高质量课程。随着MOOC平台的发展,市场的划分也逐渐细化,课程规模不断提升,为学习者提供了琳琅满目的选择。然而,由于MOOC平台上相对轻松自由的教学环境及学习者对自身认知的不全面与课程数量庞大的课程量之间的矛盾,学习者通常难以选择到迎合自身兴趣、能够满足自身需求的课程。这种情况最终影响了学习的效率和学习者的热情,会导致学习者出现辍学等行为,对平台及学习者本身都会造成负面影响。
传统的课程推荐方法通常将历史学习课程视为学习者的个人资料,并采用机器学习和协同过滤技术来捕捉学习者对各种课程的偏好。并且,学习者的学习行为表现出连续和动态的模式。为了捕捉这些变化的学习兴趣,现有理论提出了基于深度学习的推荐方法。
然而,在协同过滤中会产生稀疏性问题,即大多数学习者与大多数课程之间没有交互,这导致了很难准确地预测学习者对未知课程的偏好。同时基于深度学习的推荐方法对数据需求高,如果数据量不足或者数据质量不佳,模型的性能可能会受到影响;同时,模型复杂度高,这可能导致在资源有限的情况下难以部署和维护;并且长尾问题也是深度学习模型的弊端,深度学习模型可能会偏向于推荐热门课程,而忽视那些较少被用户访问的课程,使其无法得到合理的推荐。
发明内容
本发明是为了解决上述存在的难题,提出一种基于学习意图感知的双重对比学习课程推荐方法,以期能够在课程内容和结构上获得更深入的理解,可以更准确地预测学习者的即时学习需求和偏好,从而能提高课程推荐的准确性和鲁棒性。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种面向学习意图的双对比学习课程推荐方法的特点在于,是按如下步骤进行:
步骤1、构建学习者-学习课程序列数据库:
用U表示学习者集,且U={u1,...,ui,...,uM},其中,ui表示第i个学习者,M代表学习者总数,1≤i≤M;
用C表示课程集,且C={c1,...,cj,...,cN},其中,cj表示第j门课程,N代表课程总数,1≤j≤N;
用E={e1,...,ej,...,eN}表示课程的嵌入,其中,表示第j门课程cj的嵌入,v是嵌入的维度;
用S表示学习者-课程集,且S={S1,...,Si,...,SM},其中,Si表示第i个学习者ui∈U选修的课程集合;且Si={ei,1,...,ei,k,...,ei,t},其中,ei,k表示第i个学习者ui在第k个时间节点上选修的课程的嵌入,ci,k表示第i个学习者ui在第k个时间节点上选修的课程,t表示时间节点的总数;
步骤2、利用注意力机制构建学习者长期学习意图模块,并用于对第i个学习者ui在第k个时间节点上选修课程ci,k的表示hi,k和第i个学习者ui的选修课程ci,k在序列Si中的权重αi,k进行处理,得到第i个学习者ui的长期学习意图从而构建MLM预训练范式的损失函数/>
步骤3、构建学习者短期学习意图模块,并用于对当第i个学习者ui选修的最后一门课程ci,t为课程cj时,在其他学习者选修的课程集合中,选修cj后再选的其他课程的集合Zi中课程cd的嵌入ed及其权重βi,d进行处理,得到第i个学习者ui的短期学习意图的表示
步骤4、构建双重对比学习模块,包括:自监督对比学习模块和监督对比学习模块;其中,自监督对比学习模块分别对Si和进行处理,得到增强视图/>和自增强学习意图从而建立InfoNCE损失函数Lself;监督对比学习模块对Si和/>进行处理,获得检索增强的学习意图/>用于计算序列相似性,从而构建形式化监督对比学习损失Lsup;
步骤5、预测模块用于对第i个学习者ui的总学习意图hi进行处理,得到第i个学习者ui选修课程cj的概率分布从而建立交叉熵损失函数/>
步骤6、利用式(17)构建总损失函数
式(1)中,λ1,λ2,λ3是三个超参数,Θ表示所有模块中的参数,||·||2表示L2正则化约束;
步骤7、使用Adam优化器对所述学习者长期学习意图模块、短期学习意图模块、自监督对比学习模块、监督对比学习模块构成的双重对比学习课程推荐网络进行训练,并最小化直到/>收敛为止,从而得到最优双重对比学习课程推荐模型,用于预测学习者选修完最后一门课程后的课程推荐方案。
本发明所述的一种基于学习意图感知的双重对比学习课程推荐方法的特点也在于,所述步骤2包括:
步骤2.1、用Pi表示第i个学习者ui选修的课程逆位置嵌入,且Pi={pi,t,...,pi,k,…,pi,1},其中,表示第i个学习者ui在第k个时间节点上选修课程ci,k的位置嵌入;
步骤2.2、利用式(1)得到第i个学习者ui的课程表示Hi={hi,1,...,hi,k,...,hi,t},其中,hi,k表示第i个学习者ui在第k个时间节点上选修课程ci,k的表示:
Hi=Transformer(Si+Pi) (2)
式(2)中,Transformer(·)表示Transformer序列编码器;
步骤2.3、利用式(3)获取第i个学习者ui所有选修课程的平均会话表示
步骤2.4、利用式(4)获得获得第i个学习者ui的选修课程ci,k在序列Si中的权重αi,k:
式(4)中,是待学习的两个权重矩阵;/>是待学习的两个偏置向量,σ(·)表示softmax函数;
步骤2.5、利用式(5)获得第i个学习者ui的长期学习意图
步骤2.6、利用式(6)构建MLM预训练范式的损失函数
式(6)中,表示在Si中随机对一部分选修课程用标记[Mask]进行掩码,并在序列末尾添加标记[Mask]的掩码序列;/>表示/>中被掩码的选修课程集合,cMask为被掩码的一个修课课程,/> 表示/>的编码集合,eMask为cMask的编码,e*为被掩码之前的一个修课课程c*的编码;/>表示在掩码序列/>下,eMask是e*的条件概率。
所述步骤3包括:
通过式(7)生成第i个学习者ui的短期学习意图的表示
式(7)中,Zi={(ci,t,wi,d)|ci,t→cd}表示当第i个学习者ui选修的最后一门课程ci,t为课程cj时,在其他学习者选修的课程集合中,选修cj后再选的其他课程的集合;ci,t→cd表示当第i个学习者ui选修的最后一门课程ci,t为课程cj时,存在第n个学习者un选修的课程集合Sn中在第g-1个时间节点上选修的课程cn,g-1为课程cj,第g个时间节点上选修的课程cn,g为课程cd;wi,d表示ci,t→cd在所有学习者选修的课程集合中出现的频率;βi,d为Zi中课程cd的嵌入ed的权重;|Zi|表示集合Zi中的课程数量。
所述步骤4中的自监督对比学习模块分别对Si和生成一个增强视图以及自增强学习意图/>其中,/>表示从随机掩码、随机删除和随机重新排序中随机选择的一种增强操作;
用Ha表示学习者长期意图及其自增强学习意图组成的序列,
根据式(8)构建自监督对比学习模块的InfoNCE损失函数Lself:
式(9)中,τ1为温度系数;s(·)表示余弦相似度函数;表示负样本集合,并由式(10)得到;/>为负样本集合/>中第v个样本的表示;
式(10)中,/表示排除。
所述步骤4中的监督对比学习模块检索和Si具有相同最后一门课程ci,t的其他课程集合,记为其中,/>表示最后一门课程为ci,t的第f个课程集合,Q表示最后一门课程为ci,t的其他课程集合的数量;
定义Si(L)表示第i个学习者ui选修的课程集合Si中的最后L门课程;且Si(L)={ei,t-L,ei,t-L+1,...,ei,t};
根据式(11)计算Si和的序列相似性/>
式(11)中,是正则化项;/>表示由第f个课程集合/>中最后L门课程组成的集合;/>表示课程cj在序列Si(L)中倒数的位置序号;/>表示课程cj在序列中倒数的位置序号;
通过式(12)和式(13)构建形式化监督对比学习损失Lsup:
式(12)和式(13)中,为负样本集合/>中第v个样本输入学习者长期学习意图模块后的长期学习意图;/>表示负样本集合,并由式(13)得到;/>是Si的检索增强的学习意图,是最后一门课程为ci,t的第f个课程集合/>输入学习者长期学习意图模块后的长期学习意图;τ2为温度系数;H+表示学习者长期学习意图及其检索增强的学习意图组成的序列,且/>
所述步骤5包括:
步骤5.1、通过式(14)动态调整第i个学习者ui长期和短期学习意图之间的权重wi:
步骤5.2、通过式(15)获得第i个学习者ui的总学习意图hi:
步骤5.3、通过式(16)来预测出第i个学习者ui在总学习意图为hi的情况下,选修完课程ci,t后,下一个选修课程cj的概率分布
步骤5.4、通过式(17)构建预测模块的交叉熵损失函数
式(17)中,yij表示第i个学习者ui的Si中课程cj的one-hot编码向量。
本发明一种电子设备,包括存储器以及处理器的特点在于,所述存储器用于存储支持处理器执行所述双重对比学习课程推荐方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序的特点在于,所述计算机程序被处理器运行时执行所述双重对比学习课程推荐方法的步骤。
与现有技术相比,本发明的有益效果在于:
1、本发明开发了一个基于Transformer的学习序列表示编码器。这个编码器采用了预训练策略,以更有效地捕捉课程之间的复杂依赖关系。通过这种方法,本发明能够在课程内容和结构上获得更深入的理解,这对于理解学习者的长期学习意图至关重要。此外,Transformer编码器的使用也有助于提高学习序列表示的性能,使模型能够更准确地预测学习者可能感兴趣的课程,从而提高了预测的准确性。
2、本发明为了捕获学习者的短期学习意图,采用了一阶马尔可夫转移概率矩阵,这种方法基于学习序列中的最近一门课,可以更准确地预测学习者的即时学习需求和偏好。通过结合长期和短期的学习意图表示,生成与学习者未来学习目标相符的个性化且准确的课程推荐。
3、本发明针对学习序列中的稀疏性和噪声课程交互问题,提出了一种创新的学习方法。这种方法结合了自监督对比学习和基于最近一门课程的有监督对比学习,旨在学习更加稳定和准确的长期意图序列表示。自监督对比学习部分通过随机操作(如随机裁剪、掩码、重排序等)生成正样本,以增强模型对学习序列中隐含信息的捕捉能力。而基于最近一门课程的有监督对比学习则聚焦于学习者的具体学习路径,选择与同一最近一门课共享的其他序列作为正面样本,从而更准确地反映了学习者的学习动机和目标。
附图说明
图1为本发明方法的总体框架示意图。
具体实施方式
本实施例中,一种基于学习意图感知的双重对比学习课程推荐方法的核心内容聚焦于从历史学习序列中同时学习学习者的长期和短期学习意图,通过综合个体目标、学术背景和学习状态,并结合先进的对比学习策略,提供线上课程学习计划定制建议,帮助学习者明智地选择适合的课程,优化平台使用体验,促使他们高效地完成课程学习任务。这不仅为当前的MOOC平台提供了有价值的技术支持,也为未来教育技术的发展提供了新的视角和思路。具体的说,如图1所示,该课程推荐方法是按如下步骤进行:
步骤1、构建学习者-学习课程序列数据库;
用U表示学习者集,且U={u1,...,ui,...,uM},其中,ui表示第i个学习者,M代表学习者总数,1≤i≤M;
用C表示课程集,且C={c1,...,cj,...,cN},其中,cj表示第j门课程,N代表课程总数,1≤j≤N;
用E={e1,...,ej,...,eN}表示课程的嵌入,其中,表示第j门课程cj的嵌入,v是嵌入的维度;
用S表示学习者-课程集,且S={S1,...,Si,...,SM},其中,Si表示第i个学习者ui∈U选修的课程集合;且Si={ei,1,...,ei,k,...,ei,t},其中,ei,k表示第i个学习者ui在第k个时间节点上选修的课程的嵌入,ci,k表示第i个学习者ui在第k个时间节点上选修的课程,t表示时间节点的总数。
步骤2、利用注意力机制构建用户长期学习意图;
步骤2.1、用Pi表示第i个学习者ui选修的课程逆位置嵌入,且Pi={pi,t,...,pi,k,…,pi,1},其中,表示第i个学习者ui在第k个时间节点上选修课程ci,k的位置嵌入;
步骤2.2、利用式(1)得到第i个学习者ui的课程表示Hi={hi,1,...,hi,k,...,hi,t},其中,hi,k表示第i个学习者ui在第k个时间节点上选修课程ci,k的表示:
Hi=Transformer(Si+Pi) (1)
式(1)中,Transformer(·)表示Transformer序列编码器。
步骤2.3、利用式(2)获取第i个学习者ui所有选修课程的平均会话表示
步骤2.4、利用式(3)获得获得第i个学习者ui的选修课程ci,k在序列Si中的权重αi,k:
式(3)中,是待学习的两个权重矩阵;/>是待学习的两个偏置向量,σ(·)表示softmax函数。
步骤2.5、利用式(4)获得第i个学习者ui的长期学习意图
步骤2.6、利用式(5)构建MLM预训练范式的损失函数
式(5)中,表示在Si中随机对一部分选修课程用标记[Mask]进行掩码,并在序列末尾添加标记[Mask]的掩码序列;/>表示/>中被掩码的选修课程集合,cMask为被掩码的一个修课课程,/> 表示/>的编码集合,eMask为cMask的编码,e*为被掩码之前的一个修课课程c*的编码;/>表示在掩码序列/>下,eMask是e*的条件概率。具体实施中,通过对所有序列集合进行MLM预训练过程,利用上下文课程来推断被掩码的课程,有效地利用课程关系并提供额外的监督信号来改进模型参数的学习。这个预训练步骤增强了对序列内上下文依赖关系的理解。在预训练任务之后,本发明进一步使用下一个项目预测任务对编码器进行微调,以获得长期学习意图建模。
步骤3、构建学习者短期学习意图模块;
通过式(6)生成第i个学习者ui的短期学习意图的表示
式(6)中,Zi={(ci,t,wi,d)|ci,t→cd}表示当第i个学习者ui选修的最后一门课程ci,t为课程cj时,在其他学习者选修的课程集合中,选修cj后再选的其他课程的集合;ci,t→cd表示当第i个学习者ui选修的最后一门课程ci,t为课程cj时,存在第n个学习者un选修的课程集合Sn中在第g-1个时间节点上选修的课程cn,g-1为课程cj,第g个时间节点上选修的课程cn,g为课程cd;wi,d表示ci,t→cd在所有学习者选修的课程集合中出现的频率;βi,d为Zi中课程cd的嵌入ed的权重;|Zi|表示集合Zi中的课程数量。具体实施中,由于在课程推荐场景中,课程存在先决关系,课程按顺序学习并包含在大量的学习序列中,提供了额外的信号来揭示学习者的短期学习模式。因此,本发明还提出从学习序列集合中的所有课程对的课程转换中挖掘课程级别的学习模式,以获得补充的学习意图表示。
步骤4、构建双重对比学习模块,包括:自监督对比学习模块和监督对比学习模块;
步骤4.1、自监督对比学习模块分别对Si和生成一个增强视图/>以及自增强学习意图/>其中,/>表示从随机掩码、随机删除和随机重新排序中随机选择的一种增强操作;
用Ha表示学习者长期意图及其自增强学习意图组成的序列,
根据式(8)构建自监督对比学习模块的InfoNCE损失函数Lself:
式(8)中,τ1为温度系数;s(·)表示余弦相似度函数;表示负样本集合,并由式(9)得到;/>为负样本集合/>中第v个样本的表示;
式(9)中,/表示排除。
具体实施中,在进行序列增强操作时,特别注意不对最近一门课程进行操作,以避免破坏学习序列的连贯性和完整性。通过这种方式,确保了增强序列在保持与原始序列相似的基础上,同时也包含了足够的变化,以提供有效的学习信号。
步骤4.2、监督对比学习模块检索和Si具有相同最后一门课程ci,t的其他课程集合,记为其中,/>表示最后一门课程为ci,t的第f个课程集合,Q表示最后一门课程为ci,t的其他课程集合的数量;
定义Si(L)表示第i个学习者ui选修的课程集合Si中的最后L门课程;且Si(L)={ei,t-L,ei,t-L+1,...,ei,t};
根据式(11)计算Si和的序列相似性/>
式(11)中,是正则化项;/>表示由第f个课程集合/>中最后L门课程组成的集合;/>表示课程cj在序列Si(L)中倒数的位置序号;/>表示课程cj在序列中倒数的位置序号。
通过式(12)和式(13)构建形式化监督对比学习损失Lsup:
式(12)和式(13)中,为负样本集合/>中第v个样本输入学习者长期学习意图模块后的长期学习意图;/>表示负样本集合,并由式(13)得到;/>是Si的检索增强的学习意图,是最后一门课程为ci,t的第f个课程集合/>输入学习者长期学习意图模块后的长期学习意图;τ2为温度系数;H+表示学习者长期学习意图及其检索增强的学习意图组成的序列,且/> 具体实施中,如果直接从候选序列中检索可能会导致获得与原始序列学习模式不同的序列,从而削弱序列表示的效果。因此本发明只检索那些与原始序列具有相同下一个课程和最近一门课程的序列作为正样本。此外,检索到的序列与原始序列在最后L门课程的重叠程度用来确定它们之间的相似性强度。这种方法很直观,因为共享最近报名课程的学习者在学习意图上更可能相似,因此更有可能报名相同的下一个课程。
步骤5、预测模块的处理;
步骤5.1、通过式(13)动态调整第i个学习者ui长期和短期学习意图之间的权重wi:
步骤5.2、通过式(14)获得第i个学习者ui的总学习意图hi:
步骤5.3、通过式(15)来预测出第i个学习者ui在总学习意图为hi的情况下,选修完课程ci,t后,下一个选修课程cj的概率分布
步骤5.4、通过式(16)构建预测模块的交叉熵损失函数
式(16)中,yij表示第i个学习者ui的Si中课程cj的one-hot编码向量。
步骤6、使用Adam优化器对所述基于学习意图感知的双重对比学习课程推荐模型进行训练,并最小化直到/>收敛为止。
本实施例中,一种电子设备,包括存储器以及处理器,该存储器用于存储支持处理器执行上述方法的程序,该处理器被配置为用于执行该存储器中存储的程序。
本实施例中,一种计算机可读存储介质,是在计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法的步骤。
综上所述,在管理实践与管理学意义方面,本发明方法为识别学习者的长短期学习意图与个性化课程推荐提供了新的见解和启示:
(1)本发明方法定义了“长期学习意图”及“短期学习意图”来深度挖掘学习者选修过程中的学习目标,用于推荐给用户符合其学习目标及当前兴趣的课程,提高了用户的线上学习体验,为理解学习者需求提供了参考。
(2)通过利用课程之间的依赖关系和学习者的行为数据,本方法强调了数据驱动决策在教育管理中的重要性。管理者可以利用这些数据来更好地理解学习者的需求,从而制定更有效的教育策略和课程计划,以及改进教学方法和内容。
(3)本发明方法采用的两阶段推荐模型为管理者提供了一个重要的策略方向。这一设计思路为企业在针对不同情境设计推荐方案时,可以通过分阶段处理不同的任务,从而优化整体推荐过程。这种阶段性的方法能够更精确地满足用户的具体需求,提高推荐的准确性和效果。
Claims (8)
1.一种面向学习意图的双对比学习课程推荐方法,其特征在于,是按如下步骤进行:
步骤1、构建学习者-学习课程序列数据库:
用U表示学习者集,且U={u1,...,ui,...,uM},其中,ui表示第i个学习者,M代表学习者总数,1≤i≤M;
用C表示课程集,且C={c1,...,cj,...,cN},其中,cj表示第j门课程,N代表课程总数,1≤j≤N;
用E={e1,...,ej,...,eN}表示课程的嵌入,其中,表示第j门课程cj的嵌入,v是嵌入的维度;
用S表示学习者-课程集,且S={S1,...,Si,...,SM},其中,Si表示第i个学习者ui∈U选修的课程集合;且Si={ei,1,...,ei,k,...,ei,t},其中,ei,k表示第i个学习者ui在第k个时间节点上选修的课程的嵌入,ci,k表示第i个学习者ui在第k个时间节点上选修的课程,t表示时间节点的总数;
步骤2、利用注意力机制构建学习者长期学习意图模块,并用于对第i个学习者ui在第k个时间节点上选修课程ci,k的表示hi,k和第i个学习者ui的选修课程ci,k在序列Si中的权重αi,k进行处理,得到第i个学习者ui的长期学习意图从而构建MLM预训练范式的损失函数/>
步骤3、构建学习者短期学习意图模块,并用于对当第i个学习者ui选修的最后一门课程ci,t为课程cj时,在其他学习者选修的课程集合中,选修cj后再选的其他课程的集合Zi中课程cd的嵌入ed及其权重βi,d进行处理,得到第i个学习者ui的短期学习意图的表示
步骤4、构建双重对比学习模块,包括:自监督对比学习模块和监督对比学习模块;其中,自监督对比学习模块分别对Si和进行处理,得到增强视图/>和自增强学习意图从而建立InfoNCE损失函数Lself;监督对比学习模块对Si和/>进行处理,获得检索增强的学习意图/>用于计算序列相似性,从而构建形式化监督对比学习损失Lsup;
步骤5、预测模块用于对第i个学习者ui的总学习意图hi进行处理,得到第i个学习者ui选修课程cj的概率分布从而建立交叉熵损失函数/>
步骤6、利用式(17)构建总损失函数
式(1)中,λ1,λ2,λ3是三个超参数,Θ表示所有模块中的参数,||·||2表示L2正则化约束;
步骤7、使用Adam优化器对所述学习者长期学习意图模块、短期学习意图模块、自监督对比学习模块、监督对比学习模块构成的双重对比学习课程推荐网络进行训练,并最小化直到/>收敛为止,从而得到最优双重对比学习课程推荐模型,用于预测学习者选修完最后一门课程后的课程推荐方案。
2.根据权利要求1所述的一种基于学习意图感知的双重对比学习课程推荐方法,其特征在于,所述步骤2包括:
步骤2.1、用Pi表示第i个学习者ui选修的课程逆位置嵌入,且Pi={pi,t,...,pi,k,…,pi,1},其中,表示第i个学习者ui在第k个时间节点上选修课程ci,k的位置嵌入;
步骤2.2、利用式(1)得到第i个学习者ui的课程表示Hi={hi,1,...,hi,k,...,hi,t},其中,hi,k表示第i个学习者ui在第k个时间节点上选修课程ci,k的表示:
Hi=Tarnsformer(Si+Pi) (2)
式(2)中,Transformer(·)表示Transformer序列编码器;
步骤2.3、利用式(3)获取第i个学习者ui所有选修课程的平均会话表示
步骤2.4、利用式(4)获得获得第i个学习者ui的选修课程ci,k在序列Si中的权重αi,k:
式(4)中,是待学习的两个权重矩阵;/>是待学习的两个偏置向量,σ(·)表示softmax函数;
步骤2.5、利用式(5)获得第i个学习者ui的长期学习意图
步骤2.6、利用式(6)构建MLM预训练范式的损失函数
式(6)中,表示在Si中随机对一部分选修课程用标记[Mask]进行掩码,并在序列末尾添加标记[Mask]的掩码序列;/>表示/>中被掩码的选修课程集合,cMask为被掩码的一个修课课程,/> 表示/>的编码集合,eMask为cMask的编码,e*为被掩码之前的一个修课课程c*的编码;/>表示在掩码序列/>下,eMask是e*的条件概率。
3.根据权利要求2所述的一种基于学习意图感知的双重对比学习课程推荐方法,其特征在于,所述步骤3包括:
通过式(7)生成第i个学习者ui的短期学习意图的表示
式(7)中,Zi={(ci,t,wi,d)|ci,t→cd}表示当第i个学习者ui选修的最后一门课程ci,t为课程cj时,在其他学习者选修的课程集合中,选修cj后再选的其他课程的集合;ci,t→cd表示当第i个学习者ui选修的最后一门课程ci,t为课程cj时,存在第n个学习者un选修的课程集合Sn中在第g-1个时间节点上选修的课程cn,g-1为课程cj,第g个时间节点上选修的课程cn,g为课程cd;wi,d表示ci,t→cd在所有学习者选修的课程集合中出现的频率;βi,d为Zi中课程cd的嵌入ed的权重;|Zi|表示集合Zi中的课程数量。
4.根据权利要求3所述的一种基于学习意图感知的双重对比学习课程推荐方法,其特征在于,所述步骤4中的自监督对比学习模块分别对Si和生成一个增强视图以及自增强学习意图/>其中,/>表示从随机掩码、随机删除和随机重新排序中随机选择的一种增强操作;
用Ha表示学习者长期意图及其自增强学习意图组成的序列,
根据式(8)构建自监督对比学习模块的InfoNCE损失函数Lself:
式(9)中,τ1为温度系数;s(·)表示余弦相似度函数;表示负样本集合,并由式(10)得到;/>为负样本集合/>中第v个样本的表示;
式(10)中,/表示排除。
5.根据权利要求4所述的一种基于学习意图感知的双重对比学习课程推荐方法,其特征在于,所述步骤4中的监督对比学习模块检索和Si具有相同最后一门课程ci,t的其他课程集合,记为1≤f≤Q;其中,/>表示最后一门课程为ci,t的第f个课程集合,Q表示最后一门课程为ci,t的其他课程集合的数量;
定义Si(L)表示第i个学习者ui选修的课程集合Si中的最后L门课程;且Si(L)={ei,t-L,ei,t-L+1,...,ei,t};
根据式(11)计算Si和的序列相似性/>
式(11)中,是正则化项;/>表示由第f个课程集合/>中最后L门课程组成的集合;表示课程cj在序列Si(L)中倒数的位置序号;/>表示课程cj在序列/>中倒数的位置序号;
通过式(12)和式(13)构建形式化监督对比学习损失Lsup:
式(12)和式(13)中,为负样本集合/>中第v个样本输入学习者长期学习意图模块后的长期学习意图;/>表示负样本集合,并由式(13)得到;/>是Si的检索增强的学习意图,是最后一门课程为ci,t的第f个课程集合/>输入学习者长期学习意图模块后的长期学习意图;τ2为温度系数;H+表示学习者长期学习意图及其检索增强的学习意图组成的序列,且/>
6.根据权利要求5所述的一种基于学习意图感知的双重对比学习课程推荐方法,其特征在于,所述步骤5包括:
步骤5.1、通过式(14)动态调整第i个学习者ui长期和短期学习意图之间的权重wi:
步骤5.2、通过式(15)获得第i个学习者ui的总学习意图hi:
步骤5.3、通过式(16)来预测出第i个学习者ui在总学习意图为hi的情况下,选修完课程ci,t后,下一个选修课程cj的概率分布
步骤5.4、通过式(17)构建预测模块的交叉熵损失函数
式(17)中,yij表示第i个学习者ui的Si中课程cj的one-hot编码向量。
7.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1-6中任一所述双重对比学习课程推荐方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
8.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-6中任一所述双重对比学习课程推荐方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410293493.6A CN118093960A (zh) | 2024-03-14 | 2024-03-14 | 一种基于学习意图感知的双重对比学习课程推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410293493.6A CN118093960A (zh) | 2024-03-14 | 2024-03-14 | 一种基于学习意图感知的双重对比学习课程推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118093960A true CN118093960A (zh) | 2024-05-28 |
Family
ID=91163477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410293493.6A Pending CN118093960A (zh) | 2024-03-14 | 2024-03-14 | 一种基于学习意图感知的双重对比学习课程推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118093960A (zh) |
-
2024
- 2024-03-14 CN CN202410293493.6A patent/CN118093960A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291266B (zh) | 基于人工智能的推荐方法、装置、电子设备及存储介质 | |
CN111460249B (zh) | 一种基于学习者偏好建模的个性化学习资源推荐方法 | |
CN111241311B (zh) | 媒体信息推荐方法、装置、电子设备及存储介质 | |
CN111553479B (zh) | 一种模型蒸馏方法、文本检索方法及装置 | |
CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
CN112116092B (zh) | 可解释性知识水平追踪方法、系统和存储介质 | |
US11631338B2 (en) | Deep knowledge tracing with transformers | |
CN110555112A (zh) | 一种基于用户正负偏好学习的兴趣点推荐方法 | |
CN112434517B (zh) | 一种结合主动学习的社区问答网站答案排序方法及系统 | |
Patel et al. | CaPaR: a career path recommendation framework | |
CN113344053B (zh) | 一种基于试题异构图表征与学习者嵌入的知识追踪方法 | |
CN110457585B (zh) | 负面文本的推送方法、装置、系统及计算机设备 | |
CN108921657A (zh) | 一种基于知识增强记忆网络的序列推荐方法 | |
CN117035074B (zh) | 基于反馈强化的多模态知识生成方法及装置 | |
CN114722182A (zh) | 一种基于知识图谱的在线课推荐方法及系统 | |
Zhong et al. | Design of a personalized recommendation system for learning resources based on collaborative filtering | |
CN115577185A (zh) | 基于混合推理和中智群决策的慕课推荐方法及装置 | |
CN112380421A (zh) | 简历的搜索方法、装置、电子设备及计算机存储介质 | |
CN110310012B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
CN117407571B (zh) | 一种基于相关性分析的信息技术咨询服务方法及系统 | |
Salehi | Latent feature based recommender system for learning materials using genetic algorithm | |
CN118093960A (zh) | 一种基于学习意图感知的双重对比学习课程推荐方法 | |
CN115098583A (zh) | 能源用户的用户画像刻画方法 | |
CN114254199A (zh) | 基于二分图投影和node2vec的课程推荐方法 | |
CN112732889A (zh) | 一种基于合作网络的学者检索方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |