CN116992151A - 一种基于双塔图卷积神经网络的在线课程推荐方法 - Google Patents

一种基于双塔图卷积神经网络的在线课程推荐方法 Download PDF

Info

Publication number
CN116992151A
CN116992151A CN202311066471.8A CN202311066471A CN116992151A CN 116992151 A CN116992151 A CN 116992151A CN 202311066471 A CN202311066471 A CN 202311066471A CN 116992151 A CN116992151 A CN 116992151A
Authority
CN
China
Prior art keywords
model
data
tower
online course
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311066471.8A
Other languages
English (en)
Inventor
张晓伟
胡满
董文涛
崔伟
林媛媛
张雪鑫
张士太
董玉才
尹张铭佳
李震宇
袁子晴
肖涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202311066471.8A priority Critical patent/CN116992151A/zh
Publication of CN116992151A publication Critical patent/CN116992151A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开是关于一种基于双塔图卷积神经网络的在线课程推荐方法。其中，该方法包括：获取学习平台数据，并进行数据预处理生成训练样本数据；以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基础模型；对所述基础模型基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；基于所述在线课程智能推荐系统模型完成在线课程推荐。本公开将双塔网络结构和自一致性学习算法结合，从模型结构和模型训练多个层面优化在线课程推荐系统的性能。

Description

一种基于双塔图卷积神经网络的在线课程推荐方法
技术领域
本公开涉及人工智能技术领域中的大数据和深度学习领域，具体而言，涉及一种基于双塔图卷积神经网络的在线课程推荐方法、装置、电子设备以及计算机可读存储介质。
背景技术
智能课程推荐技术是一种基于深度学习算法的技术，用于根据用户的兴趣和需求，为其推荐适合的在线学习课程。这项技术利用深度学习算法来分析用户的历史学习行为、个人喜好、学习目标等多方面的信息，以便更好地了解用户的需求和兴趣，从而为其推荐最相关和有用的在线课程。此技术能够提高用户的学习效率和学习体验，同时也可以帮助在线教育机构更好地满足用户的需求，提高用户留存率和转化率。如何提升课程推荐准确性成为亟待解决的问题。
在现有的技术中，通常采用图卷积神经网络实现智能课程推荐系统。图卷积神经网络利用图结构，能够有效提取用户行为等特征，并给予合理的推荐。虽然现有的课程推荐系统，能够满足用户一定的需要，但是传统的网络无法有效提取用户特征，且模型容易出现过拟合的问题。
因此，需要一种或多种方法解决上述问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于双塔图卷积神经网络的在线课程推荐方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面，提供一种基于双塔图卷积神经网络的在线课程推荐方法，包括：
获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据；
以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型；
对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；
基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
在本公开的一种示例性实施例中，所述方法中所述数据预处理包括对学习平台数据进行数据脱敏化处理、构建异构图、提取元路径处理，生成训练样本数据。
在本公开的一种示例性实施例中，所述方法还包括：
所述数据脱敏化处理包括删除学习平台数据中的个人信息，实现对学生及教师个人信息的保护；
所述构建异构图包括识别所述学习平台数据中的学生、老师、课程和知识点实体，完成异构图的构建；
所述提取元路径处理包括基于随机游走算法提取所述学习平台数据中的学生和课程的元路径，生成训练样本数据。
在本公开的一种示例性实施例中，所述方法中建立基于图卷积神经网络的在线课程智能推荐系统基础模型还包括：
以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，包含元路径的所述训练样本数据为将所述元路径集合转换为对应的邻接矩阵/>，其中n表示提取的元路径数量；
采用多层的图卷积神经网络模型来学习学生和课程的表征；
采用自适应机制，添加一个可通过模型自动学习的映射向量s，用于为不同的图卷积层分配权重，从而在输出表征中自适应调节各个图卷积层所占比例；
采用注意力机制，利用元路径之间的相关性来学习不同元路径的重要性，并将所述重要性作为不同元路径的权重，实现对不同元路径所生成的表征的融合；
将所述学生和课程的表征矩阵相乘，得到包含学生对每个课程评分的矩阵，去除预设的学习课程后，选取前K个课程作为推荐列表。
在本公开的一种示例性实施例中，所述方法中基于预设双塔式网络结构提取学生和课程的特征并优化网络特征表示能力，对所述在线课程智能推荐系统基础模型优化还包括：
将所述在线课程智能推荐系统基础模型复刻为双塔的形式，采用统一的优化函数对模型的训练损失进行调整；
所述双塔结构中将利用Dropout算法，对训练样本的特征表示随机置零，所述模型的训练损失为：
。
在本公开的一种示例性实施例中，所述方法中基于自一致性学习算法进行模型输出，对所述在线课程智能推荐系统基础模型优化还包括：
基于余弦相似度函数计算双塔网络输出p1,p2之间的相似度值，并且通过模型训练优化所述相似度值所述自一致性优化算法为：
,
。
在本公开的一种示例性实施例中，基于权重冷启动策略对推荐准确性对所述在线课程智能推荐系统基础模型进行优化，还包括基于权重冷启动策略自动优化的随训练步数渐变增加的权重：
；
其中，表示当前训练权重值；/>表示训练初始的权重值；/>表示最终权重值；t表示当前训练步数；n表示模型训练的总步数。
在本公开的一个方面，提供一种基于双塔图卷积神经网络的在线课程推荐装置，包括：
训练样本生成模块，用于获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据；
基础模型建立模块，用于以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型；
基础模型优化模块，用于对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和特征表示能力优化，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；
在线课程推荐模块，用于基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
在本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。
在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。
本公开的示例性实施例中的一种基于双塔图卷积神经网络的在线课程推荐方法，其中，该方法包括：获取学习平台数据，并进行数据预处理生成训练样本数据；以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基础模型；对所述基础模型基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；基于所述在线课程智能推荐系统模型完成在线课程推荐。本公开将双塔网络结构和自一致性学习算法结合，从模型结构和模型训练多个层面优化在线课程推荐系统的性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。
图1示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的流程图；
图2示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的对学习平台数据预处理后形成的异构图；
图3示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的使用随机游走算法从异构图中提取的元路径示意图；
图4示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的使用图卷积神经网络生成学生和课程表征的流程示意图；
图5示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的基于双塔结构的智能课程推荐系统模型的示意图；
图6示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的基于自一致性学习算法的智能课程推荐系统模型示意图；
图7示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐方法的基于冷启动的权重变化示意图；
图8示出了根据本公开一示例性实施例的一种基于双塔图卷积神经网络的在线课程推荐装置的结构框图；
图9示意性示出了根据本公开一示例性实施例的电子设备的框图；以及
图10示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本示例实施例中，首先提供了一种基于双塔图卷积神经网络的在线课程推荐方法；参考图1中所示，该一种基于双塔图卷积神经网络的在线课程推荐方法可以包括以下步骤：
步骤S110，获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据；
步骤S120，以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型；
步骤S130，对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；
步骤S140，基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
本公开的示例性实施例中的一种基于双塔图卷积神经网络的在线课程推荐方法，其中，该方法包括：获取学习平台数据，并进行数据预处理生成训练样本数据；以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基础模型；对所述基础模型基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；基于所述在线课程智能推荐系统模型完成在线课程推荐。本公开将双塔网络结构和自一致性学习算法结合，从模型结构和模型训练多个层面优化在线课程推荐系统的性能。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
异构图：异构图是一种通用的图结构，可以用于表示各种复杂的系统和关系。异构图是指由不同类型的节点和边构成的图，其中节点和边可以具有不同的属性和语义。给定异构图，其中/>是实体集合，/>是关系的集合。此外，异构图还包括实体类型映射函数/>和关系类型映射函数/>，其中/>和/>表示定义的实体和关系的类型集合，且/>。在本发明中使用异构图来表示学习平台中学生（S）、教师（T）、课程（C）和知识点（K）四个实体，以及实体之间的学习、讲授、包含、关注和查看五种关系。通过使用异构图来表示学习平台中的数据，可以保留更丰富的语义和属性信息来更好地进行推荐任务。
元路径：元路径是异构图中一种路径类型，用于描述不同类型节点之间的关系及组合方式，定义为，也可以缩写/>。元路径通过将不同类型节点之间的关系进行抽象和组合，来描述节点之间的语义关系。在本发明中，通过从异构图中提取学生、教师、课程和知识点之间的元路径，来更好的捕获不同实体之间的语义关系。两个学生之间的元路径可以定义为/>，表示两个不同的学生因为查看了相同的知识点而产生了联系。，表示两个学生因为学习了同一老师所讲授的不同课程而产生了联系。
图神经网络模型：图神经网络是一种基于图结构数据进行学习和推理的机器学习模型。与传统的神经网络处理向量或矩阵数据不同，图神经网络可以处理图数据，例如电商网络、社交网络和生物网络等等。这种模型能够捕捉到图数据中的复杂关系和结构信息，并通过节点嵌入和图嵌入等方式将图数据转化为向量表示，得到的向量表示可以用于节点分类、链路预测和图分类等下游任务。
Dropout：Dropout是一种广泛应用于深度神经网络的正则化技术，可以在训练过程中随机将网络中一部分神经元的输出设置为0，从而防止过拟合。具体来说，Dropout会在每次训练迭代中，以一定的概率（通常为0.2-0.5）随机选择一部分神经元并将其输出置为0，这些被随机选择的神经元将不参与该迭代的前向传播和反向传播。
双塔结构：双塔结构是一种神经网络结构，其核心思想是通过共享权重的方式对输入进行特征提取，然后再将提取到的特征进行比较或计算相似度。该模型的名字来源于神经网络结构图的形状，其形状像是两个平行的塔楼，每个塔楼都是一个独立的神经网络，但权重共享。
下面，将对本示例实施例中的一种基于双塔图卷积神经网络的在线课程推荐方法进行进一步的说明。
实施例一：
在步骤S110中，可以获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据。
在本示例的实施例中，所述方法中所述数据预处理包括对学习平台数据进行数据脱敏化处理、构建异构图、提取元路径处理，生成训练样本数据。
在本示例的实施例中，所述方法还包括：
所述数据脱敏化处理包括删除学习平台数据中的个人信息，实现对学生及教师个人信息的保护；
所述构建异构图包括识别所述学习平台数据中的学生、老师、课程和知识点实体，完成异构图的构建；
所述提取元路径处理包括基于随机游走算法提取所述学习平台数据中的学生和课程的元路径，生成训练样本数据。
在步骤S120中，可以以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型。
在本示例的实施例中，所述方法中建立基于图卷积神经网络的在线课程智能推荐系统基础模型还包括：
以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，包含元路径的所述训练样本数据为将所述元路径集合转换为对应的邻接矩阵/>，其中n表示提取的元路径数量；
采用多层的图卷积神经网络模型来学习学生和课程的表征；
采用自适应机制，添加一个可通过模型自动学习的映射向量s，用于为不同的图卷积层分配权重，从而在输出表征中自适应调节各个图卷积层所占比例；
采用注意力机制，利用元路径之间的相关性来学习不同元路径的重要性，并将所述重要性作为不同元路径的权重，实现对不同元路径所生成的表征的融合；
将所述学生和课程的表征矩阵相乘，得到包含学生对每个课程评分的矩阵，去除预设的学习课程后，选取前个课程作为推荐列表。
在步骤S130中，可以对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型。
在本示例的实施例中，所述方法中基于预设双塔式网络结构提取学生和课程的特征并优化网络特征表示能力，对所述在线课程智能推荐系统基础模型优化还包括：
将所述在线课程智能推荐系统基础模型复刻为双塔的形式，采用统一的优化函数对模型的训练损失进行调整；
所述双塔结构中将利用Dropout算法，对训练样本的特征表示随机置零，所述模型的训练损失为：
。
在本示例的实施例中，所述方法中基于自一致性学习算法进行模型输出，对所述在线课程智能推荐系统基础模型优化还包括：
基于余弦相似度函数计算双塔网络输出p1,p2之间的相似度值，并且通过模型训练优化所述相似度值所述自一致性优化算法为：
,
。
在本示例的实施例中，基于权重冷启动策略对推荐准确性对所述在线课程智能推荐系统基础模型进行优化，还包括基于权重冷启动策略自动优化的随训练步数渐变增加的权重：
;
其中，表示当前训练权重值；/>表示训练初始的权重值；/>表示最终权重值；t表示当前训练步数；n表示模型训练的总步数。
在步骤S140中，可以基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
实施例二：
在本示例的实施例中，本实施例提出一种基于图卷积神经网络的在线课程推荐技术，使用异构图对在线学习平台的数据进行表示，并使用随机游走算法从中抽取元路径作为训练数据。随后，使用图卷积神经网络学习学生表征和课程表征，基于学习到的表征进行相关课程推荐。在数据层面和模型层面多维度的提升课程推荐技术的准确率。包含以下步骤S1-S3：
S1 获取学习平台数据，并对学习平台数据进行数据预处理；
具体的，数据预处理包括数据脱敏化处理、构建异构图和提取元路径。
S101 数据脱敏化处理包括：从学习记录数据中删除与学生或教师个人身份直接相关的信息，如姓名、学号、工号、电子邮件地址、电话号码等。确保只保留与学习行为相关的数据。对于每个学习记录，将学生和老师的身份用一个唯一的标识符替代。这样可以使数据无法直接关联到特定的个人。随后，使用直方图、箱体图或核密度估计方法绘制数据分布图，并比较脱密前后的图形，确保数据分布的大致形状和特征保持一致，以满足后续的业务需求。
S102 构建异构图包括：识别在线学习平台数据中的学生、老师和课程实体，并建立知识点实体。然后将得到的四个实体分别建立学习、讲授、包含、关注和查看五种类型的关系。如图2所示，构建包含四种实体类型和五种关系类型异构图。
S103 提取元路径包括：在构建好的异构图上，采用随机游走算法提取元路径，以生成用于模型训练的样本数据。如图3所示，提取关于学生和课程的元路径，作为训练样本数据。
在本示例的实施例中，如图4所示，S2 以提取的元路径作为图卷积神经网络的输入数据，以及以输出的推荐列表作为输出数据，建立基于图卷积神经网络的在线课程智能推荐系统模型；
S201 将提取的元路径集合转换为对应的邻接矩阵，其中n表示元路径的数量。
S202 我们采用多层的图卷积神经网络模型来学习不同元路径下学生和课程的表征，第层图卷积模型定义如下：
;
其中，表示/>层的实体表征，/>，A是特定元路径所对应的邻接矩阵，通过与单位矩阵I相加来添加自连接。/>是可训练的权重矩阵。/>是非线性激活函数。
S203采用自适应机制来平衡不同图卷积层表征所占比例，避免发生过平滑现象。具体来说是添加一个可以通过模型自动学习的映射向量，来为不同层分配一个权重，定义如下：
;
其中，是一个可训练的映射向量，d是表征向量维度。通过添加映射向量可以使得模型自动调节来自不同层的输出，从而避免深层图卷积神经网络中的过平滑现象。
S204 采用注意力机制，利用元路径之间的相关性来学习注意力权重，以更好的融合不同元路径所生成的表征。
;
其中，表示图卷积神经网络基于元路径/>所生成的实体表征，/>表示注意力权重，H表示融合了不同元路径注意力权重的最终实体表征。在课程推荐任务中，我们主要关注学生和课程实体，所以主要生成这两个实体的表征。通常，给定对应每条元路径的实体表征/>，我们将注意力权重计算方式定义为：
;
其中，为基于目标元路径所生成的实体表征，/>则是由其他元路径生成的实体表征。x表示可以训练的注意力向量，/>表示非线性激活函数。基于元路径自身的相关性来学习注意力权重，可以更好的推断不同元路径的重要性。将这一重要性作为注意力权重可以更好的学习实体表征。
S205 在得到学生和课程的表征后，我们使用评分矩阵来实现对学生的课程推荐任务。我们将学生点击课程的次数视为评分矩阵。学生对课程的评分可以定义如下：
;
其中，为学生的向量表征，/>为课程的向量表征。h为向量维度，n和m分别为学生和课程的数量。评分矩阵中的行向量表示每个用户对课程的评分，去除历史学习课程后，选取前K个课程作为最终的推荐列表。
在本示例的实施例中，S3 在上一步的基础之上，本发明将设计双塔结构的图卷积神经网络的在线课程推荐系统模型。如图5，我们在将单一的推荐系统网络结构复刻为双塔的形式，采用统一的优化函数对模型的损失值进行调整。双塔结构通过对输入分别进行处理，可以更好地提取样本的特征，从而提高整个模型的特征提取能力。双塔结构对于一些需要多方面信息参考的任务，如语义匹配、推荐系统等非常有用。此外，模型双塔在训练时可以利用更多的信息来优化模型，从而提高其泛化能力。在本实例的双塔结构中将利用Dropout算法，对训练样本的特征表示随机置零，此算法能够使训练样本的特征空间随机发生改变，从而在有限的样本中增加不确定性，进而提高特征的多样性。此时模型的训练损失为：
。
S301 设计一种全新的自一致性学习算法，优化图卷积神经网络的在线课程推荐系统性能。
传统的图卷积神经网络网络为了避免模型过拟合，往往在网络层中添加Dropout。Dropout是一种常用于神经网络模型中的正则化方法，它通过随机将神经元的输出置为0的方式，减少模型中神经元之间的依赖关系，从而降低模型的过拟合风险。通过Dropout，每个神经元都要学会在其他神经元不存在的情况下产生有用的特征，因此可以增加模型的鲁棒性。虽然Dropout能有效避免过拟合等问题，但由于其只在模型训练的时候使用，会导致训练和推理的过程不一致。不一致的训练和推理过程，会影响模型的性能。如图6所示，在本实例中，将结合S3双塔结构网络，设计一种全新的自一致性学习算法，优化Dropout的问题，进而提升模型的性能，模型优化函数如下：
，
；
其中p1,p2分别表示双塔模型训练输出，表示余弦相似度权重，通过上式可知，当模型输出的p1,p2越相似时，其空间距离越小，因此可以极大程度上约束输出的不一致性。在自一致性学习算法中，本发明利用余弦相似度函数计算双塔网络输出p1,p2之间的相似度值，并且通过模型训练优化该相似度值，使其逐步增大。换而言之，自一致性学习的目标是为了让特征输出p1,p2更相似，使模型训练阶段和推理阶段保持一致，从而消除Dropout不一致问题的影响。
S302 在S301中为了优化模型训练和推理阶段的一致性，我们引入了自一致性学习算法。在自一致性算法中，余弦相似度的权重需要人为的设定，尽管合适的/>值能够显著提升模型的性能，但是探索合适的/>值需要重复的实验，无疑会提高模型的训练成本。因此，在本发明中，为了更加高效的设定/>值，我们设计了一种权重冷启动策略，该策略根据训练步数，自动的优化权重/>，有效减少了权重/>试错成本：
;
其中，表示当前训练权重值；/>表示训练初始的权重值；/>表示最终权重值；t表示当前训练步数；n表示模型训练的总步数。本发明设计的权重/>冷启动策略，在训练初始阶段使用一个较小的权重值，随着训练步数的增加，权重/>不断增加，对模型的约束能力也不断增强。之所以采用这种冷启动策略，是因为模型训练初期并不稳定，较高的权重/>虽然能约束不一致性，但是会影响模型对的特征学习。而冷启动策略动态的调整权重/>值能够有效的约束模型。此外，如图7所示，相较于传统的固定的权重，冷启动策略更灵活，且不需要手动设定权重/>，更具备自动化的特性。
在本示例的实施例中，本发明采用双塔式的图卷积神经网络结构和自一致性学习算法，优化在线课程推荐系统模型的损失函数。本发明从课程推荐系统实际问题出发，利用双塔式结构网络和自一致性学习算法，优化模型损失函数。此外，本发明针对自一致性学习算法权重设定问题，设计了冷启动策略，该策略不仅能够提高模型的性能，而避免了重复实验的问题，更具备智能化、自动化。本发明的优势在于，首先，根据学习平台数据构建包含学习用户、授课教师、学习课程和相关知识概念四种实体的异构图，利用图神经网络提取用户表征，一定程度提高课程推荐系统的准确率。其次，为了提高图卷积神经网络对特征的提取能力，本发明设计了双塔式网络结构，并创新性的提出了基于余弦相似度的自一致性学习算法，优化模型训练和推理过程中不一致性问题。最后，本发明设计了冷启动策略，优化损失函数权重的设定，更具备智能性；解决了传统的网络无法有效提取用户特征，且模型容易出现过拟合的问题。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
此外，在本示例实施例中，还提供了一种基于双塔图卷积神经网络的在线课程推荐装置。参照图8所示，该一种基于双塔图卷积神经网络的在线课程推荐装置200可以包括：训练样本生成模块210、基础模型建立模块220、基础模型优化模块230以及在线课程推荐模块240。其中：
训练样本生成模块210，用于获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据；
基础模型建立模块220，用于以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型；
基础模型优化模块230，用于对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和特征表示能力优化，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；
在线课程推荐模块240，用于基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
上述中各一种基于双塔图卷积神经网络的在线课程推荐装置模块的具体细节已经在对应的一种基于双塔图卷积神经网络的在线课程推荐方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了基于双塔图卷积神经网络的在线课程推荐装置200的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例（包括固件、微代码等），或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施例的电子设备300。图9显示的电子设备300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于：上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件（包括存储单元320和处理单元310）的总线330、显示单元340。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元310可以执行如图1中所示的步骤S110至步骤S140。
存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元（ROM）3203。
存储单元320还可以包括具有一组（至少一个）程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备300也可以与一个或多个外部设备370（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口350进行。并且，电子设备300还可以通过网络适配器360与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器360通过总线330与电子设备300的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施例的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图10所示，描述了根据本发明的实施例的用于实现上述方法的程序产品400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种基于双塔图卷积神经网络的在线课程推荐方法，其特征在于，所述方法包括：
获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据；
以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型；
对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和优化网络特征表示能力，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；
基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
2.如权利要求1所述的方法，其特征在于，所述方法中所述数据预处理包括对学习平台数据进行数据脱敏化处理、构建异构图、提取元路径处理，生成训练样本数据。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
所述数据脱敏化处理包括删除学习平台数据中的个人信息，实现对学生及教师个人信息的保护；
所述构建异构图包括识别所述学习平台数据中的学生、老师、课程和知识点实体，完成异构图的构建；
所述提取元路径处理包括基于随机游走算法提取所述学习平台数据中的学生和课程的元路径，生成训练样本数据。
4.如权利要求1所述的方法，其特征在于，所述方法中建立基于图卷积神经网络的在线课程智能推荐系统基础模型还包括：
以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，包含元路径的所述训练样本数据为将所述元路径集合转换为对应的邻接矩阵/>，其中n表示提取的元路径数量；
采用多层的图卷积神经网络模型来学习学生和课程的表征；
采用自适应机制，添加一个可通过模型自动学习的映射向量s，用于为不同的图卷积层分配权重，从而在输出表征中自适应调节各个图卷积层所占比例；
采用注意力机制，利用元路径之间的相关性来学习不同元路径的重要性，并将所述重要性作为不同元路径的权重，实现对不同元路径所生成的表征的融合；
将所述学生和课程的表征矩阵相乘，得到包含学生对每个课程评分的矩阵，去除预设的学习课程后，选取前K个课程作为推荐列表。
5.如权利要求4所述的方法，其特征在于，所述方法中基于预设双塔式网络结构提取学生和课程的特征并优化网络特征表示能力，对所述在线课程智能推荐系统基础模型优化还包括：
将所述在线课程智能推荐系统基础模型复刻为双塔的形式，采用统一的优化函数对模型的训练损失进行调整；
双塔网络结构中将利用Dropout算法，对训练样本的特征表示随机置零，所述模型的训练损失为：
；
其中，loss model 为双塔模型整体损失，loss model1，loss model2分别为双塔结构中两个模型的损失，p i 为双塔网络结构中模型训练输出，y为数据真实标签，M为训练样本数量。
6.如权利要求5所述的方法，其特征在于，所述方法中基于自一致性学习算法进行模型输出，对所述在线课程智能推荐系统基础模型优化还包括：
基于余弦相似度函数计算双塔网络输出p1,p2之间的相似度值，并且通过模型训练优化所述相似度值自一致性优化算法为：
,
；
其中，函数E为利用余弦相似度函数计算双塔结构中两个模型输出之间的相似度值，p 1 ， p 2 分别为双塔结构中两个模型的训练输出，Loss为通过自一致性算法得到的损失，β为相似度值所占权重。
7.如权利要求6所述的方法，其特征在于，基于权重冷启动策略对推荐准确性对所述在线课程智能推荐系统基础模型进行优化，还包括基于权重冷启动策略自动优化的随训练步数渐变增加的权重：
;
其中，表示当前训练权重值；/>表示训练初始的权重值；/>表示最终权重值；t表示当前训练步数；n表示模型训练的总步数。
8.一种基于双塔图卷积神经网络的在线课程推荐装置，其特征在于，所述装置包括：
训练样本生成模块，用于获取学习平台数据，并对所述学习平台数据进行数据预处理生成训练样本数据；
基础模型建立模块，用于以包含元路径的所述训练样本数据作为模型输入数据，以课程推荐列表作为模型输出数据，建立基于图卷积神经网络的在线课程智能推荐系统基础模型；
基础模型优化模块，用于对所述在线课程智能推荐系统基础模型，基于预设双塔式网络结构进行特征提取和特征表示能力优化，基于自一致性学习算法进行模型输出优化，基于权重冷启动策略对推荐准确性进行优化，生成在线课程智能推荐系统模型；
在线课程推荐模块，用于基于所述在线课程智能推荐系统模型完成基于双塔图卷积神经网络的在线课程推荐。
9.一种电子设备，其特征在于，包括处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述方法。
CN202311066471.8A 2023-08-23 2023-08-23 一种基于双塔图卷积神经网络的在线课程推荐方法 Pending CN116992151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311066471.8A CN116992151A (zh) 2023-08-23 2023-08-23 一种基于双塔图卷积神经网络的在线课程推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311066471.8A CN116992151A (zh) 2023-08-23 2023-08-23 一种基于双塔图卷积神经网络的在线课程推荐方法

Publications (1)

Publication Number Publication Date
CN116992151A true CN116992151A (zh) 2023-11-03

Family

ID=88532038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311066471.8A Pending CN116992151A (zh) 2023-08-23 2023-08-23 一种基于双塔图卷积神经网络的在线课程推荐方法

Country Status (1)

Country Link
CN (1) CN116992151A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688248A (zh) * 2024-02-01 2024-03-12 安徽教育网络出版有限公司 一种基于卷积神经网络的在线课程推荐方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688248A (zh) * 2024-02-01 2024-03-12 安徽教育网络出版有限公司 一种基于卷积神经网络的在线课程推荐方法及系统
CN117688248B (zh) * 2024-02-01 2024-04-26 安徽教育网络出版有限公司 一种基于卷积神经网络的在线课程推荐方法及系统

Similar Documents

Publication Publication Date Title
CN111078836B (zh) 基于外部知识增强的机器阅读理解方法、系统、装置
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
CN110619081B (zh) 一种基于交互图神经网络的新闻推送方法
CN111191791A (zh) 机器学习模型的应用方法、训练方法、装置、设备及介质
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
CN113392359A (zh) 多目标预测方法、装置、设备及存储介质
CN113254792A (zh) 训练推荐概率预测模型的方法、推荐概率预测方法及装置
US20190228297A1 (en) Artificial Intelligence Modelling Engine
CN107437111A (zh) 基于神经网络的数据处理方法、介质、装置和计算设备
CN112446888A (zh) 图像分割模型的处理方法和处理装置
CN110889759A (zh) 信用数据的确定方法、装置及存储介质
Wu et al. Estimating fund-raising performance for start-up projects from a market graph perspective
Nannan et al. Adaptive online time series prediction based on a novel dynamic fuzzy cognitive map
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN115168720A (zh) 内容交互预测方法以及相关设备
US20240046128A1 (en) Dynamic causal discovery in imitation learning
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
Pai et al. Achieving safe deep reinforcement learning via environment comprehension mechanism
CN110717116A (zh) 关系网络的链接预测方法及系统、设备、存储介质
CN112784123A (zh) 一种图网络冷启动推荐方法
CN111957053A (zh) 游戏玩家匹配方法、装置、存储介质与电子设备
CN116975434A (zh) 内容推荐方法以及相关设备
CN115438164A (zh) 问答方法、系统、设备及存储介质
CN115631008B (zh) 商品推荐方法、装置、设备及介质
CN116257696A (zh) 一种基于跨模态知识图谱对比学习的服务推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination