CN113065060B - 基于深度学习的教育平台课程推荐方法及系统 - Google Patents
基于深度学习的教育平台课程推荐方法及系统 Download PDFInfo
- Publication number
- CN113065060B CN113065060B CN202110187586.7A CN202110187586A CN113065060B CN 113065060 B CN113065060 B CN 113065060B CN 202110187586 A CN202110187586 A CN 202110187586A CN 113065060 B CN113065060 B CN 113065060B
- Authority
- CN
- China
- Prior art keywords
- user
- course
- behavior sequence
- layer
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000006399 behavior Effects 0.000 claims abstract description 88
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 238000011160 research Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Finance (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Human Resources & Organizations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于深度学习的教育平台课程推荐方法及系统，包括：获取用户的行为数据、用户的基本信息和用户的历史观看课程；对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；对用户的历史观看课程进行特征提取，得到课程特征；对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果。
Description
技术领域
本发明涉及数据分析技术领域，特别是涉及基于深度学习的教育平台课程推荐方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
近年来，随着互联网与通信技术的高速发展，学习资源的建设与共享呈现出新的发展趋势，各种网课、慕课、直播课等层出不穷，各种在线教育平台和学习应用纷纷涌现。因此，如何根据教育平台的线上用户信息和学习信息，通过数据分析为教育平台和用户提供精准的课程推荐服务就成为线上教育的热点问题。同时，随着人工智能、大数据、云计算等技术的发展，建立基于深度学习和推荐算法的课程推荐系统已经是线上教育新发展的新趋势，这对降低用户的的流失率具有极大地推动作用，可以更好地服务线上用户。
在此大前提下，各种课程和课程路径推荐系统层次不穷。这些系统使用的方法大致可以这么分为两类：基于课程的推荐方法、基于用户的推荐方法。其中，基于课程的推荐方法：通过对历史数据进行过滤、处理来直接对用户进行课程的推荐，但同时缺少了对实际情况的考虑，对数据量的要求也比较大；基于用户的推荐方法：通过对用户的观察、测试、收集数据等方法把具体某个用户的特征保存在一个对应的数据集中，然后通过领域的方法和建模的方法来对用户进行课程的推荐，但其忽略了历史数据的价值，同时对噪声比较敏感；有一小部分的推荐系统同时考虑了基于历史数据的方法和基于内容的方法，但是其多数采用统计的方法或者只是把其中一者作为参考来设计系统，难以在数据量庞大时达到较好的效果，同时对数据的处理也相当困难；还有一部分系统使用了大数据的方法来实现，但是其使用的方法和模型过于传统、简单，细节上存在着漏洞和不足，没有充分地利用大数据科学的优势，效果只能说是差强人意，因此也并不被广泛认可。此外，上述推荐系统还存在一个问题：课程推荐的目的是估计用户学习该课程的的可能性，为用户推荐用户感兴趣的课程，从而降低平台用户的流失率，它已成为在线教育平台课程推荐系统中的核心任务之一。对于在线教育平台课程推荐系统模型，有必要捕获用户行为数据背后的潜在用户兴趣。此外，考虑到外部环境和内部认知的变化，用户兴趣随时间动态变化。兴趣建模的用户学习该课程的的可能性预测方法有多种，但大多将行为的表征直接视为兴趣，缺乏对具体行为背后潜在兴趣的专门建模。此外，很少考虑兴趣的变化趋势。难以同时考虑全局信息和局部信息、难以对预测的结果根据实际情况进行调整。
发明内容
为了解决现有技术的不足，本发明提供了基于深度学习的教育平台课程推荐方法及系统；利用深度学习的推荐算法，降低用在线教育平台的用户流失率，为用户推荐合适的课程。
第一方面，本发明提供了基于深度学习的教育平台课程推荐方法；
基于深度学习的教育平台课程推荐方法，包括：
获取用户的行为数据、用户的基本信息和用户的历史观看课程；
对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；
对用户的历史观看课程进行特征提取，得到课程特征；
对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；
将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果。
第二方面，本发明提供了基于深度学习的教育平台课程推荐系统；
基于深度学习的教育平台课程推荐系统，包括：
获取模块，其被配置为：获取用户的行为数据、用户的基本信息和用户的历史观看课程；
预处理模块，其被配置为：对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；
课程特征提取模块，其被配置为：对用户的历史观看课程进行特征提取，得到课程特征；
基本特征提取模块，其被配置为：对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；
课程推荐输出模块，其被配置为：将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果。
第三方面，本发明还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
本发明建立了兴趣演化层，能够降低用户流失率。考虑到外部环境和内部认知的变化，用户兴趣随时间动态变化，相较于现有神经网络模型，本发明能够捕获用户行为数据背后的潜在用户兴趣同时考虑全局信息和局部信息，且可以对预测的结果根据实际情况进行调整，效果稳定。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的神经网络结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于深度学习的教育平台课程推荐方法；
如图1所示，基于深度学习的教育平台课程推荐方法，包括：
S101：获取用户的行为数据、用户的基本信息和用户的历史观看课程；
S102：对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；
S103：对用户的历史观看课程进行特征提取，得到课程特征；
S104：对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；
S105：将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果。
作为一个或多个实施例，所述S101：获取用户的行为数据、用户的基本信息和用户的历史观看课程；其中，
用户的行为数据，包括：用户对每个课程的点击播放频率、用户对每个课程的历史浏览次数、用户对每个课程的历史浏览时长、用户对每个课程的历史收藏次数、用户对每个课程的历史点赞次数等；
用户的基本信息，包括：用户的年龄、学校、年级、专业等；
用户的历史观看课程，包括：课程名称、课程类别、课程编号等。
作为一个或多个实施例，所述S102：对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；具体包括：
计算缺失数据的比例值，确定缺失值的取值范围，对缺失值用中位数进行替换；去除重复数据，去除空值数据。
示例性的，所述去除重复数据，是使用pandas的drop_duplicates方法进行去重处理。所述去除空值数据，是使用pandas的dropna方法进行去空值处理。
作为一个或多个实施例，所述S103：对用户的历史观看课程进行特征提取，得到课程特征；其中，课程特征，包括：平均每天观看每个课程的时长或历史观看课程占每个领域课程的占比。
作为一个或多个实施例，所述S104：对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；其中，用户特征，包括：用户的年龄、学校、年级、专业；用户所处环境特征，包括：高校、科研机构、培训结构、在职人员。
作为一个或多个实施例，如图2所示，所述S105：将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；其中，神经网络模型的具体结构包括：
依次连接的行为序列层、兴趣抽取层、兴趣演化层、全连接层、隐藏层和输出层；
其中，行为序列层，用于将用户的行为序列，转换成第一Embedding行为序列；还用于将课程特征转换成第二Embedding行为序列；将用户所处环境特征转换成第三Embedding行为序列；将用户特征转换成第四Embedding行为序列；
其中，兴趣抽取层采用门控循环单元GRU来实现；兴趣抽取层将第一Embedding行为序列进行兴趣点抽取；
其中，兴趣演化层采用添加注意力机制的GRU单元来实现；兴趣演化层将用户兴趣点和课程特征进行演化得到用户对课程兴趣点演化特征；
其中，全连接层，对用户对课程兴趣点演化特征、第二Embedding行为序列、第三Embedding行为序列和第四Embedding行为序列进行向量连接处理，得到向量连接处理后的结果；
其中，隐藏层对向量连接处理后的结果处理，得到最终的课程推荐结果。
示例性的，所述行为序列层，用于将用户的行为序列，转换成第一Embedding行为序列；具体包括：
将一个用户点击学习的课程按照时间排列的onehot序列b(1),b(2)……b(T)经过一个惯常的embedding得到e(1),e(2)……e(T)。
示例性的，兴趣抽取层的结构是GRU(Gated Recurrent Unit,门循环单元)网络。相比传统的序列模型RNN(Recurrent Neural Network,循环神经网络)和LSTM(LongShort-Term Memory,长短期记忆网络),GRU解决了RNN的梯度消失问题(VanishingGradients Problem)。与LSTM相比，GRU的参数数量更少，训练收敛速度更快。
示例性的，所述兴趣演化层采用添加注意力机制的GRU单元来实现；兴趣演化层将用户兴趣点进行演化得到用户兴趣点演化特征；具体包括：
兴趣演化层完成注意力机制的引入是通过AUGRU(GRU with AttentionalUpdategate,基于注意力更新门的GRU)结构，AUGRU在原GRU的更新门(updategate)的结构上加入了注意力得分。
本发明为了规避现有技术的种种缺陷，运用了大数据的特点，有针对性地对数据进行预处理，引入包含兴趣演化层的深度神经网络。
作为一个或多个实施例，所述S105：将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；其中，预先训练好的神经网络模型的训练步骤包括：
构建训练集；其中，所述训练集为已知课程推荐结果标签的用户的行为序列、课程特征、用户特征和用户所处环境特征；
利用训练集对神经网络模型进行训练，得到训练好的神经网络模型。
像RNN，GRU都是专门为了处理序列数据而设计的，而序列数据的特点就是一个连着一个，而有时候序列数据会特别长，像RNN这种网络我们都知道要用反向传播计算梯度更新参数，但序列数据一长，反向传播就不大容易，经常碰上梯度消失的情况(就是在传导的过程中传到某个序列中的item时对应的梯度等于0)，梯度一消失，就相当于失去了学习能力，那么像RNN就只有短时记忆的能力(在反向传播时只有离其较近的item对应的梯度不为0)，为了使网络具有长时记忆能力，在RNN的基础上设计了LSTM,GRU，基本思路都是在网络中加入一些门控单元，控制信息的流入流出，目的是去掉其中的冗余信息，使梯度传导变得容易些，梯度能传导得远，网络就具有了长时记忆能力。GRU的结构比LSTM简单，训练更容易，效果却差不多，所以本发明就使用GRU。
每个GRU单元的具体形式：
ut＝σ(Wuit+Uuht-1+bu)
rt＝σ(Writ+Urht-1+br)
其中，σ是Sigmoid激活函数，
是元素积操作，Wu，Wr,Wh,Uz,Ur,Uh是6组需要学习的参数矩阵，it是输入状态向量，也就是行为序列层的各行为Embedding向量b(t),ht是GRU网络中第t个隐状态向量。u是更新门，r是重置门，i代表输入，这里的输入就是从第一层上来的embedding,h是输出，代表着一个隐藏状态，h中隐含着某时刻以往所有序列的信息，这里就用来表示某用户在当下的兴趣，我们知道一个人的兴趣确实跟以往的经历有关，上面每个符号的右下角都带有一个小t,代表着某个具体的时刻，对应着行为序列中的一项。前两个公式就是更新门u和重置门r的计算，经过sigmoid函数，两个门的值的范围都是0～1,第三个公式是计算头上带着一个波浪号的h，其包含有与新的输入的信息,就表示着前一刻的隐藏状态，表征过去的信息，其会保留多少将由重置门决定。最后一个公式就是当下这个时刻的隐藏状态，包含了当下以及过去的信息，但其中有包含多少当下的新信息以及多少过去的信息，就由更新门决定。这样，每个时刻(对应行为序列中每个item)都会计算出一个隐藏状态，这样我们就得到了h(1),h(2)……h(T),可以用来表示每个时刻的兴趣。
为了更好地计算出每个时刻对应的,这里引入auxiliary loss：
把用户下一时刻真实的行为e(t+1)作为正例，负采样得到的行为作为负例e(t+1)’，分别与抽取出的兴趣h(t)结合输入到设计的辅助网络中。
之所以引入auxiliary loss，是因为我们觉得某用户当下的兴趣ht与下一刻会采取的行动eb[t+1]高度相关，其中我们还负采样了一些
(并非下一刻真正会采取的行动，随机抽取)帮助训练。
经过由GRU组成的兴趣抽取层后，用户的行为向量b(t)被进一步抽象化，形成了兴趣状态向量ht。
对建立兴趣演化层，在兴趣抽取层的基础上加入注意力机制，模拟与当前目标课程相关的兴趣演化过程的具体步骤为：
在兴趣抽取层计算出了用户兴趣序列h(1),h(2)……h(T),表征着用户不同时刻的兴趣，兴趣的转化有个轨迹，在兴趣演化层就是想要捕捉这个兴趣的转化过程。不过，并不是对用户所有的兴趣都关心，只关心用户兴趣中跟最后要推荐给用户的item相关联的部分，针对这一点，我们同时使用GRU和Attention mechanism(DIN中的Activation Unit也是其中的一种)，GRU负责捕捉用户兴趣的转变，Attention mechanism则负责只提取出用户兴趣中与最后我们要推荐的item相关联的部分，用兴趣序列中的item去跟Target courses交互出一个权重，在兴趣演化层，注意力函数如下：
其中，这个ea为不同课程嵌入向量的连接。ht即是对应兴趣序列中的item,是Target course对应的embedding,W是待学习的参数。注意力分数(Attention score)可以反映广告ea与输入ht的关系，并且他们之间的相关性强度会影响这个Attention score。
兴趣演化层完成注意力机制的引入是通过AUGRU(GRU with AttentionalUpdategate,基于注意力更新门的GRU)结构，AUGRU在原GRU的更新门(updategate)的结构上加加入了注意力得分，具体形式：
看出AUGRU在原始的u′t[原始更新门向量，如(式1)中的ut]基础上加人了注意力得分at，注意力得分的生成方式与DIN模型中注意力激活单元的基一本致，激活单元的输人层是两个Embedding向量，经过元素减(element-wise minus)操作后，与原Embedding向量一同连接后形成全连接层的输人，最后通过单神经元输出层生成注意力得分。计算出的权重通过校正更新门u′t从而影响最后计算的h′t,这里的公式符号右上角都带了一撇是因为第兴趣演化层用的GRU需要与兴趣抽取层用的GRU作出区分。权重越小，说明那个时刻的兴趣与最后想要推荐给用户的的课程间关联性不大，就调低更新门u′t，那个时刻的兴趣所对应的
就会更少被计算入最后的h′t中。这样，经过兴趣演化层，我们最终计算出一个最后的h′T,其是考虑了用户所有以前的行为序列，考虑了与Targetad的相关性，如此得到的一个用户最终的一个状态，最后与其它的特征拼接送入全连接网络。
构建神经网络模型,用于将最终兴趣的表示形式和课程，用户个人资料，上下文的embedding向量连接起来，连接的向量被送入MLP进行最终预测。
实施例二
本实施例提供了基于深度学习的教育平台课程推荐系统；
基于深度学习的教育平台课程推荐系统，包括：
获取模块，其被配置为：获取用户的行为数据、用户的基本信息和用户的历史观看课程；
预处理模块，其被配置为：对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；
课程特征提取模块，其被配置为：对用户的历史观看课程进行特征提取，得到课程特征；
基本特征提取模块，其被配置为：对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；
课程推荐输出模块，其被配置为：将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果。
此处需要说明的是，上述获取模块、预处理模块、课程特征提取模块、基本特征提取模块和课程推荐输出模块对应于实施例一中的步骤S101至S105，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于深度学习的教育平台课程推荐方法，其特征是，包括：
获取用户的行为数据、用户的基本信息和用户的历史观看课程；
对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；
对用户的历史观看课程进行特征提取，得到课程特征；
对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；
将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；
将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；其中，神经网络模型的具体结构包括：
依次连接的行为序列层、兴趣抽取层、兴趣演化层、全连接层、隐藏层和输出层；
其中，行为序列层，用于将用户的行为序列，转换成第一Embedding行为序列；还用于将课程特征转换成第二Embedding行为序列；将用户所处环境特征转换成第三Embedding行为序列；将用户特征转换成第四Embedding行为序列；
其中，兴趣抽取层采用门控循环单元GRU来实现；兴趣抽取层将第一Embedding行为序列进行兴趣点抽取；
其中，兴趣演化层采用添加注意力机制的GRU单元来实现；兴趣演化层将用户兴趣点和课程特征进行演化得到用户对课程兴趣点演化特征；
其中，全连接层，对用户对课程兴趣点演化特征、第二Embedding行为序列、第三Embedding行为序列和第四Embedding行为序列进行向量连接处理，得到向量连接处理后的结果；
其中，隐藏层对向量连接处理后的结果处理，得到最终的课程推荐结果。
2.如权利要求1所述的基于深度学习的教育平台课程推荐方法，其特征是，获取用户的行为数据、用户的基本信息和用户的历史观看课程；其中，
用户的行为数据，包括：用户对每个课程的点击播放频率、用户对每个课程的历史浏览次数、用户对每个课程的历史浏览时长、用户对每个课程的历史收藏次数、用户对每个课程的历史点赞次数；
用户的基本信息，包括：用户的年龄、学校、年级、专业；
用户的历史观看课程，包括：课程名称、课程类别、课程编号。
3.如权利要求1所述的基于深度学习的教育平台课程推荐方法，其特征是，
对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；具体包括：
计算缺失数据的比例值，确定缺失值的取值范围，对缺失值用中位数进行替换；去除重复数据，去除空值数据。
4.如权利要求1所述的基于深度学习的教育平台课程推荐方法，其特征是，对用户的历史观看课程进行特征提取，得到课程特征；其中，课程特征，包括：平均每天观看每个课程的时长或历史观看课程占每个领域课程的占比。
5.如权利要求1所述的基于深度学习的教育平台课程推荐方法，其特征是，对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；其中，用户特征，包括：用户的年龄、学校、年级、专业；用户所处环境特征，包括：高校、科研机构、培训结构、在职人员。
6.如权利要求1所述的基于深度学习的教育平台课程推荐方法，其特征是，
将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；其中，预先训练好的神经网络模型的训练步骤包括：
构建训练集；其中，所述训练集为已知课程推荐结果标签的用户的行为序列、课程特征、用户特征和用户所处环境特征；
利用训练集对神经网络模型进行训练，得到训练好的神经网络模型。
7.基于深度学习的教育平台课程推荐系统，其特征是，包括：
获取模块，其被配置为：获取用户的行为数据、用户的基本信息和用户的历史观看课程；
预处理模块，其被配置为：对获取的用户的行为数据、用户的基本信息和用户的历史观看课程进行数据预处理，得到用户的行为序列；
课程特征提取模块，其被配置为：对用户的历史观看课程进行特征提取，得到课程特征；
基本特征提取模块，其被配置为：对用户的基本信息进行特征提取，得到用户特征和用户所处环境特征；
课程推荐输出模块，其被配置为：将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；
将用户的行为序列、课程特征、用户特征和用户所处环境特征，输入到预先训练好的神经网络模型中，输出课程推荐结果；其中，神经网络模型的具体结构包括：
依次连接的行为序列层、兴趣抽取层、兴趣演化层、全连接层、隐藏层和输出层；
其中，行为序列层，用于将用户的行为序列，转换成第一Embedding行为序列；还用于将课程特征转换成第二Embedding行为序列；将用户所处环境特征转换成第三Embedding行为序列；将用户特征转换成第四Embedding行为序列；
其中，兴趣抽取层采用门控循环单元GRU来实现；兴趣抽取层将第一Embedding行为序列进行兴趣点抽取；
其中，兴趣演化层采用添加注意力机制的GRU单元来实现；兴趣演化层将用户兴趣点和课程特征进行演化得到用户对课程兴趣点演化特征；
其中，全连接层，对用户对课程兴趣点演化特征、第二Embedding行为序列、第三Embedding行为序列和第四Embedding行为序列进行向量连接处理，得到向量连接处理后的结果；
其中，隐藏层对向量连接处理后的结果处理，得到最终的课程推荐结果。
8.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110187586.7A CN113065060B (zh) | 2021-02-18 | 2021-02-18 | 基于深度学习的教育平台课程推荐方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110187586.7A CN113065060B (zh) | 2021-02-18 | 2021-02-18 | 基于深度学习的教育平台课程推荐方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113065060A CN113065060A (zh) | 2021-07-02 |
| CN113065060B true CN113065060B (zh) | 2022-11-29 |
Family
ID=76558763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110187586.7A Active CN113065060B (zh) | 2021-02-18 | 2021-02-18 | 基于深度学习的教育平台课程推荐方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065060B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656703B (zh) * | 2021-08-31 | 2023-05-30 | 中国平安财产保险股份有限公司 | 基于新上线课程的智能推荐方法、装置、设备及存储介质 |
| CN113762801B (zh) * | 2021-09-17 | 2024-03-26 | 北京量子之歌科技有限公司 | 一种网络课程的管理方法、装置、设备和存储介质 |
| CN113918812A (zh) * | 2021-10-11 | 2022-01-11 | 北京量子之歌科技有限公司 | 一种课程学习路径的确定方法、装置、设备和存储介质 |
| CN114519143B (zh) * | 2022-02-18 | 2024-05-14 | 北京百度网讯科技有限公司 | 课程推荐模型的训练方法、课程推荐方法及装置 |
| CN116342335B (zh) * | 2023-02-03 | 2023-11-14 | 武汉博奥鹏程教育科技有限公司 | 一种课程的推荐方法和装置 |
| CN116257694B (zh) * | 2023-05-16 | 2023-08-22 | 安徽教育网络出版有限公司 | 一种基于在线学习课程的智能化搜索推荐方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021363A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 课程推荐方法和装置 |
| CN106327240A (zh) * | 2016-08-11 | 2017-01-11 | 中国船舶重工集团公司第七0九研究所 | 一种基于gru神经网络的推荐方法和系统 |
| CN107515909A (zh) * | 2017-08-11 | 2017-12-26 | 深圳市耐飞科技有限公司 | 一种视频推荐方法及系统 |
| CN110276018A (zh) * | 2019-05-29 | 2019-09-24 | 深圳技术大学 | 在线教育系统的个性化推荐方法、终端及存储介质 |
| CN110610404A (zh) * | 2019-09-11 | 2019-12-24 | 中国联合网络通信集团有限公司 | 网络课程推荐方法、装置、系统、电子设备、存储介质 |
| CN111177413A (zh) * | 2019-12-30 | 2020-05-19 | 北京谦仁科技有限公司 | 学习资源推荐方法、装置和电子设备 |
| CN111400592A (zh) * | 2020-03-12 | 2020-07-10 | 山东师范大学 | 基于眼动技术和深度学习的个性化课程推荐方法及系统 |
| CN111475716A (zh) * | 2020-03-26 | 2020-07-31 | 威比网络科技(上海)有限公司 | 在线课程推荐方法、系统、设备及存储介质 |
| CN111967949A (zh) * | 2020-09-22 | 2020-11-20 | 武汉博晟安全技术股份有限公司 | 基于Leaky-Conv & Cross安全课程推荐引擎排序算法 |
| CN112214670A (zh) * | 2020-10-09 | 2021-01-12 | 平安国际智慧城市科技股份有限公司 | 一种在线课程推荐方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359140B (zh) * | 2018-11-30 | 2022-09-09 | 苏州大学 | 一种基于自适应注意力的序列推荐方法及装置 |
| CN109933720B (zh) * | 2019-01-29 | 2023-03-10 | 汕头大学 | 一种基于用户兴趣自适应演化的动态推荐方法 |
| CN111310056B (zh) * | 2020-03-11 | 2023-04-14 | 深圳市雅阅科技有限公司 | 基于人工智能的信息推荐方法、装置、设备及存储介质 |
| CN112100439B (zh) * | 2020-07-14 | 2024-03-22 | 山东科技大学 | 基于依赖关系嵌入与神经注意力网络的推荐方法 |
-
2021
- 2021-02-18 CN CN202110187586.7A patent/CN113065060B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021363A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 课程推荐方法和装置 |
| CN106327240A (zh) * | 2016-08-11 | 2017-01-11 | 中国船舶重工集团公司第七0九研究所 | 一种基于gru神经网络的推荐方法和系统 |
| CN107515909A (zh) * | 2017-08-11 | 2017-12-26 | 深圳市耐飞科技有限公司 | 一种视频推荐方法及系统 |
| CN110276018A (zh) * | 2019-05-29 | 2019-09-24 | 深圳技术大学 | 在线教育系统的个性化推荐方法、终端及存储介质 |
| CN110610404A (zh) * | 2019-09-11 | 2019-12-24 | 中国联合网络通信集团有限公司 | 网络课程推荐方法、装置、系统、电子设备、存储介质 |
| CN111177413A (zh) * | 2019-12-30 | 2020-05-19 | 北京谦仁科技有限公司 | 学习资源推荐方法、装置和电子设备 |
| CN111400592A (zh) * | 2020-03-12 | 2020-07-10 | 山东师范大学 | 基于眼动技术和深度学习的个性化课程推荐方法及系统 |
| CN111475716A (zh) * | 2020-03-26 | 2020-07-31 | 威比网络科技(上海)有限公司 | 在线课程推荐方法、系统、设备及存储介质 |
| CN111967949A (zh) * | 2020-09-22 | 2020-11-20 | 武汉博晟安全技术股份有限公司 | 基于Leaky-Conv & Cross安全课程推荐引擎排序算法 |
| CN112214670A (zh) * | 2020-10-09 | 2021-01-12 | 平安国际智慧城市科技股份有限公司 | 一种在线课程推荐方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113065060A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065060B (zh) | 基于深度学习的教育平台课程推荐方法及系统 | |
| Upadhyay et al. | Deep reinforcement learning of marked temporal point processes | |
| CN106575377B (zh) | 共同特征上的分类器更新 | |
| JP2017531240A (ja) | データのナレッジグラフバイアス分類 | |
| CN111369299B (zh) | 识别的方法、装置、设备及计算机可读存储介质 | |
| CN111210111B (zh) | 一种基于在线学习与众包数据分析的城市环境评估方法和系统 | |
| CN113792871A (zh) | 神经网络训练方法、目标识别方法、装置和电子设备 | |
| CN112580720A (zh) | 一种模型训练方法及装置 | |
| CN115082752A (zh) | 基于弱监督的目标检测模型训练方法、装置、设备及介质 | |
| CN115545334A (zh) | 土地利用类型预测方法、装置、电子设备及存储介质 | |
| CN115168720A (zh) | 内容交互预测方法以及相关设备 | |
| CN114707589A (zh) | 对抗样本的生成方法、装置、存储介质、设备及程序产品 | |
| CN114398556A (zh) | 学习内容的推荐方法、装置、设备及存储介质 | |
| CN113761355A (zh) | 一种信息推荐方法、装置、设备及计算机可读存储介质 | |
| CN109117352B (zh) | 服务器性能预测方法和装置 | |
| CN112115908A (zh) | 一种社交能力评估方法及其装置 | |
| CN114792349B (zh) | 基于半监督生成对抗网络的遥感影像转换地图迁移方法 | |
| CN116227582A (zh) | 掩码自编码器的知识蒸馏方法、装置、设备及存储介质 | |
| Eroglu | Analysis of the first four moderate geomagnetic storms of the year 2015 | |
| CN116957035A (zh) | 模型训练方法、以及推荐媒体内容的方法 | |
| CN115393132A (zh) | 基于知识追踪模型的预测方法及相关设备 | |
| CN114357160A (zh) | 基于生成传播结构特征的早期谣言检测方法及装置 | |
| CN114564639A (zh) | 一种基于深度会话兴趣交互模型的课程推荐方法 | |
| CN115248894A (zh) | 一种信息推荐方法、装置和计算机可读存储介质 | |
| Liu et al. | Learning evidential cognitive diagnosis networks robust to response bias |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230523 Address after: Room 1402, Mingsheng Building, No. 2117 Xinluo Street, High tech Zone, Jinan City, Shandong Province, 250000 Patentee after: Shandong Puzhao Education Technology Co.,Ltd. Address before: Room 801, No. 85, Kefeng Road, Huangpu District, Guangzhou, Guangdong 510000 (office only) Patentee before: Yami Technology (Guangzhou) Co.,Ltd. Effective date of registration: 20230523 Address after: Room 801, No. 85, Kefeng Road, Huangpu District, Guangzhou, Guangdong 510000 (office only) Patentee after: Yami Technology (Guangzhou) Co.,Ltd. Address before: 250014 No. 88, Wenhua East Road, Lixia District, Shandong, Ji'nan Patentee before: SHANDONG NORMAL University |