CN113190761A - 基于深度强化学习的个性化学习系统及方法 - Google Patents
基于深度强化学习的个性化学习系统及方法 Download PDFInfo
- Publication number
- CN113190761A CN113190761A CN202110574396.0A CN202110574396A CN113190761A CN 113190761 A CN113190761 A CN 113190761A CN 202110574396 A CN202110574396 A CN 202110574396A CN 113190761 A CN113190761 A CN 113190761A
- Authority
- CN
- China
- Prior art keywords
- learning
- personalized
- learner
- terminal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002787 reinforcement Effects 0.000 title claims abstract description 31
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 24
- 239000000463 material Substances 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000007405 data analysis Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000013210 evaluation model Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims abstract description 4
- 239000000126 substance Substances 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008846 dynamic interplay Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Educational Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Biophysics (AREA)
- Educational Administration (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及学习系统技术领域，公开了基于深度强化学习的个性化学习系统及方法，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块，优点在于：通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习。
Description
技术领域
本发明涉及学习系统技术领域，具体为基于深度强化学习的个性化学习系统及方法。
背景技术
如今，教育信息化已步入“2.0时代”，人工智能、大数据等技术在精准教学、个性化学习领域发挥的作用进一步凸显。通过信息技术与学科教学的深度融合，力求助推教育质量大幅提升，已成为业界的共识。随着互联网技术的普及和发展，越来越多的学习者通过网络获取学习资源。与此同时，多元化、个性化的知识定制服务也成了学习者需求的新热点。目前，对个性化教育的追求和教育资源分布不均衡，一直是教育行业的两大核心痛点，人工智能技术带来了解决问题的新的可能性。
基于人工智能技术的学习辅助工具，虽然能为学生的学习带来很好的服务体验，然而存在以下问题：
(1)、这些人工智能学习辅助工具更多是为了满足某个专门领域的学习需求，目的是为了促进学习者获得特定的知识和技能，而且这些系统常常作为学习教育的补充，未能深入影响学生的日常学习和生活，难以处理学习内容需求的动态变化。这种动态变化体现在两个方面，首先学习内容具有一定的时效性，其次是学习者对于学习内容的需求是不断变化的；
(2)、现有的学习内容推荐工具，无法建模学习者的兴趣及需求内容的动态变化，学习资源内容推荐不能确保实时有效性；
(3)、现有的学习辅助工具，只是涉及学习者学习活动某个独立的视角，并没有深入结合学习科学研究理论，和优化学习路径，因此没法实现学习者自主学习。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于深度强化学习的个性化学习系统及方法，解决了如何充分结合学习科学研究成果与人工智能技术的进步，使学习系统能够与学习者之间以更自然的方式进行交互，通过人工智能技术为学习者提供个性化学习等亟待解决的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模块。
优选的，所述个性化学习终端通过构建好的资源推荐模型根据学习者的动态访问交互日志为学习者推送与之能力相匹配的学习资源，所述个性化学习终端还通过学习结果智能测评模型根据学习者的学情数据智能诊断反馈学习者的课程完成情况与知识的薄弱，所述个性化学习终端还覆盖多个学习活动场景，这样有助于学习者获知自身不足，实现自主引导学习。
优选的，所述电子教材交互模块用于学习者对电子教材的绑定、下载、保存和对教材的学习交互记录，所述作业与考试模块用于课后作业的参与完成、批阅和展示的整套课后作业交互流程，所述资源查询模块包括学习资源库，通过获取学习者的考试、学习等交互信息，可以有效得知学习者的真实状况，以便于分析处理。
优选的，所述个性化学习终端通过融合多个学习活动场景产生的交互数据，提取学习者的个性化学习数据，采用深度强化学习算法对个性化学习进行内容推荐建模、且对学习结果进行个性化评价分析。
本发明要解决的另一技术问题是提供基于深度强化学习的个性化学习方法，包括以下步骤：
1)、个性化学习终端采集学情数据，学情数据包含静态学情数据和动态学情数据；
2)、学习者使用个性化学习终端的账号登录终端，获取学习资源，并绑定课程，跟进课程的开设进度参与学习、参与课程疑难问题答疑，并完成相关作业及考试测验；
3)、学习者在学习终端进行各种学习活动，通过学习播放课程视频、点击资源等实现与平台的个性化资源内容推荐系统的多轮交互，在该过程中推荐系统能够感知用户的实时行为，从而更加理解学习者的偏好和需求；
4)、个性化分析模型处理端将静态学情数据进行处理，提取离线的个性化特征数据；
5)、个性化分析模型处理端对动态学情数据进行处理，提取实时的个性化特征数据。实时的个性化特征数据包含学习者对学习资源的交互行为及学习任务的完成结果情况；
6)、个性化模型分析处理端，提取完学习者用户的离线特征，包含用户过去的历史反馈数据和实时特征，基于离线特征和实时特征采用深度强化学习构建个性化的学习内容分层推荐模型。
优选的，所述步骤1)中静态学情数据的采集包括以下方式：
A1、学习者在学生终端注册账号，填写档案信息，这些数据可在注册账号时以基本信息登记的形式采集，这些信息可通过学习者在学习终端的用户中心修改而更新；
A2、学习者通过账号在过去一个星期、一个月访问参与选定的课程视频学习、加入过的最新的相关课程，包含课程视频的直播和录播回放。对学习者在过去一个星期、一个月的学习行为数据进行采集存储，过去一个星期、一个月的学习行为数据如访问课程次数、有访问课程行为的天数、已完成的章节数、相关作业、测验考试考评情况等数据；
A3、学习者在过去一个星期、一个月对学习资源的历史查询和浏览行为数据。
优选的，所述步骤1)中动态学情数据的采集包括以下内容：
B1、采集学习者在课程学习参与中与教师互动的活跃度；
B2、采集学习者对学习资源内容搜索的关键字，及对搜索结果资源的点击、在线对学习资源的交互情况。
B3、动态学情数据实时采集上传到个性化学习模型处理分析端，进行分析预处理，实时计算学习者个性化的动态交互特征。
优选的，所述步骤4)中离线的个性化特征数据包括离线的特征数据包含学习者的性别、年龄、学历、爱好等，并将类别特征变量转换为虚拟数字变量，这样可以将特征信息转变为数字信息，以便于后续的模型构建。
(三)有益效果
与现有技术相比，本发明提供了基于深度强化学习的个性化学习系统及方法，具备以下有益效果：
1、该基于深度强化学习的个性化学习系统及方法，通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，通过应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习。
2、该基于深度强化学习的个性化学习系统及方法，通过个性化教育平台的终端设备，可实时采集学习者学习活动中的多维动态信息，这些信息通过后台进行分析处理，就可以发布到个性化学习的应用平台，实时服务于智能教育领域，通过深度强化学习，不仅基于学习者的静态个性化特征，还基于学习者的动态学习行为特征，不仅避免了推荐场景中的冷启动问题，同时确保了推荐结果的精准和多样性。
3、该基于深度强化学习的个性化学习系统及方法，通过个性化学习教育平台，能联合学习者和教育者等多个视角，不仅能实现个性化学习，还能实现个性化辅助教育，通过对特征分层融合分析设计、模型离线训练、以及支持增量更新的数据格式存储，可实现智能推荐模型的快速更新，快速服务于学习者的学习活动中，而且通过双DQN网络模型，充分利用了探索的策略，降低了推荐模型对已感知样本量的依赖，能更有效的服务于线上资源的推荐。
附图说明
图1为基于深度强化学习的个性化学习系统的系统构成结构示意图；
图2为基于深度强化学习的个性化学习方法的实施流程示意图；
图3为本发明学情分析预处理的流程示意图；
图4为本发明学习资源推荐的流程示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1所示，基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块。
作为本发明的一种优选技术方案，为了引导学生实现自我学习，将个性化学习终端通过构建好的资源推荐模型根据学习者的动态访问交互日志为学习者推送与之能力相匹配的学习资源，个性化学习终端还通过学习结果智能测评模型根据学习者的学情数据智能诊断反馈学习者的课程完成情况与知识的薄弱，个性化学习终端还覆盖多个学习活动场景，依据个性化模型分析端提供的分析结果，从学习内容、学习评价和学习路径三个方面为学习者提供个性化学习内容推送、个性化学习评价反馈以及个性化学习路径生成等学习服务。学习者通过应用个性化学习服务中心提供的服务，通过个性化评价结果快速了解自身学习的不足之处，进而产生深层次的学习需求和学习目标，实现自我导向学习。
作为本发明的一种优选技术方案，为了确保个性化学习终端覆盖多个学习活动场景，将对电子教材交互模块用于学习者对电子教材的绑定、下载、保存和对教材的学习交互记录，作业与考试模块用于课后作业的参与完成、批阅和展示的整套课后作业交互流程，而且资源查询模块包括学习资源库，习资源库包含：1)教师在教师终端注册账号，所开设的课程、下放所设课程的电子教材及相关作业和测试习题；2)个性化学习终端用户分享和上传的免费学习资源；3)领域从业者所设的专栏及特定知识讲义。
作为本发明的一种优选技术方案，通过融合个性化学习终端里面多个学习活动场景产生的交互数据，提取学习者的个性化学习数据，采用深度强化学习算法对个性化学习进行内容推荐建模、且对学习结果进行个性化评价分析，实现学习者自主智能导向学习。
如图2所示，基于深度强化学习的个性化学习方法，包括以下步骤：
1)、个性化学习终端采集学情数据，学情数据包含静态学情数据和动态学情数据；
2)、学习者使用个性化学习终端的账号登录终端，获取学习资源，并绑定课程，跟进课程的开设进度参与学习、参与课程疑难问题答疑，并完成相关作业及考试测验；
3)、学习者在学习终端进行各种学习活动，通过学习播放课程视频、点击资源等实现与平台的个性化资源内容推荐系统的多轮交互，在该过程中推荐系统能够感知用户的实时行为，从而更加理解学习者的偏好和需求；
4)、个性化分析模型处理端将静态学情数据进行处理，如图3所示，提取离线的个性化特征数据；
5)、如图3所示，个性化分析模型处理端对动态学情数据进行处理，提取实时的个性化特征数据。实时的个性化特征数据包含学习者对学习资源的交互行为及学习任务的完成结果情况；
6)、个性化模型分析处理端，提取完学习者用户的离线特征，包含用户过去的历史反馈数据和实时特征，基于离线特征和实时特征采用深度强化学习构建个性化的学习内容分层推荐模型，该个性化推荐决策能充分基于用户过往的反馈数据，另一方面能优化学习者交互过程之中的全局收益；
为了进一步提高推荐模型的可行性，我们设计了基于深度强化学习的个性化内容推荐模型构建步骤，步骤如下：
S1、特征设计：模型输入包含的离线特征和实时特征可进一步精细划分为：资源特征、学习者特征、学习者和资源的交互特征、上下文特征。资源特征包括资源类型(视频、教程PPT、文本讲义等)、资源提供者、资源访问量等等；学习者特征包括学习者在一个星期，一个月参与学习的资源特征；学习者和资源的交互特征包含(访问次数、访问频率)；上下文特征包含上下文信息，如资源交互时间、资源的新颖程度等；
S2、状态建模：个性化分析模型处理端融合学习者的多组个性化特征，融合后的学习者特征和上下文特征被定义为个性化推荐模型的状态空间，即在学习资源推荐场景下用户的意图和所处的场景。状态建模采用CNN的网络结构来提取状态的隐式表达。网络主要把学习者实时行为序列的样本作为输入，使用CNN学习学习者实时意图的表达，从而挖掘学习者所处的时间、地点、场景、以及一定周期内学习者的个性化学习行为。
S3、动作设计：将学习资源特征和交互特征用于表示当前的一个action，模型可以根据当前状态state采取当前这个action预测一个Q值，Q值包含立即获得的奖励和未来获得奖励的折扣，公式如下：
ys,a＝Q(s,a)＝rimmediate+γrfuture
S4、设计奖惩函数，系统根据当前的state，采取相应的action即推荐K个教育资源给用户之后，根据用户对推荐列表的反馈(点击、浏览或收藏资源)来得到当前state-action的即时奖励reward。立即获得的奖励可包含多部分，如学习者对资源的浏览访问奖励和学习者对资源活跃度贡献(收藏，购买，浏览时长，回放次数)奖励。
S5、模型的构建包含离线预训练和在线更新两个阶段。如本发明说明书附图的图4所示，模型的离线训练采用step1～step3生成的state-action训练样本数据进行训练，为了确保模型在线上的预测效果，减少对历史反馈样本量的依赖，本发明实时过程中采用具有有效exploration策略的改进DQN模型进行训练。当整个训练流程中的数据量和训练指标，符合上线要求时，可将预训练的模型同步上线。
S6、模型的在线更新。模型的更新分为短时间的次要更新和较长时间的主要更新。短时间的更新，是在固定的一些时刻，学习者发送资源搜索请求时，推荐模块根据当前的state产生K个学习资源给学习者用户，通过学习者对推荐资源的访问浏览交互行为得到反馈结果。通过对反馈结果和两个推荐的资源列表进行比较，可在每个时间点，评估基准网络和探索网络的表现，如果基准网络效果更好，则模型不更新。如果探索网络的表现更好，基准网络的参数将会向探索网络方向进行更新。
S7、在一段时间过后，根据DQN的经验池中存放的历史经验，对基准网络模型参数进行更新。
作为本发明的一种优选技术方案，为了详尽的获取用户静态学情数据，在步骤1)中静态学情数据的采集包括了以下方式：
A1、学习者在学生终端注册账号，填写档案信息，这些数据可在注册账号时以基本信息登记的形式采集，这些信息可通过学习者在学习终端的用户中心修改而更新；
A2、学习者通过账号在过去一个星期、一个月访问参与选定的课程视频学习、加入过的最新的相关课程，包含课程视频的直播和录播回放。对学习者在过去一个星期、一个月的学习行为数据进行采集存储，过去一个星期、一个月的学习行为数据如访问课程次数、有访问课程行为的天数、已完成的章节数、相关作业、测验考试考评情况等数据；
A3、学习者在过去一个星期、一个月对学习资源的历史查询和浏览行为数据；
通过静态数据的采集，我们可以为用户构建档案，静态学情数据存储在学生档案信息数据库，该数据一旦采集存储，更新频率会很低。
作为本发明的一种优选技术方案，为了详尽的获取用户动态的学情数据，在步骤1)中动态学情数据的采集包括了以下内容：
B1、采集学习者在课程学习参与中与教师互动的活跃度；
B2、采集学习者对学习资源内容搜索的关键字，及对搜索结果资源的点击、在线对学习资源的交互情况。
B3、动态学情数据实时采集上传到个性化学习模型处理分析端，进行分析预处理，实时计算学习者个性化的动态交互特征；
通过上述态学情数据的采集，我们可以有效获知用户在实际的学习中与本平台的学习交互情况，为系统的判断提供了有利的数据支持。
作为本发明的一种优选技术方案，为了获知用户数据中的变量，并通过变量获取特征数据，我们在步骤4)中离线的个性化特征数据包括离线的特征数据包含了学习者的性别、年龄、学历、爱好等，并将类别特征变量转换为虚拟数字变量，为了构建模型，可以将类别特征变量转换为虚拟数字变量如one-hot编码，针对连续特征尺度相差很大的变量，可进行0～1的归一化处理，再进入模型的构建。
本发明的有益效果是：通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，通过应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习，通过个性化教育平台的终端设备，可实时采集学习者学习活动中的多维动态信息，这些信息通过后台进行分析处理，就可以发布到个性化学习的应用平台，实时服务于智能教育领域，通过深度强化学习，不仅基于学习者的静态个性化特征，还基于学习者的动态学习行为特征，不仅避免了推荐场景中的冷启动问题，同时确保了推荐结果的精准和多样性，再通过个性化学习教育平台，能联合学习者和教育者等多个视角，不仅能实现个性化学习，还能实现个性化辅助教育，通过对特征分层融合分析设计、模型离线训练、以及支持增量更新的数据格式存储，可实现智能推荐模型的快速更新，快速服务于学习者的学习活动中，而且通过双DQN网络模型，充分利用了探索的策略，降低了推荐模型对已感知样本量的依赖，能更有效的服务于线上资源的推荐。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块。
2.根据权利要求1所述的基于深度强化学习的个性化学习系统，其特征在于，所述个性化学习终端通过构建好的资源推荐模型根据学习者的动态访问交互日志为学习者推送与之能力相匹配的学习资源，所述个性化学习终端还通过学习结果智能测评模型根据学习者的学情数据智能诊断反馈学习者的课程完成情况与知识的薄弱，所述个性化学习终端还覆盖多个学习活动场景。
3.根据权利要求1所述的基于深度强化学习的个性化学习系统及方法，其特征在于，所述电子教材交互模块用于学习者对电子教材的绑定、下载、保存和对教材的学习交互记录，所述作业与考试模块用于课后作业的参与完成、批阅和展示的整套课后作业交互流程，所述资源查询模块包括学习资源库。
4.根据权利要求1所述的基于深度强化学习的个性化学习系统及方法，其特征在于，所述个性化学习终端通过融合多个学习活动场景产生的交互数据，提取学习者的个性化学习数据，采用深度强化学习算法对个性化学习进行内容推荐建模、且对学习结果进行个性化评价分析。
5.基于深度强化学习的个性化学习方法，使用上述权利要求1-4种任意一项，其特征在于，包括以下步骤：
1)、个性化学习终端采集学情数据，学情数据包含静态学情数据和动态学情数据；
2)、学习者使用个性化学习终端的账号登录终端，获取学习资源，并绑定课程，跟进课程的开设进度参与学习、参与课程疑难问题答疑，并完成相关作业及考试测验；
3)、学习者在学习终端进行各种学习活动，通过学习播放课程视频、点击资源等实现与平台的个性化资源内容推荐系统的多轮交互，在该过程中推荐系统能够感知用户的实时行为，从而更加理解学习者的偏好和需求；
4)、个性化分析模型处理端将静态学情数据进行处理，提取离线的个性化特征数据；
5)、个性化分析模型处理端对动态学情数据进行处理，提取实时的个性化特征数据。实时的个性化特征数据包含学习者对学习资源的交互行为及学习任务的完成结果情况；
6)、个性化模型分析处理端，提取完学习者用户的离线特征，包含用户过去的历史反馈数据和实时特征，基于离线特征和实时特征采用深度强化学习构建个性化的学习内容分层推荐模型。
6.根据权利要求1所述的基于深度强化学习的个性化学习方法，其特征在于，所述步骤1)中静态学情数据的采集包括以下方式：
A1、学习者在学生终端注册账号，填写档案信息，这些数据可在注册账号时以基本信息登记的形式采集，这些信息可通过学习者在学习终端的用户中心修改而更新；
A2、学习者通过账号在过去一个星期、一个月访问参与选定的课程视频学习、加入过的最新的相关课程，包含课程视频的直播和录播回放。对学习者在过去一个星期、一个月的学习行为数据进行采集存储，过去一个星期、一个月的学习行为数据如访问课程次数、有访问课程行为的天数、已完成的章节数、相关作业、测验考试考评情况等数据；
A3、学习者在过去一个星期、一个月对学习资源的历史查询和浏览行为数据。
7.根据权利要求1所述的基于深度强化学习的个性化学习方法，其特征在于，所述步骤1)中动态学情数据的采集包括以下内容：
B1、采集学习者在课程学习参与中与教师互动的活跃度；
B2、采集学习者对学习资源内容搜索的关键字，及对搜索结果资源的点击、在线对学习资源的交互情况。
B3、动态学情数据实时采集上传到个性化学习模型处理分析端，进行分析预处理，实时计算学习者个性化的动态交互特征。
8.根据权利要求1所述的基于深度强化学习的个性化学习方法，其特征在于，所述步骤4)中离线的个性化特征数据包括离线的特征数据包含学习者的性别、年龄、学历、爱好等，并将类别特征变量转换为虚拟数字变量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110574396.0A CN113190761A (zh) | 2021-05-25 | 2021-05-25 | 基于深度强化学习的个性化学习系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110574396.0A CN113190761A (zh) | 2021-05-25 | 2021-05-25 | 基于深度强化学习的个性化学习系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113190761A true CN113190761A (zh) | 2021-07-30 |
Family
ID=76985111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110574396.0A Withdrawn CN113190761A (zh) | 2021-05-25 | 2021-05-25 | 基于深度强化学习的个性化学习系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113190761A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114168177A (zh) * | 2022-02-10 | 2022-03-11 | 浙江大学 | 一种支持海量移动设备的个性化任务处理方法及设备 |
| CN114661391A (zh) * | 2021-11-11 | 2022-06-24 | 卡墨智能科技(北京)有限公司 | 课程内容展示、处理方法、设备及存储介质 |
| CN116362426A (zh) * | 2023-06-01 | 2023-06-30 | 贵州开放大学(贵州职业技术学院) | 基于人工智能和深度学习的学习行为预测管理系统和方法 |
| CN117114937A (zh) * | 2023-09-07 | 2023-11-24 | 深圳市真实智元科技有限公司 | 基于人工智能的练习曲目的生成方法及生成装置 |
| CN117492871A (zh) * | 2023-12-29 | 2024-02-02 | 辽宁向日葵数字技术股份有限公司 | 基于低代码的教学活动构建方法及相关设备 |
| CN117808638A (zh) * | 2023-12-08 | 2024-04-02 | 广东信聚丰科技股份有限公司 | 基于用户行为分析的学习内容优化方法及系统 |
-
2021
- 2021-05-25 CN CN202110574396.0A patent/CN113190761A/zh not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661391A (zh) * | 2021-11-11 | 2022-06-24 | 卡墨智能科技(北京)有限公司 | 课程内容展示、处理方法、设备及存储介质 |
| CN114168177A (zh) * | 2022-02-10 | 2022-03-11 | 浙江大学 | 一种支持海量移动设备的个性化任务处理方法及设备 |
| CN114168177B (zh) * | 2022-02-10 | 2022-07-19 | 浙江大学 | 一种支持海量移动设备的个性化任务处理方法及设备 |
| CN116362426A (zh) * | 2023-06-01 | 2023-06-30 | 贵州开放大学(贵州职业技术学院) | 基于人工智能和深度学习的学习行为预测管理系统和方法 |
| CN116362426B (zh) * | 2023-06-01 | 2023-08-11 | 贵州开放大学(贵州职业技术学院) | 基于人工智能和深度学习的学习行为预测管理系统和方法 |
| CN117114937A (zh) * | 2023-09-07 | 2023-11-24 | 深圳市真实智元科技有限公司 | 基于人工智能的练习曲目的生成方法及生成装置 |
| CN117808638A (zh) * | 2023-12-08 | 2024-04-02 | 广东信聚丰科技股份有限公司 | 基于用户行为分析的学习内容优化方法及系统 |
| CN117808638B (zh) * | 2023-12-08 | 2024-06-04 | 广东信聚丰科技股份有限公司 | 基于用户行为分析的学习内容优化方法及系统 |
| CN117492871A (zh) * | 2023-12-29 | 2024-02-02 | 辽宁向日葵数字技术股份有限公司 | 基于低代码的教学活动构建方法及相关设备 |
| CN117492871B (zh) * | 2023-12-29 | 2024-04-23 | 辽宁向日葵数字技术股份有限公司 | 基于低代码的教学活动构建方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113190761A (zh) | 基于深度强化学习的个性化学习系统及方法 | |
| Çetinkaya-Rundel et al. | A fresh look at introductory data science | |
| Alò et al. | Low-cost emerging technologies as a tool to support informal environmental education in children from vulnerable public schools of southern Chile | |
| Harlen et al. | Can teachers learn through enquiry on‐line? Studying professional development in science delivered on‐line and on‐campus | |
| Maybee | IMPACT learning: Librarians at the forefront of change in higher education | |
| KR102418068B1 (ko) | 어학교육을 위한 슈퍼마켓형 쇼핑몰 서비스 제공 시스템 | |
| Cooper et al. | Teaching teachers onsite: Using evaluation to develop effective professional development programs | |
| Zhong et al. | Design of a personalized recommendation system for learning resources based on collaborative filtering | |
| Pan et al. | A MultiView courses recommendation system based on deep learning | |
| Cadamuro et al. | Reflecting A…“Bit”. What Relationship Between Metacognition And ICT? | |
| Assante et al. | Internet of energy: new scenarios, opportunities, challenges and educational solutions | |
| Shofyan et al. | Expert System Design for Web-Based Lecturer Scheduling | |
| CN110427452A (zh) | 一种将资源内容集合为课程包的在线课程管理方法 | |
| Xu et al. | An application of big data learning analysis based on MOOC platform | |
| Saad | A case-based system for lesson plan construction | |
| LaTourrette et al. | Student‐led workshops: Filling skills gaps in computational research for life scientists | |
| Pan et al. | Exploring the impact of intelligent learning tools on students’ independent learning abilities: a PLS-SEM analysis of grade 6 students in China | |
| Wu | IoT-enabled Personalized English Learning in Colleges using Big Data Analysis and Decision Support System | |
| Huang et al. | How to design an educational chatbot: Insights from experienced teachers and developers | |
| Klimeková et al. | Case study on the process of teachers transitioning to teaching programming in Python | |
| KR20210147269A (ko) | 온라인 뷰티 강의 시스템에서 뷰티 강사를 추천하는 방법 | |
| CN116362426B (zh) | 基于人工智能和深度学习的学习行为预测管理系统和方法 | |
| Soleimani et al. | Analyzing learners engagement in a micromasters program compared to non-degree MOOC | |
| Desai | Modeling Personalized E-Learning for Effective Distance Education | |
| Kumar et al. | Need of facet analysis of moocs: A review and feasibility study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210730 |
|
| WW01 | Invention patent application withdrawn after publication |