CN111723973A - 基于mooc日志数据中用户行为因果关系的学习效果优化方法 - Google Patents

基于mooc日志数据中用户行为因果关系的学习效果优化方法 Download PDF

Info

Publication number
CN111723973A
CN111723973A CN202010415168.4A CN202010415168A CN111723973A CN 111723973 A CN111723973 A CN 111723973A CN 202010415168 A CN202010415168 A CN 202010415168A CN 111723973 A CN111723973 A CN 111723973A
Authority
CN
China
Prior art keywords
user
causal
network
learning
mooc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010415168.4A
Other languages
English (en)
Other versions
CN111723973B (zh
Inventor
魏笔凡
郭敏
刘均
郑庆华
郝子琛
卜德蕊
邓婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010415168.4A priority Critical patent/CN111723973B/zh
Publication of CN111723973A publication Critical patent/CN111723973A/zh
Application granted granted Critical
Publication of CN111723973B publication Critical patent/CN111723973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开基于MOOC日志数据中用户行为因果关系的学习效果优化方法，基于MOOC平台用户的日志数据，利用用户倾向性计算和匹配，通过依照反事实的因果推理框架来选取生成因果网络中的因果自变量，在不同数据规模下根据生成网络的平均马尔可夫毯长度，在其长度趋于平稳时获取最小数据规模；得到因果网络群组；使用专家精确度算法来筛选网络节点间的边，将筛选好的网络群组，使用Bagging投票机制综合生成最终因果网络，得到用户行为和学习效果的因果关系，基于所述因果关系，根据原因变量节点和结果变量节点对用户学习路径做出合理规划，改变用户操作行为或者用户的学习时间来影响用户是否完成这门课程的概率，提高了变量之间关系判定的准确性。

Description

基于MOOC日志数据中用户行为因果关系的学习效果优化方法
技术领域
本发明属于人工智能技术领域，具体涉及基于MOOC日志数据中用户行为因果关系的学习效果优化方法。
背景技术
MOOC(Massive Open Online Course，慕课)是大型开放式的在线学习平台，MOOC的出现打破了教育资源分配的不均衡，通过互联网实现教育资源的网络化，让大学当中的教育更具有开放性、共享性、及时性，使得全民都可以触及到优质的学习资源。由于MOOC学习平台中包含大量的在线课程及学习用户学习过程中产生的海量数据，这就使得可以在保持规模的前提下，及时观测到每个学习用户的学习模式及路径，为用户优化学习过程，提高课程教学质量及学习效果。所以，随着MOOC平台中聚集的海量数据在国内外越来越受到关注，许多研究者竞相对其进行数据挖掘与建模分析。
基于MOOC平台的教学过程会产生大量学习过程中的交互数据与信息反馈，学习用户在平台中会产生海量的操作行为数据(如观看视频的次数、参与问题讨论的次数等)、平台课程的质量信息(如课程的受欢迎程度、课程发放相关资料的时间等)、学习效果(是否按时完成课程、完成课程作业等)。同时,还可以从平台的相关日志信息中获得学习用户的基本信息情况(如年龄、性别等)，对这些数据的挖掘与处理可以用来分析学习用户在学习过程中的行为，改善课程质量，完善MOOC平台的体系建设以提升用户学习效果。
目前，国内外的研究大多数都集中在学习用户的学习行为与课程效果方面，得到的通常是具有普遍性的变量相关性结论。然而事实上相关性与因果性确是截然不同，首先相关性并不代表因果性，其次相关性是对称的，然而因果性却不是对称的。对于缺乏对称性的研究我们还缺少有利的方法工具。同时，大部分研究只关心预测结果的情况从而忽略了因果因素，从而导致对干预后实验结果的探索只依靠相关性探索，得到结论的真实性大打折扣。因此，对于MOOC平台中改善用户学习行为、增强课程质量、提高学习效果等方面，当前所研究的预测工具，只是其数据关系的冰山一角。为了能够更好的解决智能教育平台中的学习效果方面的问题，基于因果关系改善用户学习行为、增强课程质量、提高学习效果等方面成为了一个十分必要的手段。
发明内容
为了解决MOOC平台中用户行为与学习效果间因果关系挖掘存在的问题，本发明公开了基于MOOC日志数据中用户行为因果关系的学习效果优化方法，旨在可以快速、准确的推理出用户行为与学习效果间的因果关系，基于所述因果关系为用户提升学习效率、改善学习效果，提供智能学习规划，定制学习方案提供的决策与干预依据。
为了实现上述目的，本发明采用的技术方案是，基于MOOC日志数据中用户行为因果关系的学习效果优化方法，包括以下步骤：
步骤100，对MOOC用户学习日志数据去除异常值、补充缺失值并对连续数据进行离散化处理，得到处理后的数据集；
步骤200，从步骤100得到的数据集中筛选协变量，通过probit回归模型对筛选出的协变量进行倾向性匹配计算，通过检验所述协变量是否满足模型的平衡性，若满足则选取为因果自变量；
步骤300，基于步骤200所选取的因果自变量，依次在不同数据规模下通过贝叶斯网络生成算法得到网络群组，观测对于不同网络规模数据集获得因果网络的平均马尔可夫毯长度趋势，获取代表数据集整体特性最小数据集对应的规模，采用启发式搜索算法，增加每次保存的路径数，生成因果网络群组；
步骤400，针对步骤300所得到的因果网络群组，采用专家精确度评分算法筛选网络节点间的边，得到经过筛选的网络群组，通过集成学习使用Bagging投票机制综合生成最终因果网络；
步骤500，根据步骤400所得因果网络中节点的含义找出代表用户学习效果的结果变量节点；通过因果网络中边的指向，得出多个结果变量节点的父节点及祖先节点，将所述父节点及祖先节点作为原因变量节点，根据原因变量节点和结果变量节点对用户学习路径做出规划，改变用户的操作行为或者用户的学习时间来提高用户完成课程学习的概率。
步骤100具体包括以下步骤：
步骤101，对MOOC用户学习日志数据的用户操作行为、用户操作时间和所选课程属性分类，剔除异常值；
步骤102，通过对MOOC用户学习日志数据中匹配用户名和课程编号的匹配，得到用户行为以及课程数据；
步骤103，对MOOC用户学习日志数据的缺失值使用均值进行填充，对连续型数据进行离散化处理。
步骤200中，在经过步骤100处理后的MOOC用户学习日志数据集中依次选取任意变量作为控制变量，其余变量作为用户倾向性匹配的协变量；对协变量进行归一化处理；
步骤2011，基于步骤100得到的离散化MOOC用户学习日志数据集，先选中一个特征变量作为probit回归模型中的一个协变量，将其他变量作为待选协变量；
步骤2012，在probit回归模型的基础上分别估计待选协变量的极大似然值，选择其中最大的对数极大似然值对应的协变量，放入probit回归模型；
步骤2013，设定阈值，筛选出步骤2012中所得极大似然估计值对应的协变量作为选取好的协变量。
步骤200中，对筛选出的协变量进行用户倾向性匹配，并通过匹配完成的数据来验证倾向性匹配模型是否满足平衡性的假设，将满足假设的变量加入因果自变量集，具体如下：
步骤2021，选取所述协变量中的一个变量作为控制变量，其余协变量作为用户倾向性匹配的协变量几何，采用probit回归模型计算得出用户的倾向性评分，设定匹配规则得到试验组和对照组；
步骤2022，使用最邻近匹配法来对试验组和对照组进行1:1匹配，根据步骤2021所得到的每组不同的倾向性评分，找到得分差异最小的一组样本；
步骤2023，采用反事实推断模型，验证其步骤2022得到的匹配结果，得到当前控制变量对因变量的影响程度进而将其粗略当作其原因因子，将其选入因果自变量集中。
步骤300中，获取代表数据集整体特性最小数据集对应的规模，具体如下：
步骤3011，按照定长的数据规模增长划分出不同规模的数据集，通过贝叶斯网络生成算法得到不同数据规模下评分最高的因果网络；
步骤3012，按照最小数据规模＝节点数*平均马尔可夫毯长度的计算式，依照计算所述步骤3011网络结构中每个节点的父子节点和配偶节点的总数，求得平均马尔可夫毯长度，进而观测在不同数据规模下的平均马尔可夫毯长度，平均马尔可夫毯长度趋于平稳时获得MSS作为最终的数据规模。
步骤300中，基于代表数据集整体特性的最小数据规模对应的数据集，采用启发式启发式搜索算法生成因果网络群组，具体如下：
步骤3021，抽样获取最小数据规模对应的数据集，先利用单一的启发式搜索算法学习出一个基本的结构，在算法的每一次决策时不仅保留最优路径，同时保留多条次优路径作为下一次的搜索空间，使得即使本次决策为最优或本次决策会在评分不低于设定值的几个网络中，剔除掉评分低于设定值的网络，获得不同评分的多个网络；
步骤3022，将步骤3021中获得的多个网络按照其评分从高到低进行排序，选取多个网络将其按照评分分别逐一的加入到因果网络群组中。
步骤400具体如下：
步骤4011，对于步骤300生成的因果网络群组，采用专家精确度评分算法筛选网络，获得网络中各边的精确度矩阵；
步骤4012，选取步骤300所得因果网络群组中评分靠前的5个网络，分别使用步骤4011中得到的精确度矩阵来判别，设定精确度确定的阈值，将所述5个网络与精确度矩阵进行相乘，得到的结果为网络群组中每个网络边的精确度，将精确度低于阈值的边进行剔除，保留精确度高于阈值的边，得到经过精确度筛选的多个网络。
将评估后的多个网络利用集成学习的方法，通过Bagging投票法融合成为最终的因果网络结构，具体如下：
步骤4021，统计不同网络中相同节点间边的生成、双向边未生成边的结果，清除网络中的双向边，遍历生成网络中的每条边，分别判断每条边的正向和反向的精确度，选取精确度高的作为边的方向，剔除低精度方向；
步骤4022，将步骤401所述多个网络利用Bagging投票机制通过观测每条边生成和未生成的比例，选取比例较大的投票结果作为最终生成结果，将网络群组中的多个因果网络融合为一个完整的因果网络结构。
步骤400中，专家精确度评分算法的过程具体如下：
第一步，将因果网络群组分为若干实验组，每组因果网络的边的方向作为行，每两个节点间边在不同网络结构中是否存在作为列，生成由步骤3022所得到的因果网络群组中边是否存在以及方向的矩阵；
第二步，将第一步得到的矩阵中每行所代表边的方向作为隐变量，边的存在情况，即有边或无边，作为显性变量，根据矩阵分布判别节点边在两个方向上存在边的最大概率；
第三步，首先定义正向有边的概率θa(0)，反向有边的概率θb(0)，通过第一步所得边的概率矩阵计算每条边的正向期望和反向期望，得出每条边正向和反向的概率分别为PA(0)和PB(0)；
第四步，结合每个实验组的正反向概率情况和期望，更新第三步中初始的正向边的概率θa(0)和反向边的概率θb(0)，多次循环计算，直到正向有边概率θa(0)和反向有边概率θb(0)收敛，则最终正反向中较大的收敛值为该边是否生成的精确度，获得各边的精确度矩阵。
与现有技术相比，本发明至少具有以下有益效果：
通过在MOOC平台中基于因果关系的数据挖掘，可以更为深层次的挖掘出变量之间的相互影响关系，相较于以往的相关性分析，从定量的方面消除了以往常识性和歧义性的变量关系，提高了变量之间关系判定的准确性，从定性的方面，使其从原有不带方向的双向关系转变为单向更为直接精准的影响关系，通过搜寻MOOC平台中改善用户学习效果的相关原因变量，为用户制定有效的学习计划，从而解决当前MOOC平台提高用户的学习效果的问题；
本发明在分析MOOC用户学习日志数据集的基础上，较为全面地构建因果自变量，通过采用用户行为的倾向性评分打破反事实推断模型的限制，进而对原数据的因变量生成对照组与实验组，同时，解决了数据之中的选择性偏差问题与数据内生性问题，最后，通过检验数据平稳性判断试验匹配结果；
本发明采用基于多路径的启发式网络搜索模型算法，通过根据选取的因果自变量观察其自变量在不同数据规模下生成网络的平均马尔可夫毯长度的变化趋势，查询使其长度平稳的最小数据规模，降低其需要处理的数据规模；本发明采用多路径的启发式网络搜索模型算法在不同的数据集当中均取得了最高的效率，
在获得指定数据规模的基础上，通过提出多路径的启发式网络搜索算法，在选取最优路径时，不仅保存当前最优的路径，还保存其包括最优的三个次优路径，有效的剔除掉了评分较低的路径，使其搜索空间大大降低，有效的提升了搜索效率；
本发明采用专家精确度评分算法，在网络节点间的路径筛选和多网络融合起到有效作用，利用本发明提出的专家精确度评分算法，分别估计固定节点间生成边的精确度，将边的方向变量设置为隐变量，通过群组当中的多个网络相同节点间边的是否生成，观测其参数收敛时的最大值将其作为边的精确度评估；设定阈值，删除其精确度低的边，保留其精确度高的边，利用集成学习，通过Bagging投票机制，来判别最终网络的是否生成，使其网络群组中的多个因果网络融合成为最终网络，弥补了单一网络生成算法的缺陷和不足，提高了最终网络的准确度；
通过本发明所述方法能够有效的缩小因果网络生成的搜索空间、提高搜索效率、改善网络精确度，有效的改善了网络生成效率低、精确度低的两大难题，揭示了用户学习行为、课程质量与学习效果之间的因果联系，对学习者在学习路径规划、智能导学以及提升学习效果起到有效作用。
附图说明
图1是本发明实例中所述的MOOC用户学习日志数据中因果推理网络框架图。
图2是本发明实例中所述的数据集中实体数据的E-R图。
图3是本发明实例中所述的用户倾向性匹配形式化描述示意图。
图4是本发明实例中所述的用户评分及匹配流程图。
图5是本发明实例中所述的用户倾向性评分及匹配结果示意图。
图6是本发明实例中所述的因果网络精确度矩阵生成流程图。
图7是本发明实例中所述的因果网络融合示意图。
图8是用户倾向性匹配前后特征的显著性结果展示。
图9是基于MOOC平台生成的可视化因果网络图。
具体实施方式
本发明提供一种基于MOOC用户学习日志数据中用户学习行为与学习效果的因果关系挖掘方法，具体为一种从用户的学习日志中选取有效的因果自变量，生成因果网络群组，进而融合成为最终因果网络的方法，其因果推理网络框架如图1所示。
本发明是通过以下技术方案来实现：
基于MOOC日志数据中用户行为因果关系的学习效果优化方法，通过将用户的日志数据填补缺失值、数据离散化，利用用户倾向性计算和匹配获取因果自变量，进而通过改进网络模型生成算法，力求提高网络生成的效率和准确度，得到其用户行为和学习效果的可视化因果关系，对学习者在学习路径规划、智能导学、提升学习效果起到了一定的有效作用。
由于在互联网教育领域MOOC在线学习平台具有较高的权威性，同时日志数据包含用户信息隐私，导致了目前教育方面的学习日志信息较为稀缺，因此使用了KDD CUP 2015公开发布的MOOC学习日志数据集，使得我们具体实施过程所选取的教育领域数据集具有较高的理论研究和实际应用价值；本发明不仅在MOOC平台的用户学习日志数据集中做了实验，同时在Alarm标准贝叶斯网络当中进行验证。
基于MOOC日志数据中用户行为因果关系的学习效果优化方法，包括如下步骤：
步骤100，对MOOC用户学习日志数据集的数据去除异常值、填充缺失值与离散化处理，通过时间日期和课程分类等得到MOOC用户学习日志数据集中用户行为与课程信息的统计数值；
MOOC平台的用户学习日志数据集中，包含了Object.csv、Enrollment_train.csv和Log_train.csv三个表格分别表示课程、学生用户、操作行为的日志记录，其中数据集中实体的关联关系如图2的E-R图所示。
对MOOC用户学习日志数据的用户操作行为、用户操作时间和所选课程属性分类，形成MOOC用户学习日志数据关于操作行为的特征；分析Object.csv、Enrollment_train.csv和Log_train.csv三个表格，划分出学习用户操作行为的种类和用户选取课程的相关信息种类，数据内容如下：
在Object.csv表中主要描述用户所选取课程的相关信息，例如：开课时间、结课时间和课程类型；在Enrollment_train.csv表中主要描述学习用户信息，例如：学生id、选课id、学生性别和年龄；在Log_train.csv表中主要描述学习用户的操作行为，包含每个用户的操作类型和操作时间；
基于MOOC用户学习日志数据的表格，按照每行作为一个用户的学习日志数据，每列作为用户的操作行为和所选课程的属性，对于表中的缺失值利用均值补全，通过日志日期，课程类别等对其日志数据进行清洗及分析，E-R图展示出所述MOOC日志数据集中关键变量之间的相互关系。
对MOOC用户学习日志数据中匹配用户名和课程编号，得到每个用户所选课程的受欢迎程度、完成课程和作业的情况，得到关于所选课程的属性特征；
根据在MOOC用户学习日志数据集中的Object.csv和Enrollment_train.csv表，通过匹配用户id和所选取的课程id，统计用户所选取每门课程的信息，例如：课程的逃课率、课程的受欢迎程度、课程开课及结课的时间；根据Log_train.csv表中信息统计统计每个用户在选定时间内不同类型的操作数和用户完成的作业情况；
步骤103，对MOOC用户学习日志数据集中的缺失值使用均值进行填补处理，同时将连续型数据进行离散化处理，储存处理后的数据；
参考图1，步骤200，基于步骤100得到的离散化MOOC用户学习日志数据集，将离散化MOOC用户学习日志数据集中超过阈值的变量通过倾向性模型验证其是否满足平衡性，如果其满足则选取为因果自变量；
该数据集的关键字段含义如表1所示：
表1
Figure BDA0002494715470000091
Figure BDA0002494715470000101
步骤201，协变量的筛选，具体步骤如下：
步骤2011，在步骤100得到的离散化MOOC用户学习日志数据集中，事先选中一个特征变量作为probit回归模型中的一个协变量，将其他变量作为待选协变量；
步骤2012，在probit回归模型的基础上分别估计待选协变量的极大似然值，选择其中最大的对数极大似然值对应的协变量，放入probit回归模型；
特征X为离散型，假设分布律为P{X＝x}＝p(x；θ),θ为待估计参数，p(x；θ)表示估计参数为θ时发生x的概率。
当特征样本为：x1,x2,…,xn时，
Figure BDA0002494715470000111
其中L(θ)称为样本的似然函数。
若满足：
Figure BDA0002494715470000112
当参数
Figure BDA0002494715470000113
时，似然函数可以取最大值，那么
Figure BDA0002494715470000114
就是参数θ的极大似然估计值；
步骤2013，设定门槛值，筛选出步骤2012中所得极大似然估计值作为选取好的协变量；
步骤202，用户倾向性匹配，其形式化描述示意图如图3所示。通过依次选取步骤201所选协变量中的一个变量作为Y控制变量，并将其变为0-1的二分类数值，其余剩下的变量作为用户倾向性匹配的协变量集合X{X1,X2,…,Xn}，通过用户评分模型得到每个用户的评分，然后设定匹配规则得到试验组和对照组，经过匹配后的试验组和对照组可以最大程度上解决用户的选择偏差性问题以及数据内生性问题，用户评分及匹配流程图如图4所示，具体步骤如下：
步骤2021，利用probit回归模型根据输入的控制变量和协变量，根据回归公式来计算得出用户的倾向性评分(用户对于发生控制变量行为的可能性)，公式如下：
Figure BDA0002494715470000115
因变量是Pr浏览网页次数，经常浏览page取1，不经常浏览page取0；协变量Problem代表提交或回答问题的次数，Video代表观看视频的次数，Pouplar代表课程的受欢迎程度，β0代表干扰因素，
Figure BDA0002494715470000116
代表标准累积正太分布函数，以上协变量因为分布范围差别过大，所以均做归一化处理。
步骤2022，使用最邻近模板匹配法对实验组和对照组进行1:1匹配，根据步骤2021所得到的每组不同的倾向性评分，找到得分差异最小的一组样本，评分及匹配结果如图5所示；
步骤2023，采用反事实推断模型，验证其步骤2022得到的匹配结果，将步骤2022得到的匹配结果依次通过差分的形式抵消变量间可见和不可见的影响因素，使用ATT(Average treatmenteffect for the treated)平均参与效应，来衡量个体在干预状态下的平均干预效应，即表示个体i在干预状态下的观测结果与其反事实的差，为平均干预效应的标准估计量。
ATT＝E{Yi(1)-Yi(0)|D＝1}
假定有N个个体，每个个体i(i＝1,2…N)都有两种潜在结果(Yi(0)或Yi(1))D＝1表示接受干预，D＝0表示不接受干预，很明显反事实Yi(0)|D＝1很难观测到，但通过评分匹配，用评分相近的组别代替；
利用DID(差分)对两组别差分，得到当前控制变量对因变量的影响程度，进而将前控制变量当作其原因因子选入因果自变量集中；
步骤300，在步骤200得到因果自变量集的基础上，依次在不同数据规模下通过贝叶斯网络生成算法得到网络群组，观测对于不同网络规模数据集获得因果网络的平均马尔可夫毯长度趋势，将平均马尔可夫毯长度趋于平稳后的最小数据规模(MSS)作为数据集规模，采用启发式搜索算法，增加每次保存的路径数，有效的降低搜索的空间复杂度，达到提升搜索效率的效果，生成因果网络群组；
步骤301，选定不同规模大小的数据集，观测其生成网络的平均马尔可夫毯长度，求得其能代表网络全局结构的最小规模，具体如下：
步骤3011，按照定长的数据规模增长划分出不同规模的数据集，通过贝叶斯网络生成算法得到不同数据规模下评分最高的因果网络；
步骤3012，提出最小数据规模(MSS)＝节点数(Nattr)*平均马尔可夫毯长度(AMBC)的公式，依照计算所述步骤3011网络结构中每个节点的父子节点和配偶节点的总数，求得A MBC，进而观测在不同数据规模下的AMBC，AMBC趋于平稳时获得MSS作为最终的数据规模；
步骤302，分析步骤301所得出的数据规模对应的数据集，改进单一的启发式搜索算法使得每次保存多条最优和次优路径，生成因果网络群组，大大减小网络搜索的空间复杂度，提高网络的搜索效率，具体方法如下：
步骤3021，抽样获取MSS大小的数据集，先利用单一的启发式搜索算法学习出一个基本的结构，在算法的每一次决策时不仅保留最优路径，同时保留几条次优路径作为下一次的搜索空间，使得即使本次决策如果不是最优，其决策也会在评分不低于设定值的几个网络中，剔除掉了评分低于设定值的网络，缩小搜索空间，提升了算法的效率，获得不同评分的多个网络。
步骤3022，将步骤3021中获得的多个网络结构按照其评分从高到低进行排序，选取多个网络将其按照评分分别逐一的加入到因果网络群组中；
步骤400，针对步骤300所得到的因果网络群组，本发明采用专家精确度评分算法筛选网络节点间的边，得到经过筛选的网络群组，通过集成学习使用Bagging投票机制综合生成最终因果网络，具体包括如下步骤：
步骤401，通过专家精确度评分算法，推断因果网络中节点间边的精确度，设定阈值后如果低于阈值则删除，保留精确度不低于所述阈值的边，具体方法如下：
步骤4011，分别统计在网络群组中相同节点在每个因果网络中的是否生成，采用专家精确度评分算法(Explict-Accuracy-Based Score)，确定所生成因果网络群组中每条边的准确度，得到所述因果网络的精确度矩阵，其过程如图6所示；
专家精确度评分的过程具体如下：
第一步，将步骤300生成的因果网络群组分为5个实验组，每组因果网络的边的方向作为行，每两个节点间边在不同网络结构中是否存在作为列，生成由步骤3022所得到的因果网络群组中边是否存在以及方向的矩阵；
第二步，将第一步得到的矩阵中每行所代表边的方向(正向或反向)作为隐变量，边的存在情况(有边或无边)作为显性变量，根据矩阵分布判别节点边在两个方向上存在边的最大概率；
第三步，定义正向有边的概率θa(0)为0.6，反向有边的概率θb(0)为0.5，通过第一步所得概率矩阵，计算每条边的正向期望和反向期望得出每条边正向和反向的概率分别为Pa(0)和Pb0)；
Figure BDA0002494715470000141
Figure BDA0002494715470000142
Figure BDA0002494715470000143
式中：N为每个小组的网络总数；a(为每个网络相同节点有边的个数(矩阵中标记为1)；Pa为正向有边的期望；Pb为反向有边的期望；
Figure BDA0002494715470000144
为本小组正向有边的概率；
Figure BDA0002494715470000145
为本小组反向有边的概率；
更新初始的正向边的概率
Figure BDA0002494715470000146
和反向边的概率
Figure BDA0002494715470000147
多次循环实验，直到正向有边概率
Figure BDA0002494715470000148
和反向有边概率
Figure BDA0002494715470000149
收敛，则最终正反向中较大的收敛值为该边的是否生成的精确度，获得各边精确度矩阵；
Figure BDA00024947154700001410
Figure BDA00024947154700001411
式中：1表示节点间有边；0表示节点间无边；n＝1,2，..5；i表示当前为第几组；
Figure BDA00024947154700001412
表示当前组此节点间有边的数目；
Figure BDA00024947154700001413
为当前组此节点间无边的数目；
Figure BDA00024947154700001414
为节点间正向有边的概率；
Figure BDA00024947154700001415
表示节点间反向有边的概率。
步骤4012，选取步骤300所得因果网络群组中评分靠前的5个网络，分别使用步骤4011中得到的精确度矩阵来判别，设定精确度确定的阈值，将所述5个网络与精确度矩阵进行相乘，得到的结果为网络群组中每个网络边的精确度，将精确度低于阈值的边进行剔除，保留精确度高于阈值的边，得到经过精确度筛选的多个网络；
步骤402，单一的网络生成算法具有局部最优解，在求得全局最优时往往具有局限性和缺陷性，将步骤4012中经过精确度筛选的多个网络利用集成学习的方法，降低生成网络局部最优性的局限；统计经过筛选所得到的网络每条边生成和未生成的结果；根据多个网络每条边的统计结果，将多网络融合成为最终因果网络，具体步骤如下：
第一步，清除网络中的双向边，遍历网络中的每条边，分别判断每条边的正向和反向的精确度，选取精确度不低于设定值的方向作为边的方向，剔除精度低于设定值的方向。
第二步，多网络融合，将第一步的多个网络利用Bagging投票机制，通过观测每条边生成和未生成的比例，选取比例较大的投票结果作为最终生成结果，其网络融合示意图如图7所示；
步骤500，基于步骤400所得因果网络为用户做出合理的学习路径规划，改善用户学习效果，具体步骤如下：
步骤501，由步骤400中所得到的因果网络分析出代表平台用户学习效果的网络节点变量，例如：Give-up等节点，将其找出的代表学习效果的网络节点作为结果变量；
步骤502，根据得出的结果变量，由果索因，寻找指向结果节点的原因节点(因果网络图中指向结果节点的父节点及其祖先节点)；通过原因节点和结果节点规划出影响用户学习效果的多条学习路径，进而借助改变路径上原因节点的行为，来提高用户在MOOC平台的学习效果。
通过以上步骤100到步骤400，得到基于MOOC用户数据的因果网络图。本发明所述的因果网络，可以基于MOOC学习平台，对用户学习行为、课程教学质量、学习效果三类变量，通过有向无环图来反映，步骤500中，借助因果自变量的选取、因果网络的判别和融合，通过网络图反映出用户行为、课程质量、学习效果之间的相互因果关系，为提升MOOC平台的课程教学质量以及改善用户学习效果起到强有力的作用。
本发明通过在分析MOOC用户学习日志数据集的基础上，构建了三类因果自变量；首先数据预处理利用用户倾向性匹配找出对照组-实验组，进而检验数据的平衡性来选取因果网络中的因果自变量，匹配前后特征的显著性结果如图8所示，P值代表显著性，小于5％代表此变量显著，大于5％代表不显著。U代表匹配前，M代表匹配后，可以观察到经过匹配后各变量的均有显著变为不显著，说明支持平衡性假设，通过匹配消除了原有数据的选择性差异，消除了对照实验的局限性。同时，解决了数据之中的选择性偏差问题与数据内生性问题。
本发明在搜索因果网络算法的基础上，改进了单一路径的启发式网络搜索模型。
首先，分别在不同规模下计算不同网络的平均马尔可夫毯长度(MSS)，观测不同网络下的平均马尔可夫毯长度是否趋于平稳，通过平稳时的数据规模作为最小数据规模；
其次，由于常规的启发式搜索具有高时间复杂度的弊端，本发明改进了常规的启发式搜索结构，每次在选取最优路径时不仅只保存评分最高的结构，还保存了次优的结构，使其在下次搜索不是最优路径时大大降低了搜索空间，提高了算法效率；
本发明算法和常规算法在MOOC用户学习日志数据集和Alarm数据集中的网络搜索效率比较如表2所示；本发明所述的多路径的启发式网络搜索模型算法在不同的数据集当中均取得了最高的效率，在Alarm数据集中多种K2算法的时间花费在9s左右，而本研究的模型算法时间在2s左右，节约了近75％的搜索时间；在MOOC用户学习日志数据集中多种K2算法的时间花费在7.6s左右，而本研究的模型算法时间在1.7s左右，节约了近75％的搜索时间。
本发明在因果网络生成方面采用了更为精确度更为准确的方法。
表2为常规算法在MOOC用户学习日志数据集和Alarm数据集中的网络搜索效率比较结果，
Figure BDA0002494715470000171
(1)新提出了专家精确度评分算法，验证所生成的因果网络，对网络中的每条边进行精确度评判。将边的方向作为隐变量，将是否存在边作为显性变量，通过5个实验组观测其最大似然估计参数收敛时的数值作为网络节点间边的精确度；(2)设定阈值，将精确度低于阈值的边剔除，保留高精确度的边；(3)由于单一的因果网络生成算法具有局部最优的局限性，造成生成因果网络与标准网络之间的汉明距离(SHD-多边、少边、反向边的总和)较高。本发明利用集成学习，通过Bagging投票机制根据前一步经过精确度筛选过的多个因果网络，针对多个因果网络中每两个节点间边的是否生成，将多数作为最后生成网络的结构，本算法与其他算法生成的因果网络较标准网络的汉明距离在MOOC用户学习日志数据集的结果如表3所示，本发明所述的专家精确度算法在不同的数据集当中生成的因果网络均取得了精确度最优的表现，在Alarm数据集中K2算法、MCMC算法、MA专家精确度算法所生成的网络与标准网络的汉明距离(SHD)分别为117、96、87，准确度分别为91.6％、93.0％、93.8％。在MOOC用户学习日志数据集中K2算法、MCMC算法、MA专家精确度算法所生成的网络与标准网络的汉明距离(SHD)分别为117、96、87，准确度分别为91.6％、93.0％、93.8％，MA算法生成的因果网络与标准网络的汉明距离如表3所示；
表3
Figure BDA0002494715470000172
本发明基于MOOC的用户学习日志数据集，不仅对于网络生成算法中低效率和低准确度的两个痛点进行改进优化，同时，通过生成基于MOOC平台的可视化因果网络图，如图9所示，可以有效地将用户学习行为、课程教学质量、用户学习效果紧密的联系起来，使其在智能导学和学习方法、课程推荐等方面有较高的研究价值，进一步在改善课程教学质量、提高学生学习效果起到了强有力的作用。
如图9所示，以Give-up节点为例，图中Give-up节点代表学生当前所学科目的课程完成度，与之相连的S-Problem节点代表用户是否经常讨论、Pre-Op节点代表用户的最早操作时间、End-Op节点代表用户的最晚操作时间、B-Page_Close节点代表用户是否经常关闭页面、S-Access节点代表用户是否经常访问其他附件资源。依据因果网络图，通过智能导学改变用户的操作行为讨论课程、访问资源、关闭学习页面或者用户的学习时间来影响用户是否完成这门课程的概率，将其作为用户学习效果评估指标之一，借助因果网络图有效的对用户做出智能导学与规划，通过影响学习效果的原因变量进而提升平台学习用户的课程完成度，达到改善平台用户学习质量的目的。

Claims (9)

1.基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，包括以下步骤：
步骤100，对MOOC用户学习日志数据去除异常值、补充缺失值并对连续数据进行离散化处理，得到处理后的数据集；
步骤200，从步骤100得到的数据集中筛选协变量，通过probit回归模型对筛选出的协变量进行倾向性匹配计算，通过检验所述协变量是否满足模型的平衡性，若满足则选取为因果自变量；
步骤300，基于步骤200所选取的因果自变量，依次在不同数据规模下通过贝叶斯网络生成算法得到网络群组，观测对于不同网络规模数据集获得因果网络的平均马尔可夫毯长度趋势，获取代表数据集整体特性最小数据集对应的规模，采用启发式搜索算法，增加每次保存的路径数，生成因果网络群组；
步骤400，针对步骤300所得到的因果网络群组，采用专家精确度评分算法筛选网络节点间的边，得到经过筛选的网络群组，通过集成学习使用Bagging投票机制综合生成最终因果网络；
步骤500，根据步骤400所得因果网络中节点的含义找出代表用户学习效果的结果变量节点；通过因果网络中边的指向，得出多个结果变量节点的父节点及祖先节点，将所述父节点及祖先节点作为原因变量节点，根据原因变量节点和结果变量节点对用户学习路径做出规划，改变用户的操作行为或者用户的学习时间来提高用户完成课程学习的概率。
2.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，步骤100具体包括以下步骤：
步骤101，对MOOC用户学习日志数据的用户操作行为、用户操作时间和所选课程属性分类，剔除异常值；
步骤102，通过对MOOC用户学习日志数据中匹配用户名和课程编号的匹配，得到用户行为以及课程数据；
步骤103，对MOOC用户学习日志数据的缺失值使用均值进行填充，对连续型数据进行离散化处理。
3.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，步骤200中，在经过步骤100处理后的MOOC用户学习日志数据集中依次选取任意变量作为控制变量，其余变量作为用户倾向性匹配的协变量；对协变量进行归一化处理；
步骤2011，基于步骤100得到的离散化MOOC用户学习日志数据集，先选中一个特征变量作为probit回归模型中的一个协变量，将其他变量作为待选协变量；
步骤2012，在probit回归模型的基础上分别估计待选协变量的极大似然值，选择其中最大的对数极大似然值对应的协变量，放入probit回归模型；
步骤2013，设定阈值，筛选出步骤2012中所得极大似然估计值对应的协变量作为选取好的协变量。
4.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，步骤200中，对筛选出的协变量进行用户倾向性匹配，并通过匹配完成的数据来验证倾向性匹配模型是否满足平衡性的假设，将满足假设的变量加入因果自变量集，具体如下：
步骤2021，选取所述协变量中的一个变量作为控制变量，其余协变量作为用户倾向性匹配的协变量几何，采用probit回归模型计算得出用户的倾向性评分，设定匹配规则得到试验组和对照组；
步骤2022，使用最邻近匹配法来对试验组和对照组进行1:1匹配，根据步骤2021所得到的每组不同的倾向性评分，找到得分差异最小的一组样本；
步骤2023，采用反事实推断模型，验证其步骤2022得到的匹配结果，得到当前控制变量对因变量的影响程度进而将其粗略当作其原因因子，将其选入因果自变量集中。
5.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，
步骤300中，获取代表数据集整体特性最小数据集对应的规模，具体如下：
步骤3011，按照定长的数据规模增长划分出不同规模的数据集，通过贝叶斯网络生成算法得到不同数据规模下评分最高的因果网络；
步骤3012，按照最小数据规模＝节点数*平均马尔可夫毯长度的计算式，依照计算所述步骤3011网络结构中每个节点的父子节点和配偶节点的总数，求得平均马尔可夫毯长度，进而观测在不同数据规模下的平均马尔可夫毯长度，平均马尔可夫毯长度趋于平稳时获得MSS作为最终的数据规模。
6.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，步骤300中，基于代表数据集整体特性的最小数据规模对应的数据集，采用启发式启发式搜索算法生成因果网络群组，具体如下：
步骤3021，抽样获取最小数据规模对应的数据集，先利用单一的启发式搜索算法学习出一个基本的结构，在算法的每一次决策时不仅保留最优路径，同时保留多条次优路径作为下一次的搜索空间，使得即使本次决策为最优或本次决策会在评分不低于设定值的几个网络中，剔除掉评分低于设定值的网络，获得不同评分的多个网络；
步骤3022，将步骤3021中获得的多个网络按照其评分从高到低进行排序，选取多个网络将其按照评分分别逐一的加入到因果网络群组中。
7.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，步骤400具体如下：
步骤4011，对于步骤300生成的因果网络群组，采用专家精确度评分算法筛选网络，获得网络中各边的精确度矩阵；
步骤4012，选取步骤300所得因果网络群组中评分靠前的5个网络，分别使用步骤4011中得到的精确度矩阵来判别，设定精确度确定的阈值，将所述5个网络与精确度矩阵进行相乘，得到的结果为网络群组中每个网络边的精确度，将精确度低于阈值的边进行剔除，保留精确度高于阈值的边，得到经过精确度筛选的多个网络。
8.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，将评估后的多个网络利用集成学习的方法，通过Bagging投票法融合成为最终的因果网络结构，具体如下：
步骤4021，统计不同网络中相同节点间边的生成、双向边未生成边的结果，清除网络中的双向边，遍历生成网络中的每条边，分别判断每条边的正向和反向的精确度，选取精确度高的作为边的方向，剔除低精度方向；
步骤4022，将步骤401所述多个网络利用Bagging投票机制通过观测每条边生成和未生成的比例，选取比例较大的投票结果作为最终生成结果，将网络群组中的多个因果网络融合为一个完整的因果网络结构。
9.根据权利要求1所述的基于MOOC日志数据中用户行为因果关系的学习效果优化方法，其特征在于，步骤400中，专家精确度评分算法的过程具体如下：
第一步，将因果网络群组分为若干实验组，每组因果网络的边的方向作为行，每两个节点间边在不同网络结构中是否存在作为列，生成由步骤3022所得到的因果网络群组中边是否存在以及方向的矩阵；
第二步，将第一步得到的矩阵中每行所代表边的方向作为隐变量，边的存在情况，即有边或无边，作为显性变量，根据矩阵分布判别节点边在两个方向上存在边的最大概率；
第三步，首先定义正向有边的概率θa(0)，反向有边的概率θb(0)，通过第一步所得边的概率矩阵计算每条边的正向期望和反向期望，得出每条边正向和反向的概率分别为PA(0)和PB(0)；
第四步，结合每个实验组的正反向概率情况和期望，更新第三步中初始的正向边的概率θa(0)和反向边的概率θb(0)，多次循环计算，直到正向有边概率θa(0)和反向有边概率θb(0)收敛，则最终正反向中较大的收敛值为该边是否生成的精确度，获得各边的精确度矩阵。
CN202010415168.4A 2020-05-15 2020-05-15 基于mooc日志数据中用户行为因果关系的学习效果优化方法 Active CN111723973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010415168.4A CN111723973B (zh) 2020-05-15 2020-05-15 基于mooc日志数据中用户行为因果关系的学习效果优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010415168.4A CN111723973B (zh) 2020-05-15 2020-05-15 基于mooc日志数据中用户行为因果关系的学习效果优化方法

Publications (2)

Publication Number Publication Date
CN111723973A true CN111723973A (zh) 2020-09-29
CN111723973B CN111723973B (zh) 2022-12-09

Family

ID=72564532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010415168.4A Active CN111723973B (zh) 2020-05-15 2020-05-15 基于mooc日志数据中用户行为因果关系的学习效果优化方法

Country Status (1)

Country Link
CN (1) CN111723973B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685674A (zh) * 2020-12-30 2021-04-20 百果园技术(新加坡)有限公司 一种影响用户留存的特征评估方法及装置
CN112988851A (zh) * 2021-04-27 2021-06-18 腾讯科技（深圳）有限公司 反事实预测模型数据处理方法、装置、设备及存储介质
WO2022166856A1 (en) * 2021-02-05 2022-08-11 R & B Technology Holding Co., Ltd Abnormality detection based on causal graphs representing causal relationships of abnormalities
CN114997761A (zh) * 2022-08-08 2022-09-02 山东钢铁股份有限公司 一种统计数据因果效应评估方法及系统
CN116662674A (zh) * 2023-07-28 2023-08-29 安徽省模式识别信息技术有限公司 一种基于高效马尔科夫毯学习机制的服务推荐方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103000A (zh) * 2016-02-23 2017-08-29 广州启法信息科技有限公司 一种基于关联规则与贝叶斯网络集成的推荐技术
CN108197424A (zh) * 2018-01-11 2018-06-22 西安交通大学 大规模网络教育中网络学习行为幂律分布概率建模方法
CN110866162A (zh) * 2019-10-10 2020-03-06 西安交通大学 一种基于mooc数据中辍学行为的因果关系挖掘方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103000A (zh) * 2016-02-23 2017-08-29 广州启法信息科技有限公司 一种基于关联规则与贝叶斯网络集成的推荐技术
CN108197424A (zh) * 2018-01-11 2018-06-22 西安交通大学 大规模网络教育中网络学习行为幂律分布概率建模方法
CN110866162A (zh) * 2019-10-10 2020-03-06 西安交通大学 一种基于mooc数据中辍学行为的因果关系挖掘方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何绯娟等: "MOOC学习行为数据中因果关系的挖掘方法", 《信息与电脑(理论版)》 *
蔡青松等: "基于评分函数的贝叶斯网络结构融合算法", 《计算机工程与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685674A (zh) * 2020-12-30 2021-04-20 百果园技术(新加坡)有限公司 一种影响用户留存的特征评估方法及装置
WO2022166856A1 (en) * 2021-02-05 2022-08-11 R & B Technology Holding Co., Ltd Abnormality detection based on causal graphs representing causal relationships of abnormalities
CN112988851A (zh) * 2021-04-27 2021-06-18 腾讯科技（深圳）有限公司 反事实预测模型数据处理方法、装置、设备及存储介质
CN112988851B (zh) * 2021-04-27 2021-07-27 腾讯科技（深圳）有限公司 反事实预测模型数据处理方法、装置、设备及存储介质
CN114997761A (zh) * 2022-08-08 2022-09-02 山东钢铁股份有限公司 一种统计数据因果效应评估方法及系统
CN116662674A (zh) * 2023-07-28 2023-08-29 安徽省模式识别信息技术有限公司 一种基于高效马尔科夫毯学习机制的服务推荐方法及系统
CN116662674B (zh) * 2023-07-28 2023-10-13 安徽省模式识别信息技术有限公司 一种基于高效马尔科夫毯学习机制的服务推荐方法及系统

Also Published As

Publication number Publication date
CN111723973B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN111723973B (zh) 基于mooc日志数据中用户行为因果关系的学习效果优化方法
CN110378818B (zh) 基于难度的个性化习题推荐方法、系统及介质
CN109919810B (zh) 在线学习系统中的学生建模与个性化课程推荐方法
CN106951471B (zh) 一种基于svm的标签发展趋势预测模型的构建方法
CN103544663A (zh) 网络公开课的推荐方法、系统和移动终端
CN102737120A (zh) 一种个性化网络学习资源推荐方法
CN111078873B (zh) 一种基于引文网络与科研合作网络的领域专家遴选方法
CN110880019A (zh) 通过无监督域适应训练目标域分类模型的方法
CN109492076B (zh) 一种基于网络的社区问答网站答案可信评估方法
US20220327398A1 (en) Technology maturity judgment method and system based on science and technology data
CN113851020A (zh) 一种基于知识图谱的自适应学习平台
CN105512465A (zh) 基于改进vikor法的云平台安全性量化评估方法
CN110659311A (zh) 题目推送方法、装置、电子设备及存储介质
CN112380429A (zh) 一种习题推荐方法及装置
CN115114421A (zh) 一种问答模型训练方法
CN110990662B (zh) 一种基于引文网络与科研合作网络的领域专家遴选方法
CN114969528A (zh) 基于能力评测的用户画像和学习路径推荐方法、装置及设备
CN106780258A (zh) 一种未成年人犯罪决策树的建立方法及装置
CN108875071A (zh) 一种基于多视角兴趣的学习资源推荐方法
Huiji Big Data-assisted recommendation of personalized learning resources and teaching decision support
Elwakil Knowledge discovery based simulation system in construction
Bu et al. Community-aware empathetic social choice for social network group decision making
CN109409642A (zh) 一种基于大数据的教学资源评级方法
Adeyemo et al. Mining students’ academic performance using decision tree algorithms
Liu et al. Survey of Computerized Adaptive Testing: A Machine Learning Perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant