CN110059716B - 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法 - Google Patents

一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法 Download PDF

Info

Publication number
CN110059716B
CN110059716B CN201910185497.1A CN201910185497A CN110059716B CN 110059716 B CN110059716 B CN 110059716B CN 201910185497 A CN201910185497 A CN 201910185497A CN 110059716 B CN110059716 B CN 110059716B
Authority
CN
China
Prior art keywords
time
vectors
lstm
network
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910185497.1A
Other languages
English (en)
Other versions
CN110059716A (zh
Inventor
张蕾
吴楠楠
孙霞
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN201910185497.1A priority Critical patent/CN110059716B/zh
Publication of CN110059716A publication Critical patent/CN110059716A/zh
Application granted granted Critical
Publication of CN110059716B publication Critical patent/CN110059716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了CNN‑LSTM‑SVM网络模型的构建及MOOC辍学预测方法：对待预测学生的原始在线学习记录处理，采用训练好的辍学预测的CNN‑LSTM‑SVM网络，得到待预测学生的辍学状态；还公开了基于MOOC辍学预测的CNN‑LSTM‑SVM网络的构建方法：通过对已知学生的原始在线学习行为记录进行处理，得到多个时间片矩阵，根据时间片矩阵进行网络训练，得到训练好的CNN‑LSTM网络；最终得到训练好的辍学预测的网络；本发明能够自动提取有效行为区域内的局部特征和区间内的序列特征，实现待预测学生是否辍学的预测，预测能力增强。

Description

一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法
技术领域
本发明属于在线教育辍学预测领域，具体涉及一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法。
背景技术
近年来，大规模开放在线课程(Massive Open Online Courses，简称MOOC)以其大规模、开放性、自主性、个性化等特点迅速风靡全球。虽然MOOC正在逐渐成为高等教育学习过程中不可或缺的一部分，但围绕MOOC目前尚未解决的主要问题之一——学生辍学问题仍有许多问题需要解决。与传统的面对面教学相比，MOOC由于缺乏约束和师生面对面的交流，辍学率较高，因此制定有效的预测方案可以预测学生何时辍学。
早期关于MOOC辍学预测的研究采用基于统计分析的方法，该方法只能采用简单的调查问卷以及简单分析的方法分析一些浅显的MOOC辍学现象，不能深层次的对辍学问题进行预测和分析，使得预测结果精度不佳；随着机器学习的兴起，促进了基于传统的机器学习算法在MOOC辍学预测任务上的应用，但在解决MOOC辍学问题时存在两个局限：第一、基于传统的机器学习方法主要集中在特征规则制定上，这部分工作可能需要大量的手动操作，需要人为的进行多种复杂的特征提取操作。当语言现象在文本中很多且非常复杂时，特征规则制定的过程变得非常困难。第二、传统的机器学习方法假设学生在不同时间步长内的辍学的可能性是独立的，这与实际场景中的情况不符，因为学生在某一时刻的状态会受到前一时刻状态的影响，使得预测结果精度不佳；近些年来，基于神经网络的方法在MOOC辍学预测方面存在自动化提取的特征利于分类的优点，但存在数据量大、训练慢、存储量大等问题，且该方法最后一层分类器的分类精度仍具有提升的空间。
发明内容
针对现有技术中存在预测结果精度欠佳的缺点，本申请的目的在于，提供了一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法。
为了实现上述目的，本发明采取以下技术方案予以实现：
一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，具体包括以下步骤：
步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；
步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；
步骤3、根据训练好的CNN-LSTM网络对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络，所述SVM表示支持向量机。
进一步的，步骤2中所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：
步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；
采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量；根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；
步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；
步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；
步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱。
进一步的，步骤2中所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：
步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；
采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量。
进一步的，所述步骤3的具体操作如下：
采用训练好的CNN-LSTM网络对得到的多个时间片矩阵进行处理，得到多个训练好的序列化特征向量，将得到的多个训练好的序列化特征向量输入到SVM分类器中，采用公式(4)计算得到SVM分类器的参数w和b，将得到的w和b作为SVM分类器中新的w和b值，得到新的SVM分类器；由得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；
Figure BDA0001992710060000041
其中，w表示SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；xi为第i个学生的序列化特征向量，yi表示第i学生辍学状态的真实值，yi∈{0,1}；i＝1,2,...，N，N为已知学生的数量，且N>0。
进一步的，所述步骤1的具体操作如下：
步骤1.1、采用one-hot编码对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；
步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；
步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。
一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，具体包括以下步骤：
步骤1、对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；
步骤2、采用训练好的辍学预测的CNN-LSTM-SVM网络对得到的多个时间片矩阵进行计算，得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态。
进一步的，步骤2具体包括以下步骤：
步骤2.1、将得到的多个时间片矩阵输入到训练好的辍学预测的CNN-LSTM-SVM网络中的CNN网络中，采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；
步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；
步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；
步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱。
步骤2.5、将得到的多个一维时间特征图谱输入到训练好的辍学预测的CNN-LSTM-SVM网络中的LSTM层网络中，采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到序列化特征向量；
步骤2.6、将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中的SVM分类器中，采用公式(5)得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；
当待预测学生辍学的标签值为正数时，表示待预测学生辍学；
当待预测学生辍学的标签值为负数时，表示待预测学生未辍学；
f(x)＝wTx+b (5)
其中，x为得到的序列化特征向量；w为SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；f(x)表示待预测学生辍学的标签值，且f(x)∈R。
进一步的，步骤1中具体包括以下步骤：
步骤1.1、采用one-hot编码对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；
步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；
步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。
与现有的技术相比，本发明的有益效果如下：
1、本发明提供的一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，针对已知学生的原始行为记录进行处理，得到多个时间片矩阵，并针对多个时间片矩阵对辍学预测的CNN-LSTM-SVM网络进行训练，得到训练好的辍学预测的CNN-LSTM-SVM网络；通过构建CNN-LSTM-SVM网络模型，卷积神经网络增加了卷积层的数量、池化层；长短期记忆网络增加了相应的隐层节点数，有效避免了因隐层节点数太少，网络可能根本不能训练或网络性能很差；或隐层节点数太多时使网络训练时间延长的问题，同时避免出现过拟合现象；支持向量机考虑到类别不均衡对分类的影响，对不同类别设置相应的权重，有效地解决了多数类对分类结果的干扰，能够实现待测学生是否辍学的预测，预测能力增强，从而准确预测不同时期学生的辍学率；
2、本发明提供的一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，通过训练好的辍学预测的CNN-LSTM-SVM网络，能够自动提取有效的行为区域内的局部特征和区域间的序列特征，并利用支持向量机增强预测效果，提高了辍学预测的准确率。
附图说明
图1为本发明的流程图；
图2为one-hot编码规则结构示意图；
图3为one-hot编码规则的具体实例图；
图4为基于MOOC辍学预测的CNN-LSTM-SVM网络的结构示意图；
图5是基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法与基于传统机器学习的预测方法的实验结果对比图；
图6是基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法与基于神经网络的预测方法的实验结果对比图；
以下结合附图和具体实施方式对本发明的内容作进一步详细解释说明。
具体实施方式
如图1-4所示，本发明提供了一种基于MOOC辍学预测的CNN-LSTM-SVM网络模型的构建方法，具体包括以下步骤：
步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；
步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；
步骤3、根据训练好的CNN-LSTM网络，对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；
所述CNN网络表示卷积神经网络；所述LSTM层网络表示长短期记忆层网络，SVM表示支持向量机；
本发明针对已知学生的原始行为记录进行处理，得到多个时间片矩阵，并针对多个时间片矩阵对CNN-LSTM-SVM网络进行训练，得到训练好的CNN-LSTM-SVM网络；通过构建的CNN-LSTM-SVM网络，卷积神经网络增加了卷积层的数量、池化层；长短期记忆网络增加了相应的隐层节点数；支持向量机考虑到类别不均衡对分类的影响，对不同类别设置相应的权重，有效地解决了多数类对分类结果的干扰，能够实现待测学生是否辍学的预测，且预测能力增强，从而准确预测不同时期学生的辍学率。
具体的，步骤1的具体操作如下：
步骤1.1、采用one-hot编码对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；
其中原始在线学习行为记录是学生参加在线课程后的记录行为，具体包括2个数据来源：浏览器(browser)或服务器(server)、7个行为事件：完成课后作业(problem)、观看课程视频(video)、访问课程内容(access)、访问课程的维基百科(wiki)、参与课程论坛讨论(discussion)、访问课程其他部分(navigate)以及关闭网页(page_close)以及具体参与的课程编号(39门课程)。
步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；
步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵，并对多个时间片矩阵进行标号，记为X＝(X1,X2,...,XT)；多个时间片矩阵对应的标签值序列为y＝(y1,y2,...，yT)；
其中,T表示时间片的个数，且T>0；多个时间片矩阵的大小均为U×L，其中U为时间单元的个数，L为行为记录的长度，U>0，L>0；
该方式中，从在线教育平台收集学生在某门课程上的行为记录数据，由于数据集中的原始活动记录采用原始文本格式，不能直接用作辍学预测的CNN-LSTM网络的输入。要使用这些数据，需要将它们转换为可由辍学预测的CNN-LSTM网络处理的格式，因此需要采用one-hot编码对原始行为记录进行矢量化处理；由于原始在线学习行为记录是按时间顺序排列的结构化日志，由不同的属性组成。如果直接使用在每个时间点上的原始矢量作为输入，则输入尺寸将非常大；通过对编码后的学习行为记录按照时间点(秒)、时间单元(小时)、时间片(天)进行划分，并进行列向量相加的操作，能够有效减少输入到辍学预测深度网络的数据尺寸，减少数据稀疏性对辍学预测的CNN-LSTM网络的影响。
具体的，步骤2中所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：
步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；
采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；
步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；
步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；
步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；
所述的ReLU激活函数为：
Figure BDA0001992710060000121
其中,
Figure BDA0001992710060000122
表示第m层卷积层第t个时间片的第fm个映射特征矩阵，Q(m)表示m层中映射特征矩阵的个数，T表示时间片的数量。/>
Figure BDA0001992710060000123
是从m-1层的第fm-1个映射特征矩阵获得的在第m层产生第fm个映射特征矩阵，其大小为多个时间片卷积计算层特征向量的大小；/>
Figure BDA0001992710060000124
是第m层第fm个映射特征矩阵的偏置值，且/>
Figure BDA0001992710060000125
/>
为了防止CNN网络与LSTM层网络过度拟合；在第二层卷积层后加入Dropout层，Dropout层用于随机提取部分神经元作为训练输入。
本发明采用的数据相对于传统的方法数据量比较大，但相对于隐藏层比较多的深度神经网络，本发明提出的模型的数据量还是比较小的，综合两种情况，在卷积层数比较少的情况下，本发明提出的网络模型可以得到很好的预测效果。本发明采用最大池化操作，能够有效减小卷积层参数误差造成估计均值的偏移，保留更多的纹理信息；池化层主要是加快神经网络的训练速度。
具体的，步骤2中所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：
步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；
采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量。
在LSTM层网络中，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另一方面，训练容易陷入局部极小点而得不到最优点，也是训练时出现“过拟合”的内在原因。因此，综合考虑网络结构复杂程度和误差大小的情况下，长短期记忆网络增加了合理隐层节点数。
具体的，步骤2中所述采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络的具体包括以下步骤：
步骤2.6、根据得到的多个序列化特征向量，采用公式(2)Sigmoid激活函数计算已知学生辍学的预测概率：
Figure BDA0001992710060000141
其中，w是Sigmoid激活函数的权重向量，且||w||∈R，b是Sigmoid激活函数的偏置值，且b∈R；si是得到的第i学生的序列化特征向量，||si||∈R；
Figure BDA0001992710060000142
表示第i学生辍学的预测概率，且/>
Figure BDA0001992710060000143
步骤2.7、根据得到已知学生辍学的预测概率，采用公式(3)即交叉熵损失函数计算得到CNN-LSTM网络的损失值；
Figure BDA0001992710060000144
其中，N表示已知学生的数量，且N>0；yi表示第i学生辍学状态的真实值，yi∈{0,1}；
Figure BDA0001992710060000145
表示第i学生辍学的预测概率，且/>
Figure BDA0001992710060000146
loss表示损失值，且loss∈R；/>
步骤2.8、根据得到的CNN-LSTM网络的损失值，采用随机梯度下降法对CNN-LSTM网络进行调整，得到新的CNN-LSTM网络；将新的CNN-LSTM网络作为CNN-LSTM网络中，重复执行与步骤2-3的操作多次，得到多个CNN-LSTM网络的损失值和新的CNN-LSTM网络，直至得到的多个CNN-LSTM网络的损失值收敛时操作结束；将得到新的CNN-LSTM网络作为训练好的CNN-LSTM网络。
该方式中通过对CNN-LSTM网络进行训练，能够增加学生辍学的预测能力。
具体的，步骤3的具体操作如下：
采用训练好的CNN-LSTM网络对得到的多个时间片矩阵进行处理，得到多个训练好的序列化特征向量，将得到的多个训练好的序列化特征向量输入到SVM分类器中，采用公式(4)计算得到SVM分类器的参数w和b，将得到的w和b作为SVM分类器中新的w和b值，得到新的SVM分类器；由得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；
Figure BDA0001992710060000151
其中，w表示SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；xi为第i个学生的序列化特征向量，yi表示第i学生辍学状态的真实值，yi∈{0,1}；i＝1,2,...，N，N为已知学生的数量，且N>0。
该方式中在使用SVM分类器时，考虑到类别不平衡对预测结果的影响，相应类别的权重被添加到SVM分类器中，得到新的SVM分类器，能够提高预测不同时期学生的辍学率；与训练好的CNN-LSTM网络组合得到训练好的辍学预测的CNN-LSTM-SVM网络；使学生的辍学预测准确度更高。
本发明还提出了一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，具体包括以下步骤：
步骤1、对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；
步骤2、采用训练好的辍学预测的CNN-LSTM-SVM网络对得到的多个时间片矩阵进行计算，得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态。
本发明通过训练好的辍学预测的CNN-LSTM-SVM网络，能够自动提取有效的行为区域内的局部特征和区域间的序列特征，并利用支持向量机增强预测效果，提高了待预测学生辍学预测的准确率；
具体的，步骤1的具体操作如下：
步骤1.1、采用one-hot编码对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；
步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；
步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵，并对多个时间片矩阵进行标号，记为X＝(X1,X2,...,XT)；多个时间片矩阵对应的标签序列为y＝(y1,y2,...，yT)；
其中，T表示时间片的个数，且T>0；多个时间片矩阵的大小均为U×L，其中U为时间单元的个数，L为行为记录的长度，U>0，L>0。
本发明以原始学习行为记录文本作为输入，无需人工干预和特定领域知识，避免了复杂特征的提取过程，泛化能力强。
具体的，步骤2具体包括以下步骤：
步骤2.1、将得到的多个时间片矩阵输入到训练好的辍学预测的CNN-LSTM-SVM网络中的CNN网络中，采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；
步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；
步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；
步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；
所述的ReLU激活函数为：
Figure BDA0001992710060000171
其中,
Figure BDA0001992710060000172
表示第m层卷积层第t个时间片的第fm个映射特征矩阵，Q(m)表示m层中映射特征矩阵的个数，T表示时间片的数量。/>
Figure BDA0001992710060000181
是从m-1层的第fm-1个映射特征矩阵获得的在第m层产生第fm个映射特征矩阵，其大小为多个时间片卷积计算层特征向量的大小；/>
Figure BDA0001992710060000182
是第m层第fm个映射特征矩阵的偏置值，且/>
Figure BDA0001992710060000183
在第二层卷积层后加入Dropout层，Dropout层用于随机提取部分神经元作为训练输入，防止CNN网络与LSTM层网络过度拟合；
步骤2.5、将得到的多个一维时间特征图谱输入到训练好的辍学预测的CNN-LSTM-SVM网络中的LSTM层网络中，采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到序列化特征向量；
步骤2.6、将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中的SVM分类器中，采用公式(5)得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；
当待预测学生辍学的标签值为正数时，表示待预测学生辍学；当待预测学生辍学的标签值为负数时，表示待预测学生未辍学；
f(x)＝wTx+b (5)
其中，x为得到的序列化特征向量；w为SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；f(x)表示待预测学生辍学的标签值，且f(x)∈R。
该方式中采用最大池化操作，能够有效减小卷积层参数误差造成估计均值的偏移，保留更多的纹理信息；池化层主要是加快神经网络的训练速度；采用LSTM层网络，能够得到序列化特征向量，并采用SVM分类器，有效解决类别不平衡对预测结果的影响，相应类别的权重被添加到SVM中，能够准确的预测不同时期学生的辍学率。
实施例
为了验证本发明的有效性，选取来源于KDD Cup 2015年的公开数据集，选取的数据集共包括120542个学生的原始在线学习行为记录，其中80％的学生的原始在线学习行为记录作为训练集数据，20％的学生的原始在线学习行为记录作为测试集数据；设置卷积核大小为1*5，Dropout值为0.5，池化大小设为1*2，学习率为1e×5；
具体操作如下：
步骤1、对收集的已知学生在在线教育平台上的原始在线学习行为记录(训练集数据及测试集数据)进行预处理，得到编码后的学习行为记录；对得到的编码后的学习行为记录按照时间进行划分，得到多个时间片矩阵(训练集数据的多个时间片矩阵及测试集数据的多个时间片矩阵)；
步骤2、采用CNN网络对得到的训练集数据的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；由所述CNN网络与LSTM层网络构成得到CNN-LSTM网络，
步骤3、根据得到的多个序列化特征向量，得到CNN-LSTM网络的损失值和新的CNN-LSTM网络；将新的CNN-LSTM网络作为CNN-LSTM网络，重复执行步骤2-3的操作10次，得到10个CNN-LSTM网络的损失值和新的CNN-LSTM网络，直至得到的10个CNN-LSTM网络的损失值收敛时操作结束；将得到新的CNN-LSTM网络作为训练好的的CNN-LSTM网络；
步骤4、根据训练好的CNN-LSTM网络，对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；
步骤5、采用训练好的辍学预测的CNN-LSTM-SVM网络中训练好的CNN-LSTM网络对测试集数据的多个时间片矩阵进行处理，得到序列化特征向量；将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中新的SVM分类器中，计算得到学生辍学的标签值；当学生辍学的标签值为正数时，表示学生辍学；当学生辍学的标签值为负数时，表示学生未辍学。
为了验证本发明在自动特征选取的效果，选取的8种基于传统机器学习的方法与本发明进行对比，这8种方法分别为：线性支持向量机、带有高斯核的支持向量机、逻辑回归算法、决策树算法、Adaboost算法、梯度提升决策树算法、随机森林算法以及高斯朴素贝叶斯算法；实验采用了精准率、召回率、F1值和AUC四个指标作为评价准则，得到如图5所示的结果对比图；图5中横坐标表示采用的方法，纵坐标表示4个评价指标的值，通过对比，本发明在进行自动特征提取时，在精准率、召回率、F1值和AUC四个指标上分别提升了6.96％、6.28％、4.29％和14.15％，能够有效证明了本发明提出的辍学预测深度网络自动特征选取的有效性，及在辍学预测问题上具有较高的准确性。
为验证本发明提出的辍学预测的CNN-LSTM-SVM网络的性能，选取了3种基于神经网络的方法进行对比，3种方法分别为：长短期记忆网络模型、基于卷积神经网络的循环神经网络模型、基于卷积神经网络长短期记忆网络模型，实验采取了精准率、召回率、F1值和AUC四个指标作为评价准则，得到了如图6所示的结果对比图，图6中横坐标表示采用的方法，纵坐标表示4个评价指标的值，通过对比，相比于其他基于神经网络的方法，本发明提出的辍学预测深度网络模型在精准率、召回率、F1值和AUC四个指标上分别提升了5.72％、2.97％、3.68％和6.73％。在各个指标上均表现出良好的预测性能，也说明了在增加一层SVM强分类器进行预测后，辍学预测的性能得以有效的提升。

Claims (5)

1.一种基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，具体包括以下步骤：
步骤1、对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；
其特征在于，还包括：
步骤2、采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱；采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量；采用交叉熵损失函数对得到的多个序列化特征向量进行计算，得到CNN-LSTM网络的损失值；将CNN-LSTM网络的损失值输入到CNN-LSTM网络中，采用随机梯度下降算法对CNN-LSTM网络进行训练，得到训练好的CNN-LSTM网络；
所述采用CNN网络对得到的多个时间片矩阵进行处理，得到多个一维时间特征图谱的具体操作如下：
步骤2.1、将得到的多个时间片矩阵输入到CNN网络中，所述CNN网络包括第一个卷积层、第二个卷积层、最大池化层和展平层；
采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量；根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；
步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；
步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；
步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；
所述采用LSTM层网络对得到的多个一维时间特征图谱进行处理，得到多个序列化特征向量的具体操作如下：
步骤2.5、将得到的多个一维时间特征图谱输入到LSTM层网络中，所述LSTM层网络包括神经元个数为128个的全连接层、隐藏层节点数为128的LSTM层和神经元个数为2的全连接层；
采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到多个序列化特征向量；
步骤3、根据训练好的CNN-LSTM网络对SVM分类器进行更新，得到新的SVM分类器；根据得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络，所述SVM表示支持向量机。
2.如权利要求1所述的基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，其特征在于，所述步骤3的具体操作如下：
采用训练好的CNN-LSTM网络对得到的多个时间片矩阵进行处理，得到多个训练好的序列化特征向量，将得到的多个训练好的序列化特征向量输入到SVM分类器中，采用公式(4)计算得到SVM分类器的参数w和b，将得到的w和b作为SVM分类器中新的w和b值，得到新的SVM分类器；由得到的训练好的CNN-LSTM网络和新的SVM分类器，构成得到训练好的辍学预测的CNN-LSTM-SVM网络；
Figure FDA0003959022590000031
其中，w表示SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；xi为第i个学生的序列化特征向量，yi表示第i学生辍学状态的真实值，yi∈{0,1}；i＝1,2,…，N，N为已知学生的数量，且N>0。
3.如权利要求1所述的基于MOOC辍学预测的CNN-LSTM-SVM网络的构建方法，其特征在于，所述步骤1的具体操作如下：
步骤1.1、采用one-hot编码对收集的多个已知学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；
步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；
步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。
4.一种基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，具体包括以下步骤：
步骤1、对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行处理，得到多个时间片矩阵；
其特征在于，还包括以下步骤：
步骤2、采用训练好的辍学预测的CNN-LSTM-SVM网络对得到的多个时间片矩阵进行计算，得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；具体包括以下步骤：
步骤2.1、将得到的多个时间片矩阵输入到训练好的辍学预测的CNN-LSTM-SVM网络中的CNN网络中，采用第一个卷积层对得到的多个时间片矩阵进行卷积操作，得到多个时间片第一卷积计算层特征向量，根据多个时间片第一卷积计算层特征向量，采用ReLU激活函数，得到多个时间片第一次映射特征矩阵；
步骤2.2、采用第二个卷积层对得到的多个时间片第一次映射特征矩阵进行卷积操作，得到多个时间片第二卷积计算层特征向量；并根据多个时间片第二卷积计算层特征向量，采用ReLU激活函数得到多个时间片第二次映射特征矩阵；
步骤2.3、采用最大池化层对得到的多个时间片第二次映射特征矩阵进行最大池化操作，得到多个时间片特征图谱；
步骤2.4、采用展平层对得到的多个时间片特征图谱进行拉伸操作，得到多个一维时间特征图谱；
步骤2.5、将得到的多个一维时间特征图谱输入到训练好的辍学预测的CNN-LSTM-SVM网络中的LSTM层网络中，采用神经元个数为128个的全连接层对得到的多个一维时间特征图谱进行全连接操作，得到多个时间矢量；采用隐藏层节点数为128的LSTM层对得到的多个时间矢量进行处理，得到多个时间序列矢量；将得到的多个时间序列矢量输入到神经元个数为2的全连接层中进行全连接操作，得到序列化特征向量；
步骤2.6、将得到的序列化特征向量输入到训练好的辍学预测的CNN-LSTM-SVM网络中的SVM分类器中，采用公式(5)得到待预测学生辍学的标签值；根据待预测学生辍学的标签值，判断得到待预测学生是否辍学的预测状态；
当待预测学生辍学的标签值为正数时，表示待预测学生辍学；
当待预测学生辍学的标签值为负数时，表示待预测学生未辍学；
f(x)＝wTx+b (5)
其中，x为得到的序列化特征向量；w为SVM分类器中分类超平面的权重向量，且||w||∈R，wT表示SVM分类器中分类超平面的权重向量的转置；b为常数项，且b∈R；f(x)表示待预测学生辍学的标签值，且f(x)∈R。
5.如权利要求4所述的基于CNN-LSTM-SVM网络模型的MOOC辍学预测方法，其特征在于，所述步骤1中具体包括以下步骤：
步骤1.1、采用one-hot编码对收集的待预测学生在在线教育平台上的原始在线学习行为记录进行编码，得到编码后的学习行为记录；
步骤1.2、将编码后的学习行为记录按照以时间点为秒进行划分，并对编码后的学习行为记录中时间点无记录的学习行为记录填充零向量，得到多个时间点学习向量；对多个时间点学习向量按照以时间单元为小时进行划分，得到多个时间单元对应的时间点学习向量，并将多个时间单元对应的时间点学习向量中每个时间单元对应的时间点学习向量的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间单元学习向量，得到多个时间单元学习向量；
步骤1.3、将得到的多个时间单元学习向量按照以时间片为天进行划分，得到多个时间片对应的时间单元学习向量；将得到多个时间片对应的时间单元学习向量中的时间单元向量分别依次从上至下放置，得到多个时间片记录矩阵，并分别将所述多个时间片记录矩阵中每个时间片矩阵的各对应列的列向量分别相加，作为新的各对应列的列向量，由新的各对应列的列向量构成时间片矩阵，得到多个时间片矩阵。
CN201910185497.1A 2019-03-12 2019-03-12 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法 Active CN110059716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910185497.1A CN110059716B (zh) 2019-03-12 2019-03-12 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910185497.1A CN110059716B (zh) 2019-03-12 2019-03-12 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法

Publications (2)

Publication Number Publication Date
CN110059716A CN110059716A (zh) 2019-07-26
CN110059716B true CN110059716B (zh) 2023-06-02

Family

ID=67316777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910185497.1A Active CN110059716B (zh) 2019-03-12 2019-03-12 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法

Country Status (1)

Country Link
CN (1) CN110059716B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291940B (zh) * 2020-03-02 2022-06-07 桂林电子科技大学 一种基于Attention深度学习模型的学生辍课预测方法
CN111898810B (zh) * 2020-07-16 2021-06-01 上海松鼠课堂人工智能科技有限公司 基于师生交流用户流失预测系统
CN111880983B (zh) * 2020-08-04 2021-12-14 北京天融信网络安全技术有限公司 一种can总线异常检测方法及装置
CN112116137A (zh) * 2020-09-06 2020-12-22 桂林电子科技大学 一种基于混合深度神经网络的学生辍课预测方法
CN112734105B (zh) * 2021-01-08 2022-06-28 浙江工业大学 一种预防在线教育中辍学行为的方法
CN113128611B (zh) * 2021-04-27 2023-06-06 陕西师范大学 基于深度学习学生在线学习效率预测的模型检测方法
CN114358135B (zh) * 2021-12-10 2024-02-09 西北大学 一种利用数据增强和特征加权实现的mooc辍学预测方法
CN117034127B (zh) * 2023-10-10 2023-12-08 广东电网有限责任公司 一种基于大数据的电网设备监测预警方法、系统和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318253A (zh) * 2014-11-11 2015-01-28 东南大学 Mooc在线学习模式识别系统及方法
CN107609634A (zh) * 2017-08-21 2018-01-19 哈尔滨工程大学 一种基于增强极速学习的卷积神经网络训练方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018018354A (ja) * 2016-07-28 2018-02-01 高砂香料工業株式会社 ディープラーニングを用いた飲食品の品質予測方法及び飲食品
JP6623186B2 (ja) * 2017-02-28 2019-12-18 株式会社エヌ・ティ・ティ・データ コンテンツ評価予測システム及びコンテンツ評価予測方法
CN107180284A (zh) * 2017-07-07 2017-09-19 北京航空航天大学 一种基于学习行为特征的spoc学生每周表现预测方法及装置
CN108009674A (zh) * 2017-11-27 2018-05-08 上海师范大学 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN109272164B (zh) * 2018-09-29 2021-09-28 清华大学深圳研究生院 学习行为动态预测方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318253A (zh) * 2014-11-11 2015-01-28 东南大学 Mooc在线学习模式识别系统及方法
CN107609634A (zh) * 2017-08-21 2018-01-19 哈尔滨工程大学 一种基于增强极速学习的卷积神经网络训练方法

Also Published As

Publication number Publication date
CN110059716A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110059716B (zh) 一种cnn-lstm-svm网络模型的构建及mooc辍学预测方法
CN107480261B (zh) 一种基于深度学习细粒度人脸图像快速检索方法
CN106326984A (zh) 用户意图识别方法和装置、自动应答系统
CN109002492B (zh) 一种基于LightGBM的绩点预测方法
CN111652291A (zh) 一种基于组稀疏融合医院大数据建立学生成长画像的方法
CN110188654A (zh) 一种基于移动未裁剪网络的视频行为识别方法
Intisar et al. Classification of online judge programmers based on rule extraction from self organizing feature map
CN109740012B (zh) 基于深度神经网络对图像语义进行理解和问答的方法
Mourdı et al. A machine learning based approach to enhance MOOC users’ classification
CN106997484A (zh) 一种优化用户信用模型建模过程的方法及装置
CN114758180B (zh) 一种基于知识蒸馏的轻量化花卉识别方法
CN110222838A (zh) 深度神经网络及其训练方法、装置、电子设备及存储介质
Du et al. Efficient network construction through structural plasticity
CN110188978B (zh) 一种基于深度学习的大学生专业推荐方法
CN113591988B (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
Hagedoorn et al. Massive open online courses temporal profiling for dropout prediction
CN112651499A (zh) 一种基于蚁群优化算法和层间信息的结构化模型剪枝方法
Wang et al. Deep attentive model for knowledge tracing
CN111881282A (zh) 回答者推荐模型的训练方法、推荐方法及电子设备
Cai et al. Prediction of MOOCs dropout based on WCLSRT model
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
Liu et al. The Design of a Moral Education Evaluation System for College Students Based on a Deep Learning Model
Kumar et al. Ensemble deep learning network model for dropout prediction in MOOCs
CN114723998A (zh) 基于大边界贝叶斯原型学习的小样本图像分类方法及装置
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant