CN110852390A - 一种基于校园行为序列的学生成绩分类预测方法及系统 - Google Patents
一种基于校园行为序列的学生成绩分类预测方法及系统 Download PDFInfo
- Publication number
- CN110852390A CN110852390A CN201911106292.6A CN201911106292A CN110852390A CN 110852390 A CN110852390 A CN 110852390A CN 201911106292 A CN201911106292 A CN 201911106292A CN 110852390 A CN110852390 A CN 110852390A
- Authority
- CN
- China
- Prior art keywords
- student
- behavior
- sequence
- attention
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000007635 classification algorithm Methods 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims description 174
- 230000006870 function Effects 0.000 claims description 19
- 230000003542 behavioural effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 description 35
- 230000000694 effects Effects 0.000 description 11
- 238000007418 data mining Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000007786 learning performance Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000003442 weekly effect Effects 0.000 description 3
- 241000288105 Grus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了一种基于校园行为序列的学生成绩分类预测方法及系统,将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。通过建立学生短期行为序列的预测模型,深度学习学生行为序列的不确定性和捕获主要意图,及时准确的预测学生成绩。
Description
技术领域
本公开涉及大数据分析挖掘技术领域,具体涉及一种基于校园行为序列的学生成绩分类预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
随着高校信息管理系统(如学生卡系统)的发展,使我们收集和分析学生的行为数据变得方便和容易,这是了解学生在校学习和生活习惯的重要途径之一。例如,想要获得GPA高分的学生可能拥有非常规律的生活(例如在特定时间去图书馆),因为他/她需要努力学习所选的课程。学生的行为告诉我们他们是否打算花更多的时间在学习上。在此基础上,我们有动机从学生的校园行为中来开发学生的绩效预测方法。预测表现任务更加关注可能表现不佳的学生,其目的是让教育工作者获得早期反馈,并立即采取行动以期提高学生的成绩。
目前已有多种预测方法,如统计分析、数据挖掘和问卷调查,根据行为数据预测学生的表现。例如,Cao等人通过定量分析校园行为数据,证明了学生的生活规律性和有序性在预测学业成绩方面起着重要作用。Fei等人提出了一个时间模型,根据MOOC平台的历史行为数据制定活动序列去预测处于学习危机中的学生的成绩。在另一项研究中,Romero等人根据在线论坛中的讨论行为,使用不同的数据挖掘方法来预测学生的最终表现。尽管这些现有方法在预测学生表现方面取得了巨大的成功,但它们仍然存在以下局限性:(1)这些方法主要集中于从预先存储的数据中手动提取统计特征,导致在预测学生成绩和发掘学生问题方面存在滞后现象。(2)由于这些手动提取的特征的表示能力有限,因此,它们只能浅显地理解学生的行为。
发明内容
为了解决上述问题,本公开提出了一种基于校园行为序列的学生成绩分类预测方法及系统,基本序列编码器是对整个学生每周产生的行为进行总结,基于注意力的序列编码器可以自适应的选择相关的行为来捕捉学生的主要意图,关注学生最近所做的动作。使用顺序行为的表示和先前的隐藏状态来计算每个发生的行为的注意力权重,然后将序列行为特征与学生的主要意图特征相结合,从学生行为中学习深度周期性的序列特征,捕获主要的或相关的行为意图来进行学生成绩预测。
为了实现上述目的,本公开采用如下技术方案:
第一方面,本公开提供一种基于校园行为序列的学生成绩分类预测方法,包括:
将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;
采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;
将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。
本公开提出一种两阶段分类器SPC,由基于注意力机制的HRNN和经典的SVM分类方法组成,将学生的成绩预测任务视为一个短期序列建模问题。其中,基本序列编码器能够有效的整合输入序列行为信息,而基于注意力的序列编码器能够自适应地捕捉学生的主要意图。有效的表示了学生行为的深度信息,建立了学生短期行为序列的预测模型。
作为可能的一些实现方式,所述基本序列编码器中,根据历史行为隐藏表示,建立其与当前行为隐藏表示的线性变换,在历史行为隐藏表示和当前行为隐藏表示之间进行线性插值,得到基本学生行为序列特征。
作为可能的一些实现方式,所述基于注意力的序列编码器中,将注意力机制函数作为加权因子,对隐藏表示进行加权求和,得到基于注意力的学生行为序列特征。
作为可能的一些实现方式,所述序列特征生成器模型为,对基本学生行为序列特征和基于注意力的学生行为序列特征的统一表示;
所述基本序列编码器的最后一个隐藏状态负责对整个序列行为进行编码,所述基于注意力的序列编码器负责用于计算前一个隐藏状态的注意力权值。
作为可能的一些实现方式,所述分类算法采用SVM分类器,将学生行为训练样本由非线性映射方式映射到高维特征空间,将输入空间中的非线性分类问题转换为特征空间中的线性分类问题,
利用高维空间内积所对应的核函数,使线性分类器隐式地建立高维空间的分类平面。
第二方面,本公开提供一种基于校园行为序列的学生成绩分类预测系统,包括:
编码模块,其用于将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;
解码模块,其用于采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;
分类预测模块,其用于将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。
第三方面,本公开提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现一种基于校园行为序列的学生成绩分类预测方法所述的步骤。
第四方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现一种基于校园行为序列的学生成绩分类预测方法所述的步骤。
与现有技术相比,本公开的有益效果为:
基于序列的表现分类器可以学习学生行为之间的相关关系,并确定哪些序列行为特征应该被强调或忽略,可以深层次地表示行为特征以及更有效的实现成绩分类任务。
支持向量机通过构造多个分类器的组合来解决多分类问题,将基于注意力的HRNN与SVM相结合,可以很好地对学生的序列行为进行建模并有效地进行分类。
两阶段分类器SPC由基于注意力机制的HRNN和经典的SVM分类方法组成,将学生的成绩预测任务视为一个短期序列建模问题。其中,基本序列编码器能够有效的整合输入序列行为信息,而基于注意力的序列编码器能够自适应地捕捉学生的主要意图。通过建立学生短期行为序列的预测模型,有效的表示了学生行为的深度信息,深度学习学生行为序列的不确定性和捕获主要意图,及时准确的预测学生成绩。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1是基于校园行为序列的学生成绩分类预测方法流程示意图;
图2是实施例中SPC模型数据流框架示意图;
图3是实施例中SPC模型结构示意图。
具体实施方式:
下面结合附图与实施例对本公开做进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
及时预测学生的学习表现有助于教育管理人员(例如老师)发现学生的问题,从而调整他们的教学方法或教育政策。假设一个学生是刚从高中毕业的新生。因为他/她在高中继续保持他/她的学习习惯,因此他/她在第一学期可能会更加努力地学习。但是从第二学期开始,他/她可能会受到其他大学活动(例如社团活动和班级活动)的干扰或分心,或者他/她也可能会受到自己日益懒惰习惯的影响。如果我们只能在本学期结束的时候发现这个学生的问题,他/她将会错过很多课程。探索及时的预测方法有助于避免这些情况的发生。为了实现这一目标,我们将学生成绩预测的问题描述为一个考虑学生在短时间内行为的序列分类任务。
传统的人工提取特征的表达能力有限,而深度神经网络由于能够从各种序列中提取高代表性特征的能力已经取得了很大的成功。例如,最近的一项研究采用了基于注意力机制的门控递归单元(Gated Recurrent Units,GRU),该模型对用户的顺序行为进行建模和捕获用户在当前会话中的主要意图,并将两者组合为一个统一的会话表示。另一项研究引入了一个神经网络结构,该架构可处理输入序列和问题,形成情景记忆,并生成相关答案。然而,现有的研究工作主要集中在自然语言处理(Natural Language Processing,NLP)和推荐系统的研究问题上。利用循环神经网络(Recurrent Neural Network,RNN)的能力来模拟学生表现的研究在很大程度上还没有被探索。
为了使预测过程具有及时性和自动性,本公开将学生表现预测任务视为短期序列预测问题,并提出了一个两阶段的分类框架,即基于序列的表现分类器(Sequence-basedPerformance Classifier,SPC),它由一个序列编码器和经典的数据挖掘分类器组成。更具体地说,为了深入发掘学生校园行为的序列特征,本公开首先引入了一种基于注意力的混合循环神经网络(Hybrid Recurrent Neural Network,HRNN),通过给予与学生最后一次动作相关的行为更高的权重,从而对学生近期的行为进行编码。
然后,为了实现学生成绩预测,本公开进一步将这些学习到的特征引入到经典的支持向量机(Support Vector Machine,SVM)算法中,并最终实现了SPC模型。
实施例1
本公开提供一种基于校园行为序列的学生成绩分类预测方法,包括:
(1)将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;
(2)采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;
(3)将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。
在步骤(1)中,所述基本序列编码器中,根据历史行为隐藏表示,建立其与当前行为隐藏表示的线性变换,在历史行为隐藏表示和当前行为隐藏表示之间进行线性插值,得到基本学生行为序列特征;
所述基于注意力的序列编码器中,将注意力机制函数作为加权因子,对隐藏表示进行加权求和,得到基于注意力的学生行为序列特征;
所述序列特征生成器模型为,对基本学生行为序列特征和基于注意力的学生行为序列特征的统一表示。基本序列编码器的基本学生行为序列特征中,最后一个隐藏状态负责对整个序列行为进行编码,而基于注意力的序列编码器得到的基于注意力的学生行为序列特征,负责用于计算前一个隐藏状态的注意力权值。
学生行为数据包括但不限于学生在校园内各个地点使用校园卡的记录,例如校园卡的消费行为数据、选课行为数据和图书馆的利用记录行为数据。
本公开首先将学生的成绩预测任务表述为短期序列的分类问题,提出了一种两阶段的学生分类算法,通过提取学生最近的行为序列特征来预测他们的表现,该算法由混合序列编码器和SVM分类器组成。具体来说,为了从学生的顺序行为中发现有用的序列特征,提出一种基于注意力的HRNN,通过对与学生的上一次活动的相关行为给予更高的权重,从而对学生的短期目标进行建模,之后这解释为统一的序列表示;然后进一步将学习到的特征纳入到经典的SVM算法,以实现最终的SPC框架。
本实施例基于序列的成绩表现预测任务,提出一个两阶段分类预测模型SPC,即基于注意力的HRNN模型和SVM分类器。
任务定义
基于序列的成绩预测是通过对学生近期的顺序行为(例如进出图书馆、打水、去食堂)进行分类来预测学生当前的成绩。这个问题的主要挑战是学生的主要意图可能被不相关的交互作用干扰或淡化。例如,当学生在图书馆学习时,他/她的同学可能会借他/她的校园卡去购买食物。如何获取学生的主要意向是需要解决的重要问题之一。
对于某一特定的学生,我们意图知道当学校只提供非常有限的学生行为记录时,我们是否可以判断他/她的学习表现。
假设[x1,x2,...,xi,...,xt]是一个学生行为序列,其中xi是m个校园卡终端设备中的某一特定行为指标。
通过将给定的行为序列x=[x1,x2,...,xt-1,xt],(1≤t≤m)分类为不同等级(即好,中和差)来建立成绩预测模型M。与传统的成绩表现预测任务相比,本公开关注的是如何通过自动提取深度复发性特征来进行及时的预测。
输入:学生集合n,校园卡设备集合m,学生每周发生的行为序列[x1,x2,...,xi,...,xt]。
SPC模型框架
本公开提出的预测学生学习成绩的方法是基于深度学习和数据挖掘技术的。具体而言,采用了由基于注意力的编码器-解码器神经网络结构和支持向量机算法组成的两阶段分类器。该分类器方法的主要思想是建立行为序列的隐式表示,然后根据隐式表示进行成绩分类预测。
如图2所示,在每个时间步长上,通过循环编码器将输入活动序列x=[x1,x2,...,xt-1,xt]转换为一系列高维隐藏表示h=[h1,h2,...,ht-1,ht]。连同隐藏状态h集合一起,能够在时间t(表示为αt)的注意力向量馈送到序列特征生成器,该生成器构建当前行为序列的表示以在时间t(表示为ct)进行解码。最后,ct由矩阵U作为解码器的一部分转换为激活函数,该函数可以生成一个行为列表F,该行为列表说明了学生最近所做的动作的深度表示。
最后,设F为模型学习到的序列特征,即每个学生拥有不同重要性程度的行为特征。因此,应用SVM将输入特征F映射到高维特征空间,并预测在下一个访问行为序列的学生学业水平y。
为了深入了解学生在校园学习中的表现,关键在于捕获主要的或相关的行为意图来进行学生成绩预测。因此,αt的作用是决定隐藏状态表示h的哪些部分在时间t中应该被强调或忽视。在预测过程中,αt可以是隐藏状态表示的函数,也可以是校园卡输入设备的嵌入函数。ct为提供了其他一些重要的行为信息,这些深层行为信息的长期依赖关系无法被普通RNN所捕获。
基于注意力的HRNN
已有许多研究成功地将RNN等深度学习方法应用于各类领域。例如,神经网络推荐机是一种从短会话中生成推荐结果的模型。其他研究介绍了最初用于机器翻译任务的编码器-解码器网络和基于注意力的编码器-解码器网络。
在基于序列的成绩表现预测任务中,本实施例采用基于注意力的混合编码器-解码器模型作为第一个分类器来学习学生行为的顺序特征。在此基础上,采用支持向量机来分类哪些序列行为与学习勤奋和有规律的学生相关。
SPC模型结构如图3所示。可以看出,标准RNN与基于注意力的RNN结合在一起,两者均以GRU为基本网络单元。SPC模型的输入是以上两种RNN完整的历史活动数据,输出是学生序列行为特征的表示。输入和输出统一构成高维向量。
本实施例应用的神经网络采用单一GRU层,通过与传统模型比较,该模型采用相对复杂的神经网络,它能够自适应地捕获学生序列信息之间的依赖关系并且训练学生的深度行为特征。一般情况下,GRU不仅能在长期传播中保持重要的特征,而且能很好地处理梯度消失问题。
因此,对于每个行为序列xi=[x1,x2,...,xt-1,xt],标准RNN以历史校园行为序列作为输入,输出为先前激活状态ht-1与候选激活状态h′t之间的线性变换,此过程可以表示为:
zt=σ(W(z)xt+U(z)ht-1) (1)
rt=σ(W(r)xt+U(r)ht-1) (2)
h′t=tan(Wxt+rt⊙Uht-1) (3)
ht=zt⊙ht-1+(1-zt)⊙h′t (4)
其中,ht-1和h′t分别代表先前隐藏状态和当前隐藏状态。等式1、2、3、4分别表示更新门、重置门、新的网络单元和隐藏状态。特别地,更新门zt控制的是从先前隐藏状态ht-1中有多少信息需要被遗忘并且从当前隐藏状态h′t有多少信息需要被记忆。重置门rt决定的是有多少先前记忆信息需要被保留。
该过程在已存在的激活状态和当前激活状态之间进行线性插值,编码器HRNN的最后隐藏状态携带整个初始序列的信息。使用最终的隐藏状态ht作为学生行为序列特征的表示,即基本序列编码器,
为了使SPC方法能够同时从学生的当前行为数据和历史行为数据中训练,注意机制作用的优点是可以自适应地关注与学生最后发生的行为最相关的动作信息,这样可以获取学生的主要意图并在序列模型中训练和更新。
另外,注意力机制使解码器将输入序列的不同部分动态生成并线性组合。因此,本实施例提出一种设备级的注意力机制,它能够决定哪些隐藏状态在时间t中需要被强调或忽略,即基于注意力的序列编码器,
注意力机制函数计算公式如下,
αti=σ(Wα[ht;hi]) (7)
其中,σ为sigmoid函数,注意力函数计算最终隐藏状态ht和上一个隐藏状态hi之间的非标准化分配值,它可以被看作是一个特定的匹配模型,然后,可以通过将权重矩阵Wα相乘来获得隐藏向量。
更具体地说,基于序列编码器的最后一个隐藏状态负责对整个序列行为进行编码,而基于注意力的序列编码器负责用于计算前一个隐藏状态的注意力权值。通过这种混合方案,基本序列编码器和基于注意力的序列编码器最终可以被建模为一个统一的表示ct,即序列特征生成器,表示向量与的拼接,
为了更好地实现学生表现预测,在当前序列隐藏表示和每个校园卡设备之间应用一个具有可选择性的双线性解码机制来计算相似度评分Si(之后表示为F),
其中,T是一个|D|*|H|矩阵,|D|表示每个校园卡设备嵌入的维度,|H|为序列表示的维度。
然后,将每个校园卡终端设备的相似性得分馈送到soft max层,以获取接下来将发生行为的可能性,从而完成第一阶段HRNN模型的任务。
对于基于序列的预测任务,基本序列编码器是对整个学生每周产生的行为进行总结,而基于注意力的序列编码器可以自适应的选择相关的行为来捕捉学生的主要意图,这可以关注学生最近所做的动作。因此使用顺序行为的表示和先前的隐藏状态来计算每个发生的行为的注意力权重,然后将序列行为特征与学生的主要意图特征相结合,形成对每个时间戳的延伸表示,这样可以从学生行为中学习深度周期性的序列特征。
学生成绩分类器
分类是在教育数据挖掘技术用于预测学生成绩的一个热门研究领域。SVM是基于VC维理论的统计学习理论和结构风险最小化原理,利用有限的样本信息,在模型的复杂度和机器学习的学习能力之间找到最佳的折中方案。本实施例是一个多分类问题并且拥有成千上万的原始数据。
本实施例选择支持向量机作为第二阶段分类器,因为其核函数的应用是支持向量机的一个亮点,所以可以利用支持向量机原理做一些改变来适应多分类场景以解决线性不可分的问题。
首先在线性可分性的情况下,支持向量分类器试图找到一个最优分类超平面wT·x+b=0来最大化分隔区间。为了找到这个超平面,需要解下面的二次规划问题,
s.t.yi[(wT·xi+b)-1]≥0,i=1,2,...,n (10)
其中,w是法向量,b是偏置项,x表示为特征。由拉格朗日对偶求解上述二次规划问题的解,
此式为原问题,其对偶问题由微分公式和化简得到w和α、b和α的关系式为,
在线性不可分的情况下,本实施例分类算法采用SVM分类器,将学生行为训练样本由非线性映射方式映射到高维特征空间,将输入空间中的非线性分类问题转换为特征空间中的线性分类问题,利用高维空间内积所对应的核函数,使线性分类器隐式地建立高维空间的分类平面。
具体为,在线性不可分的情况下,使用核函数K(xi,xj)将特征映射到高维,转换为线性可分问题。原训练样本映射到高维特征空间由非线性映射实现。因此,输入空间中的非线性分类问题变成了特征空间中的线性分类问题,
s.t.ξi≥0,yi(wT·xi+b)≥1,i=1,2,...,l (13)
求解步骤与线性可分情况相似,其中,为惩罚项。此时的分类超平面为利用高维空间内积所对应的核函数的性质,使线性分类器隐式地建立高维空间的分类平面。支持向量机基于结构风险最小化理论在特征空间中构造最优分割超平面,可以使学习者得到全局优化,并且整个样本空间的期望风险满足具有一定概率的某个上界。
在解决多分类问题时,选择一对一的方法,即每两个类别分别进行分类。如图3所示,支持向量机的输入是HRNN网络模型中形成的完整的序列行为特征f=[f1,f2,...,ft-1,ft],输出是真实学生的GPA成绩分类y∈{1,2,3}。令(fi,yi)为样本集,y表示类别。
学生的学业成绩分为三个类,第一类A等级约有20%的学生,第二类B等级约有60%的学生,最后一类C等级约20%的学生。
因此,可以通过该方法将学生的学习成绩预测视为一个短期的序列建模问题。如果提供一个新学生每周的行为数据,可以通过SPC两阶段分类器预测他/她的学业成绩,以便及时发现有学习危机的学生。
为了评估SPC算法的性能,本实施例在真实校园卡数据集中进行了大量的实验。实验结果证明了SPC在两个评价指标准确性和召回率上的优越性。
数据集
为了证明SPC方法的有效性,我们使用真实校园卡数据集,该数据集是学生id、行为和学习成绩的子集,即包含了与学生在校学习和生活属性相关的变量。具体地说,数字记录来自9207名大学生(表示为id号)从2014年3月到6月以及从2015年4月到6月,总共提取29周的行为数据,包括进出图书馆、取水和其他13个行为。在这篇论文中,我们提出了一个两阶段模型来预测某个学生在未来的学习表现。表1描述了该数据集的统计信息。
表1数据集
#Student | #Devices | #Sequences | Avg.length |
9,207 | 15 | 126,032 | 51.6 |
选择这些数据集的原因有四个方面:首先,这些行为数据与学习成绩没有直接关系,因此可以探索两个部分之间的关系。其次,这些行为并不引人注目,因此可以客观地反映学生的生活方式,而不会产生实验偏见。第三,中国大多数大学生在校园生活和学习,因此,所使用的数据集具有足够的覆盖范围来验证结果。最后,分析学业表现不仅有利于教师的日常活动管理,而且为教育教学提供了重要的信息支持和前瞻性的服务。
评估方法
为了定量评估方法的性能,随机选择70%数据集作为训练集,剩下的作为测试集。本公开采用两种流行的评估方法,即准确率和召回率。准确率定义为:
召回率定义为:
其中准确率返回的是正确分类的样本的分数。TP表示预测为正样本中实际为正样本的数量,TN表示预测为负样本中实际为负样本的数量。同样,FN表示预测为负样本而实际为正样本的数量。因此,准确度表示在所有序列行为中按SVM正确分类的学生成绩所占的比例,而召回率表示在所有实际成绩中被分类为正的学生成绩所占的比例。
实验结果
为了对比SPC模型在学生学业成绩预测任务中的性能,本公开将其与以下基线方法进行比较:
SVM:教育数据挖掘中最常用的分类方法之一,如学生成绩数据挖掘。同时,支持向量机证明了是一种非常有效的机器学习算法。
Logistic Regression:一种流行的数据挖掘分类技术,用于预测某个概率。逻辑回归模型旨在描述一个或多个独立变量之间的关系,这些变量可能是连续的、分类的或二元的。
Bayesian:一种基于概率论和统计学的简单分类方法,在机器学习中广泛应用且具有分类准确率高、速度快的特点。
Decision Tree:基于特征对实例进行分类的方法,该算法具有可读性、可理解性且广泛应用于各种数据结构。
Random Forest:一种基于决策树分类器而设计的综合学习方法。可用于分类、回归以及有效防止过拟合。
表2手动提取特征的种类
为了证明基于序列特征的优越性,我们在学习和总结前人经验的基础上研究了学生的校园卡数据,了解到学生成绩排名的侧面评估是多方面的。本文利用统计分析方法,选择与成绩排名相关的属性。我们手工提取19种特征(如表2所示),并进一步将SPC方法与以下三种分类的手工方法进行比较。同时,在现有机器学习算法的基础上,寻找最合适的参数以形成最优状态,并最终实现根据行为预测学习成绩的目标。关于消费习惯(CH)、学习习惯(SH)和生活习惯(LH)的特征方法如下:
SVM+CH:不同学业成绩的大学生在校园卡消费额上存在差异,反映了大学生不同的消费需求和心理。本文选择日均平均食堂消费、日均超市消费等指标作为消费习惯特征。
SVM+SH:大学生的学习习惯是长期形成的,其倾向和行为不容易随外界因素改变。本文选择日均图书馆停留时间、借阅书籍数量等指标作为学习习惯特征。
SVM+LH:良好有规律性的生活行为习惯对学习成绩有一定的益处。本文日均取水次数、宿舍停留时间等指标作为生活习惯特征。
表3实验结果
Methods | Accuracy | Accuracy△(%) | Recall | Recall△(%) |
Logistic Regression | 59.29 | 46.57% | 33.33 | 144.73% |
Bayesian | 59.23 | 46.72% | 33.33 | 144.73% |
Decision Tree | 59.62 | 45.76% | 33.34 | 144.66% |
Random Forest | 59.22 | 46.74% | 33.33 | 144.73% |
SVM+CH | 59.80 | 45.32% | 33.33 | 144.73% |
SVM+SH | 60.77 | 43.00% | 33.72 | 141.90% |
SVM+LH | 59.35 | 46.42% | 33.40 | 144.22% |
SPC | 86.90 | - | 81.57 | - |
图3展示了在数据集上依据Accuracy和Recall的实验结果,从中我们得到以下观察结论:
1)我们的SPC方法在数据集上实现了最佳性能(SPC和其他基线方法之间的改善是显着的)。这个结果证明了我们的SPC解决方案的有效性,即深度学习学生行为序列的不确定性和捕获主要意图,可以及时准确的预测学生成绩。
2)逻辑回归、贝叶斯、决策树和随机森林这些模型都考虑了学生的序列行为和主要意图,但在准确性和召回率上差强人意。显然,基于注意力机制的HRNN与支持向量机相结合在两个评价指标上都优于其他基线方法,说明从短期校园行为序列中预测学生的学习成绩是非常关键和有效的。
3)SVM+LH、SVM+SH和SVM+CH这些传统模型没有应用任何注意机制和深度学习的方法,在准确性和召回率指标中效果没有达到最优。说明从预先存储的数据中手工获取统计特征的性能较差,在预测学生成绩和发掘学生问题方面可能存在滞后现象,只能浅显地理解学生的行为。
4)基于序列的表现分类器可以帮助我们学习学生行为之间的相关关系,并确定哪些序列行为特征应该被强调或忽略,这样可以深层次地表示行为特征以及更有效的实现成绩分类任务。
5)支持向量机通过构造多个分类器的组合来解决多分类问题是比较少见的。将基于注意力的HRNN与SVM相结合,可以很好地对学生的序列行为进行建模并有效地进行分类。
实施例2
本公开提供一种基于校园行为序列的学生成绩分类预测系统,包括,
编码模块,其用于将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;
解码模块,其用于采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;
分类预测模块,其用于将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。
实施例3
本公开提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现一种基于校园行为序列的学生成绩分类预测方法所述的步骤。
实施例4
本公开提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现一种基于校园行为序列的学生成绩分类预测方法所述的步骤。
以上仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于校园行为序列的学生成绩分类预测方法,其特征在于,包括:
将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;
采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;
将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。
2.如权利要求1所述的一种基于校园行为序列的学生成绩分类预测方法,其特征在于,
所述基本序列编码器中,根据历史行为隐藏表示,建立其与当前行为隐藏表示的线性变换,在历史行为隐藏表示和当前行为隐藏表示之间进行线性插值,得到基本学生行为序列特征。
3.如权利要求1所述的一种基于校园行为序列的学生成绩分类预测方法,其特征在于,
所述基于注意力的序列编码器中,将注意力机制函数作为加权因子,对隐藏表示进行加权求和,得到基于注意力的学生行为序列特征。
4.如权利要求1所述的一种基于校园行为序列的学生成绩分类预测方法,其特征在于,
所述述序列特征生成器模型为,对基本学生行为序列特征和基于注意力的学生行为序列特征的统一表示;
所述基本序列编码器的最后一个隐藏状态负责对整个序列行为进行编码,所述基于注意力的序列编码器负责用于计算前一个隐藏状态的注意力权值。
5.如权利要求1所述的一种基于校园行为序列的学生成绩分类预测方法,其特征在于,
所述分类算法采用SVM分类器,将学生行为训练样本由非线性映射方式映射到高维特征空间,将输入空间中的非线性分类问题转换为特征空间中的线性分类问题,
利用高维空间内积所对应的核函数,使线性分类器隐式地建立高维空间的分类平面。
6.一种基于校园行为序列的学生成绩分类预测系统,其特征在于,包括:
编码模块,其用于将获取的历史行为序列分别输入基本序列编码器和基于注意力的序列编码器,根据得到的每个历史行为对应的隐藏表示构建序列特征生成器模型;
解码模块,其用于采用双线性解码机制,通过嵌入设备维度,对序列特征生成器模型计算每个嵌入设备的相似度得分,并将其映射为当前学生行为发生的概率,构建具有不同权重的学生行为序列特征;
分类预测模块,其用于将学生行为序列特征采用分类算法输出下一个学生行为序列中学生成绩的预测等级。
7.如权利要求6所述的一种基于校园行为序列的学生成绩分类预测系统,其特征在于,
所述编码模块中,基本序列编码器根据历史行为隐藏表示,建立其与当前行为隐藏表示的线性变换,在历史行为隐藏表示和当前行为隐藏表示之间进行线性插值,得到基本学生行为序列特征。
8.如权利要求6所述的一种基于校园行为序列的学生成绩分类预测系统,其特征在于,
所述编码模块中,基于注意力的序列编码器将注意力机制函数作为加权因子,对隐藏表示进行加权求和,得到基于注意力的学生行为序列特征。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5任一项所述的一种基于校园行为序列的学生成绩分类预测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5任一项所述的一种基于校园行为序列的学生成绩分类预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911106292.6A CN110852390A (zh) | 2019-11-13 | 2019-11-13 | 一种基于校园行为序列的学生成绩分类预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911106292.6A CN110852390A (zh) | 2019-11-13 | 2019-11-13 | 一种基于校园行为序列的学生成绩分类预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110852390A true CN110852390A (zh) | 2020-02-28 |
Family
ID=69600687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911106292.6A Pending CN110852390A (zh) | 2019-11-13 | 2019-11-13 | 一种基于校园行为序列的学生成绩分类预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110852390A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754097A (zh) * | 2020-06-18 | 2020-10-09 | 上海交通大学 | 基于多视图编码器-解码器架构的学生成绩预测系统 |
CN111784134A (zh) * | 2020-06-22 | 2020-10-16 | 温州大学 | 一种数据驱动的多模态学业水平预测方法及系统 |
CN111931057A (zh) * | 2020-08-18 | 2020-11-13 | 中国科学院深圳先进技术研究院 | 一种自适应输出的序列推荐方法和系统 |
CN113360848A (zh) * | 2021-06-04 | 2021-09-07 | 北京工商大学 | 一种时序数据预测方法及装置 |
CN113537552A (zh) * | 2021-04-28 | 2021-10-22 | 桂林电子科技大学 | 基于混合深度学习及注意力机制的学生表现预测方法 |
CN115546109A (zh) * | 2022-09-09 | 2022-12-30 | 武汉中数医疗科技有限公司 | 一种基于机器学习的甲状腺采样数据识别方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894119A (zh) * | 2016-04-05 | 2016-08-24 | 成都寻道科技有限公司 | 基于校园数据的学生排名预测方法 |
CN108171358A (zh) * | 2017-11-27 | 2018-06-15 | 科大讯飞股份有限公司 | 成绩预测方法及装置、存储介质、电子设备 |
CN109828997A (zh) * | 2019-01-03 | 2019-05-31 | 温州医科大学 | 一种大学生行为数据分析及学业预警方法 |
CN110110939A (zh) * | 2019-05-15 | 2019-08-09 | 杭州华网信息技术有限公司 | 基于深度学习学生序列化行为的学业成绩预测预警方法 |
CN110246487A (zh) * | 2019-06-13 | 2019-09-17 | 苏州思必驰信息科技有限公司 | 用于单通道的语音识别模型的优化方法及系统 |
-
2019
- 2019-11-13 CN CN201911106292.6A patent/CN110852390A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894119A (zh) * | 2016-04-05 | 2016-08-24 | 成都寻道科技有限公司 | 基于校园数据的学生排名预测方法 |
CN108171358A (zh) * | 2017-11-27 | 2018-06-15 | 科大讯飞股份有限公司 | 成绩预测方法及装置、存储介质、电子设备 |
CN109828997A (zh) * | 2019-01-03 | 2019-05-31 | 温州医科大学 | 一种大学生行为数据分析及学业预警方法 |
CN110110939A (zh) * | 2019-05-15 | 2019-08-09 | 杭州华网信息技术有限公司 | 基于深度学习学生序列化行为的学业成绩预测预警方法 |
CN110246487A (zh) * | 2019-06-13 | 2019-09-17 | 苏州思必驰信息科技有限公司 | 用于单通道的语音识别模型的优化方法及系统 |
Non-Patent Citations (2)
Title |
---|
JING LI,ET AL.: "Neural A_entive Session-based Recommendation", 《ARXIV》 * |
王峥: "一种基于校园行为序列的学生成绩分类预测方法", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754097A (zh) * | 2020-06-18 | 2020-10-09 | 上海交通大学 | 基于多视图编码器-解码器架构的学生成绩预测系统 |
CN111784134A (zh) * | 2020-06-22 | 2020-10-16 | 温州大学 | 一种数据驱动的多模态学业水平预测方法及系统 |
CN111931057A (zh) * | 2020-08-18 | 2020-11-13 | 中国科学院深圳先进技术研究院 | 一种自适应输出的序列推荐方法和系统 |
CN111931057B (zh) * | 2020-08-18 | 2024-05-14 | 中国科学院深圳先进技术研究院 | 一种自适应输出的序列推荐方法和系统 |
CN113537552A (zh) * | 2021-04-28 | 2021-10-22 | 桂林电子科技大学 | 基于混合深度学习及注意力机制的学生表现预测方法 |
CN113360848A (zh) * | 2021-06-04 | 2021-09-07 | 北京工商大学 | 一种时序数据预测方法及装置 |
CN115546109A (zh) * | 2022-09-09 | 2022-12-30 | 武汉中数医疗科技有限公司 | 一种基于机器学习的甲状腺采样数据识别方法及装置 |
CN115546109B (zh) * | 2022-09-09 | 2023-10-27 | 武汉中数医疗科技有限公司 | 一种基于机器学习的甲状腺采样数据识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hernández-Blanco et al. | A systematic review of deep learning approaches to educational data mining | |
Sanborn et al. | Rational approximations to rational models: alternative algorithms for category learning. | |
CN110852390A (zh) | 一种基于校园行为序列的学生成绩分类预测方法及系统 | |
Papageorgiou et al. | A review of fuzzy cognitive maps research during the last decade | |
Todd et al. | Building the theory of ecological rationality | |
Cortez et al. | Using data mining to predict secondary school student performance | |
Papageorgiou | Review study on fuzzy cognitive maps and their applications during the last decade | |
Papageorgiou | Review study on fuzzy cognitive maps and their applications during the last decade | |
Su et al. | Time-and-concept enhanced deep multidimensional item response theory for interpretable knowledge tracing | |
Rad et al. | AI thinking for cloud education platform with personalized learning | |
KR102506132B1 (ko) | 자기집중 메커니즘 기반의 개인화된 학습량 추천 방법 및 장치 | |
Raleiras et al. | Automatic learning styles prediction: A survey of the State-of-the-Art (2006–2021) | |
Conroy-Beam | Couple simulation: A novel approach for evaluating models of human mate choice | |
Han et al. | Curiosity‐driven recommendation strategy for adaptive learning via deep reinforcement learning | |
KR20230083989A (ko) | 가우시안 혼합 모델을 이용한 클러스터링과 인공지능을 동시에 활용한 학습량 추천 방법 및 장치 | |
CN117609486A (zh) | 一种心理领域智能对话系统 | |
Kuo et al. | Building Student Course Performance Prediction Model Based on Deep Learning. | |
Lin et al. | A comprehensive survey on deep learning techniques in educational data mining | |
Mangos et al. | Advances in machine learning applications for scenario intelligence: Deep learning | |
Jiang et al. | Learning analytics in a blended computer education course | |
Quimba et al. | Exploring neural network models in understanding bilateral trade in APEC: a review of history and concepts | |
KR102509367B1 (ko) | 드랍아웃을 통해 과적합 경향을 보상하는 복수의 은닉층들로 구성되는 딥러닝 기반의 인공지능을 이용한 학습량 추천 방법 및 장치 | |
KR102473188B1 (ko) | 통계적 학습량에 대한 가중점수 및 인공지능 기반의 학습량 추천 방법 및 장치 | |
Fernández et al. | Exploring approaches to educational data mining and learning analytics, to measure the level of acquisition of student's learning outcome | |
Alatrash et al. | Fine-Grained Sentiment-Enhanced Collaborative Filtering-Based Hybrid Recommender System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |