CN112199507B - 一种用于在线学习平台的用户学习能力评估方法和装置 - Google Patents

一种用于在线学习平台的用户学习能力评估方法和装置 Download PDF

Info

Publication number
CN112199507B
CN112199507B CN202011424512.2A CN202011424512A CN112199507B CN 112199507 B CN112199507 B CN 112199507B CN 202011424512 A CN202011424512 A CN 202011424512A CN 112199507 B CN112199507 B CN 112199507B
Authority
CN
China
Prior art keywords
learning
user
learning item
obtaining
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011424512.2A
Other languages
English (en)
Other versions
CN112199507A (zh
Inventor
王涛
罗吉文
张洋
余跃
杨程
王怀民
白羽
范强
张迅晖
李志星
冯晨辉
张禹
霍曼妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011424512.2A priority Critical patent/CN112199507B/zh
Publication of CN112199507A publication Critical patent/CN112199507A/zh
Application granted granted Critical
Publication of CN112199507B publication Critical patent/CN112199507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种用于在线学习平台的用户学习能力评估方法和装置。所述方法包括:根据在线学习平台中用户提交的学习项目描述标签对学习项目数据进行分类,根据得到的用户已学习的学习项目类别的数量评估用户的学习广度,根据各类别中的学习项目描述标签的数量,评估用户在各类别的学习深度。根据学习项目类别对应的学习项目练习分值及其生成时间,评估用户的学习速度、知识迁移能力、坚韧性结果和持续性评估结果。本申请能根据线上学习平台用户的学习项目数据了解用户当前的技术能力、学习能力和在学习方面的个性特质,能够为在线学习平台用户提供更好的学习反馈信息,也能为平台运营方的个性化推送服务提供用户描述数据支持。

Description

一种用于在线学习平台的用户学习能力评估方法和装置
技术领域
本申请涉及在线学习平台用户数据分析技术领域,特别是涉及一种用于在线学习平台的用户学习能力评估方法和装置。
背景技术
在线学习正日益成为一种不可或缺的学习方式。与传统的线下学习方式相比,在线学习能够打破教学双方在时间、空间等方面受到的限制,为教育普及提供了极大的便利。
然而和线下学习相比,在线学习方式对学习者的要求较高。由于没有线下的督促,在线学习平台的运营方和平台用户只能简单地根据学习项目的完成比例等统计数据来掌握目前的学习进度,无法了解用户对特定知识领域的学习进度,也无法掌握单个用户的学习能力。因此,很多线上学习平台的用户由于没有针对性的学习效果评估和反馈机制,表现出了学习持续性不强、学习完成度不高等特点,使线上学习的效果遭到质疑,影响在线学习平台的发展。在线学习平台也因为无法了解用户的学习能力,无法提供更多个性化的推送服务。
发明内容
基于此,有必要针对上述技术问题,提供能够根据用户历史学习数据获得用户学习进度和学习能力评估结果的一种用于在线学习平台的用户学习能力评估方法和装置。
一种用于在线学习平台的用户学习能力评估方法,包括:
获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别得到用户的学习广度评估结果,根据学习项目类别的数量对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
其中一个实施例中,根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果的步骤包括:
根据预设的分类规则和学习描述标签对学习项目数据进行从粗到细的三次分类,分别获得对应的一级学习项目类别、二级学习项目类别和三级学习项目类别。
根据一级学习项目类别、二级学习项目类别和三级学习项目类别的数量,得到用户的学习广度评估结果。
根据二级学习项目类别对应的学习描述标签的数量,得到用户在该二级学习项目类别的学习深度评估结果。
其中一个实施例中,将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列的步骤包括:
将三级学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列。
其中一个实施例中,学习项目练习分值包括按照预设的练习顺序排列的多个单项练习分值。
根据分值序列中第一个元素得到用户的学习速度能力评估结果的步骤包括:
将分值序列中第一个元素对应的多个单项练习分值输入深度知识追踪模型,得到首次知识掌握程度值。
根据首次知识掌握程度值得到用户的学习速度能力评估结果。
其中一个实施例中,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果的步骤包括:
将分值序列的元素对应的多个单项练习分值输入深度知识追踪模型,得到对应的单次知识掌握程度值。
根据单次知识掌握程度值的变化,得到用户对所述学习项目类别的知识迁移能力评估结果。
其中一个实施例中,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果的步骤包括:
获取分值序列中第一个大于预设值的元素对应的首次通过位置,获取首次通过位置前的元素数量,根据元素数量得到用户对该学习项目类别的尝试次数。
获取分值序列中第n个大于预设值的元素对应的第n位置,根据n的最大值得到用户对该学习项目类别的有效复习次数,其中n>1。
根据第n-1位置和第n位置之间的元素数量,以及根据尝试次数,得到用户对该学习项目类别的坚韧性评估结果。
其中一个实施例中,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果的步骤包括:
获取分值序列中元素的时间间隔,将小于预设值的所述时间间隔进行累加,得到持续学习时段。
根据分值序列中第一个元素和最后一个元素的时间间隔得到总计学习时段,根据持续学习时段和总计学习时段,得到用户对该学习项目类别的持续性评估结果。
一种用于在线学习平台的用户学习能力评估装置,包括:
学习项目数据获取模块,用于获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
用户学习进度评估模块,用于根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
用户学习能力评估模块,用于将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
与现有技术相比,本发明所取得的有益效果是:
上述一种用于在线学习平台的用户学习能力评估方法、装置、计算机设备和存储介质,获取在线学习平台中由用户提交的学习项目数据的集合,对根据学习项目描述标签对学习项目数据进行分类,得到用户已学习的学习项目类别的数量,获得用户的学习广度评估结果;根据各个学习项目类别对应的学习项目描述标签的数量,获得用户对该学习项目类别的学习深度评估结果;根据各个学习项目类别中生成时间最早的学习项目练习分值,得到用户的学习速度能力评估结果;根据学习项目类别中所有学习项目练习分值,得到用户对该学习项目类别的知识迁移能力评估结果;根据学习项目类别中高于预设值的学习项目练习分值的出现时间,得到用户对该学习项目分类的坚韧性评估结果;根据学习项目练习分值的生成时间间隔,得到用户对该学习项目类别的持续性评估结果。本申请能根据线上学习平台用户的学习项目数据评估用户的学习进度(包括总体的学习广度和各类别学习项目的学习深度),能给出用户对各类别学习项目数据的学习速度、知识迁移能力、学习坚韧性、学习持续性等个性化的学习能力评估结果,能够为在线学习平台用户提供更好的学习反馈信息,也能为平台运营方的个性化推送服务提供用户描述数据支持。
附图说明
图1为一个实施例中一种用于在线学习平台的用户学习能力评估方法的步骤图;
图2为另一个实施例中一种用于在线学习平台的用户学习能力评估方法的评估流程示意图;
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在线学习平台一般按照知识类别设置多个学习项目,对每个学习项目设置对应的项目练习,并对用户提交的项目练习答案给出对应的项目练习分值。在一个实施例中,如图1所示,提供了一种用于在线学习平台的用户学习能力评估方法,包括以下步骤:
步骤102,获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
具体地,本实施例中用户的学习项目数据的集合是根据一个或一组用户在学习过程中提交到在线学习平台的项目练习答案生成的,本实施例以一个用户的学习项目数据集合为例进行说明。其中,学习项目描述标签用于描述用户完成的各个学习项目的内容、涉及的知识点、应用的技术领域等,可以对应于不同的学习项目预先指定,也可以从学习项目的描述文本中提取。从学习项目的描述文本中提取时,可以根据描述文本的格式和结构采用关键词提取方式和/或结构化文本处理方式,得到对应的学习项目描述标签。关键字提取算法包括TF-IDF算法等。一个学习项目标签可以对应于多个学习项目,一个学习项目也可以对应于多个学习项目标签。学习项目练习分值是针对用户提交的一次项目练习答案给出的对应分值,注意到用户对于同一个项目练习可以先后给出多次项目练习答案,从而生成多个学习项目练习分值。
步骤104,根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
具体地,根据预设的分类规则可以对学习项目描述标签进行分类或聚类,从而将对应的学习项目数据分为多个学习项目类别。根据对用户的学习项目数据的分类结果,可以获得用户的学习已经涉及到的学习项目类别及其数量,从而对其广度能力进行评估。分类规则可以根据在线学习平台的知识领域分布情况确定;还可以设置不同颗粒度的分类规则,得到在对应分类颗粒度上对用户的学习广度能力的评估结果,如在学科级分类、专业级分类、技术方向级分类、具体技术级分类等不同分类级别上的学习广度评估结果。评估时,可以用在线学习平台提供的所有学习项目类别为参照,也可以采用预设的学习项目分类数量为参照。
用户在一个学习项目类别中的学习项目描述标签的数量,可以评估用户对该学习项目类别的学习深度能力。进一步地,为了使学习深度评估结果更为准确,在分类或聚类之前,对学习项目描述标签进行去重、消除无意义词、相似性合并等操作,以减少重复、无意义、近似标签对用户学习深度评估的干扰。
步骤106,将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
具体地,一项学习项目练习分值体现了用户在一次练习中对知识点的掌握程度,而在一个学习项目类别中的第一次进行练习时获得的分值可以整体体现用户对知识的掌握速度,分值越高掌握速度越快。本实施例将得到的各个学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据各个分值序列中第一项学习项目练习分值得到用户的学习速度能力评估结果。评估方式包括以一个分值序列的第一项学习项目练习分值评价用户在该学习项目类别的学习速度,或者对所有分值序列中第一项学习项目练习分值求和或求平均数,评价用户的整体学习速度。计算中还可以根据各学习项目/学习项目练习的难易程度,给对应的学习项目练习分值预设加权值。
一个分值序列体现的是用户对一个学习项目类别的掌握程度随时间变化的情况,这种变化可能是由于每次练习对应的该学习项目类别中的知识点不同,或者知识点出现的形式不同造成的,因此分值序列中各元素的变化情况可以反映用户对该学习项目类别的知识迁移能力。例如,当分值序列中元素的数值持续迅速增大,则该用户对该学习项目类别的知识迁移能力高;在较小数值范围内波动,则该用户对该学习项目类别的知识迁移能力一般;数值持续减小,则知识迁移能力差。具体评估时,可以根据分值序列中各元素值的变化曲线的极值、斜率,指定取值区间内的元素数量等来数据来获得具体的评估值。
对于一项学习项目练习分值,可以使用预设分值判断用户该次练习是否合格。而在一个分值序列中,用户首次合格之前的尝试次数可以体现其对该学习项目类别的学习坚韧性(即坚持程度)。本实施例获取分值序列中大于预设值的元素的位置,根据这一位置就可以得到用户对该学习项目类别的坚韧性评估结果,位置越靠后,对应的学习坚韧性越高。具体计算时可以采用在线平台中所有用户对该学习项目类别的首次合格之前的尝试次数作为参照值,当该用户尝试次数大于所有用户的平均尝试次数时,其尝试次数越多,用户的学习坚韧性越高,这样可以排除将用户学习速度快(所需尝试次数少)评价为学习坚韧性低的问题。
用户在对一个学习项目分类进行学习时,往往需要进行多次练习才能获得较好的结果,因此可以通过分值序列的元素的时间间隔评估用户对该学习项目类别的持续性。当分值序列中两个元素的时间间隔小于指定时长时(该时长可以根据练习所需的时间确定),判断用户连续进行了两次练习,并将这两个元素间的时间作为连续练习的时长;对连续进行练习的时长进行累加,以用户首次练习和末次练习跨越的时长为参照,可以评估用户对该学习项目分类的持续性。
本实施例提供的一种用于在线学习平台的用户学习能力评估方法,能根据线上学习平台用户提交的学习项目数据评估用户的学习进度(包括总体的学习广度和各学习项目类别的学习深度),能给出用户对各学习项目类别的学习速度、知识迁移能力、学习坚韧性、学习持续性等个性化的学习能力评估结果,能够为在线学习平台用户提供更好的学习反馈信息,也能为平台运营方的个性化推送服务提供数据支持。
其中一个实施例中,提供了一种用于编程实训平台的用户学习能力评估方法,包括以下步骤:
步骤202,获取编程实训平台中用户的编程实训项目数据的集合,编程实训项目数据包括技能标签和编程练习结果。
具体地,该编程实训平台按照不同的技能标签设置多个编程实训项目,每个编程实训项目对应设置了多个编程练习题。用户针对编程练习题,将编写的代码提交到平台进行编译,平台向用户返回编译通过或不通过的结果(可以采用1和0分别表示编译通过和不通过),因此一个编程练习结果数据是一个由0和1组成的数字序列。
步骤204,根据预设的分类规则和技能标签对编程实训项目数据进行从粗到细的三次分类,分别获得对应的一级实训项目类别、二级实训项目类别和三级实训项目类别。
步骤206,根据一级实训项目类别、二级实训项目类别和三级实训项目类别的数量得到用户的学习广度评估结果。
步骤208,根据二级实训项目类别对应的技能标签的数量,得到用户在该二级实训项目类别的学习深度评估结果。
具体地,本实施例对用户完成的编程实训项目数据进行三次不同颗粒度的分类,可以更多维度地评估用户的学习广度能力。此外,选择中间颗粒度的分类结果作为评估用户学习深度能力的基础,能够获得在适中的技术领域范围中用户对编程技术的学习深度评估结果。本实施例中,进行从粗到细的三次分类是指按照对应的技能标签对编程实训项目进行颗粒度由大到小的三次分类,得到对应的三个分类结果,即一级实训项目类别、二级实训项目类别和三级实训项目类别。分类规则是根据编程实训平台中所有编程实训项目的技术领域(包括程序中涉及的技术领域和程序的应用技术领域)预先确定的,例如采用学科级、专业级、技术方向级、具体技术级作为对编程实训项目的技能标签的分类规则,在进行三次分类是,根据学习能力评估的需求选择颗粒度从大到小的三个级别进行分类,如选择学科级、专业级、具体技术级,对应得到三个分类结果。除了上述分类规则,还可以根据编程实训项目实现的功能级别、解决的问题级别等预先制定分类规则,如根据功能级别制定分类规则为多系统级、系统级、设备级、板卡级、芯片级。
步骤210,将三级实训项目类别对应的编程练习结果按生成时间从早到晚排列,得到对应的分值序列。
步骤212,将分值序列中第一个编程练习结果输入深度知识追踪模型,得到首次知识掌握程度值,根据首次知识掌握程度值得到用户的学习速度能力评估结果。
具体地,将编程练习结果对应的数值序列输入深度知识追踪模型(DKT,DeepKnowledge Tracing),可以得到一个反映知识掌握程度的值P,0<P<1,可以用于量化用户对该三级实训项目类别的学习速度。深度知识追踪模型对学习行为时间序列进行建模,根据已有的学习数据基于深度学习技术得到该学习者对知识的掌握程度。深度知识追踪模型考虑了近因效应,能够考虑学习者对知识点的遗忘,获得更好的预测结果;能对多个知识点建模,可以通过上下文试验序列能很好地表述做题顺序,获得知识点内在相关性,并更充分地体现学习者个体之间的能力差异。
步骤214,将分值序列的元素对应的多个编程练习结果输入深度知识追踪模型,得到对应的多个单次知识掌握程度值。根据单次知识掌握程度值的变化,得到用户该三级实训项目类别的知识迁移能力评估结果。
步骤216,获取分值序列中第一个大于预设值的元素对应的首次通过位置,获取首次通过位置前的元素数量,根据元素数量得到用户对三级实训项目类别的尝试次数。获取分值序列中第n个大于预设值的元素对应的第n位置,根据n的最大值得到用户对该三级实训项目类别的有效复习次数,其中n>1。根据第n-1位置和第n位置之间的元素数量,以及根据尝试次数,得到用户对三级实训项目类别的坚韧性评估结果。
具体地,可以预先设置通过标准,如编程练习结果中各位全部为1,或者1的数量超过预设个数等。当用户提交的编程练习结果满足或超过该标准时判定为通过练习,低于该标准时判定为未通过练习。可以通过下列表达式技计算用户的坚韧性:
RF+RA*RF/RC
其中,RF为用户首次通过练习之前的尝试次数,即首次通过位置前的元素数量;RA为有效复习次数,即用户通过练习的次数;RC为两次通过练习的元素之间的元素数量的平均值,即用户一次通过练习所需的平均练习次数。
步骤218,获取分值序列中元素的时间间隔,将小于预设值的所述时间间隔进行累加,得到持续学习时段。根据分值序列中第一个元素和最后一个元素的时间间隔得到总计学习时段,根据持续学习时段和总计学习时段,得到用户对三级实训项目类别的持续性评估结果。
具体地,根据用户两次提交编程练习结果之间的间隔时间,可以判断用户是否持续进行练习。如用户在提交了练习1的编程练习结果之后,如果继续进行练习2并提交相应编程练习结果,那么两次提交的间隔时间主要取决于练习2的完成时间。基于这一点,可以根据各个练习的长度和用户提交编程练习结果的间隔时间,判断用户在学习期间(即从第一次提交到最后一次提交编程练习结果之间的时间)的连续学习时段所占的比例,从而评价用户学习的持续性。
如图2所示,本实施例提供的一种用于在线学习平台的用户学习能力评估方法通过对技能标签进行分类,可以评估体现用户当前技术能力的学习广度和学习深度;通过对某个实训项目类别对应的编程练习结果进行时间排序和分值分析,可以评估体现用户学习能力的学习速度和知识迁移能力,还可以获得体现用户个性特征的学习坚韧性;通过用户提交编程练习的时间可以评估体现用户个性特征的学习持续性。
需要注意的是,上述各个实施例仅举例说明了本申请提供的方法的具体应用方式,本申请提供的一种用于在线学习平台的用户学习能力评估方法可根据在线学习平台的学习项目的分类方式、练习设置方式、学习项目练习分值设置方式等进行相应调整,也可以在各种颗粒度的分类上进行上述各项用户学习能力评估。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供了一种用于在线学习平台的用户学习能力评估装置,包括:
学习项目数据获取模块,用于获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
用户学习进度评估模块,用于根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
用户学习能力评估模块,用于将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
其中一个实施例中,用户学习进度评估模块,用于根据预设的分类规则和学习描述标签对学习项目数据进行从粗到细的三次分类,分别获得对应的一级学习项目类别、二级学习项目类别和三级学习项目类别。根据一级学习项目类别、二级学习项目类别和三级学习项目类别的数量,得到用户的学习广度评估结果。根据二级学习项目类别对应的学习描述标签的数量,得到用户在该二级学习项目类别的学习深度评估结果。
其中一个实施例中,用户学习能力评估模块,用于将三级学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列。
其中一个实施例中,学习项目练习分值包括按照预设的练习顺序排列的多个单项练习分值。用户学习能力评估模块,用于将分值序列中第一个元素对应的多个单项练习分值输入深度知识追踪模型,得到首次知识掌握程度值。根据首次知识掌握程度值得到用户的学习速度能力评估结果。
其中一个实施例中,用户学习能力评估模块用于,将分值序列的元素对应的多个单项练习分值输入深度知识追踪模型,得到对应的单次知识掌握程度值。根据单次知识掌握程度值的变化,得到用户对所述学习项目类别的知识迁移能力评估结果。
其中一个实施例中,用户学习能力评估模块用于,获取分值序列中第一个大于预设值的元素对应的首次通过位置,获取首次通过位置前的元素数量,根据元素数量得到用户对该学习项目类别的尝试次数。获取分值序列中第n个大于预设值的元素对应的第n位置,根据n的最大值得到用户对该学习项目类别的有效复习次数,其中n>1。根据第n-1位置和第n位置之间的元素数量,以及根据尝试次数,得到用户对该学习项目类别的坚韧性评估结果。
其中一个实施例中,用户学习能力评估模块用于,获取分值序列中元素的时间间隔,将小于预设值的所述时间间隔进行累加,得到持续学习时段。根据分值序列中第一个元素和最后一个元素的时间间隔得到总计学习时段,根据持续学习时段和总计学习时段,得到用户对该学习项目类别的持续性评估结果。
关于一种用于在线学习平台的用户学习能力评估装置的具体限定可以参见上文中对于一种用于在线学习平台的用户学习能力评估方法的限定,在此不再赘述。上述一种用于在线学习平台的用户学习能力评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用于在线学习平台的用户学习能力评估方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据预设的分类规则和学习描述标签对学习项目数据进行从粗到细的三次分类,分别获得对应的一级学习项目类别、二级学习项目类别和三级学习项目类别。根据一级学习项目类别、二级学习项目类别和三级学习项目类别的数量,得到用户的学习广度评估结果。根据二级学习项目类别对应的学习描述标签的数量,得到用户在该二级学习项目类别的学习深度评估结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将三级学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列。
其中一个实施例中,学习项目练习分值包括按照预设的练习顺序排列的多个单项练习分值,处理器执行计算机程序时还实现以下步骤:将分值序列中第一个元素对应的多个单项练习分值输入深度知识追踪模型,得到首次知识掌握程度值。根据首次知识掌握程度值得到用户的学习速度能力评估结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将分值序列的元素对应的多个单项练习分值输入深度知识追踪模型,得到对应的单次知识掌握程度值。根据单次知识掌握程度值的变化,得到用户对所述学习项目类别的知识迁移能力评估结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取分值序列中第一个大于预设值的元素对应的首次通过位置,获取首次通过位置前的元素数量,根据元素数量得到用户对该学习项目类别的尝试次数。获取分值序列中第n个大于预设值的元素对应的第n位置,根据n的最大值得到用户对该学习项目类别的有效复习次数,其中n>1。根据第n-1位置和第n位置之间的元素数量,以及根据尝试次数,得到用户对该学习项目类别的坚韧性评估结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取分值序列中元素的时间间隔,将小于预设值的所述时间间隔进行累加,得到持续学习时段。根据分值序列中第一个元素和最后一个元素的时间间隔得到总计学习时段,根据持续学习时段和总计学习时段,得到用户对该学习项目类别的持续性评估结果。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取在线学习平台中用户的学习项目数据的集合,学习项目数据包括学习项目描述标签和学习项目练习分值。
根据预设的分类规则和学习项目描述标签对学习项目数据进行分类,得到对应的学习项目类别。根据学习项目类别的数量得到用户的学习广度评估结果,根据学习项目类别对应的学习项目描述标签的数量,得到用户对该学习项目类别的学习深度评估结果。
将学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据分值序列中第一个元素得到用户的学习速度能力评估结果,根据分值序列的各项元素的数值变化得到用户对该学习项目类别的知识迁移能力评估结果,根据分值序列中大于预设值的元素的位置得到用户对该学习项目类别的坚韧性评估结果,根据分值序列的元素的时间间隔,得到用户对该学习项目类别的持续性评估结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据预设的分类规则和学习描述标签对学习项目数据进行从粗到细的三次分类,分别获得对应的一级学习项目类别、二级学习项目类别和三级学习项目类别。根据一级学习项目类别、二级学习项目类别和三级学习项目类别的数量,得到用户的学习广度评估结果。根据二级学习项目类别对应的学习描述标签的数量,得到用户在该二级学习项目类别的学习深度评估结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将三级学习项目类别对应的学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列。
其中一个实施例中,学习项目练习分值包括按照预设的练习顺序排列的多个单项练习分值,计算机程序被处理器执行时还实现以下步骤:将分值序列中第一个元素对应的多个单项练习分值输入深度知识追踪模型,得到首次知识掌握程度值。根据首次知识掌握程度值得到用户的学习速度能力评估结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将分值序列的元素对应的多个单项练习分值输入深度知识追踪模型,得到对应的单次知识掌握程度值。根据单次知识掌握程度值的变化,得到用户对所述学习项目类别的知识迁移能力评估结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取分值序列中第一个大于预设值的元素对应的首次通过位置,获取首次通过位置前的元素数量,根据元素数量得到用户对该学习项目类别的尝试次数。获取分值序列中第n个大于预设值的元素对应的第n位置,根据n的最大值得到用户对该学习项目类别的有效复习次数,其中n>1。根据第n-1位置和第n位置之间的元素数量,以及根据尝试次数,得到用户对该学习项目类别的坚韧性评估结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取分值序列中元素的时间间隔,将小于预设值的所述时间间隔进行累加,得到持续学习时段。根据分值序列中第一个元素和最后一个元素的时间间隔得到总计学习时段,根据持续学习时段和总计学习时段,得到用户对该学习项目类别的持续性评估结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于在线学习平台的用户学习能力评估方法,其特征在于,所述方法包括:
获取在线学习平台中用户的学习项目数据的集合;所述学习项目数据包括学习项目描述标签和学习项目练习分值;
根据预设的分类规则和所述学习项目描述标签对所述学习项目数据进行分类,得到对应的学习项目类别,根据所述学习项目类别的数量得到用户的学习广度评估结果,根据所述学习项目类别对应的所述学习项目描述标签的数量,得到用户对所述学习项目类别的学习深度评估结果;
将所述学习项目类别对应的所述学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据所述分值序列中第一个元素得到用户的学习速度能力评估结果,根据所述分值序列的各项元素的数值变化得到用户对所述学习项目类别的知识迁移能力评估结果,根据所述分值序列中大于预设值的元素的位置得到用户对所述学习项目类别的坚韧性评估结果,根据所述分值序列的元素的时间间隔,得到用户对所述学习项目类别的持续性评估结果。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的分类规则和所述学习项目描述标签对所述学习项目数据进行分类,得到对应的学习项目类别,根据所述学习项目类别的数量得到用户的学习广度评估结果,根据所述学习项目类别对应的所述学习项目描述标签的数量,得到用户在所述学习项目类别的学习深度评估结果的步骤包括:
根据预设的分类规则和所述学习项目描述标签对所述学习项目数据进行从粗到细的三次分类,分别获得对应的一级学习项目类别、二级学习项目类别和三级学习项目类别;
根据所述一级学习项目类别、所述二级学习项目类别和所述三级学习项目类别的数量,得到用户的学习广度评估结果;
根据所述二级学习项目类别对应的所述学习项目描述标签的数量,得到用户在所述二级学习项目类别的学习深度评估结果。
3.根据权利要求2所述的方法,其特征在于,将所述学习项目类别对应的所述学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列的步骤包括:
将所述三级学习项目类别对应的所述学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列。
4.根据权利要求3所述的方法,其特征在于,所述学习项目练习分值包括按照预设的练习顺序排列的多个单项练习分值;
根据所述分值序列中第一个元素得到用户的学习速度能力评估结果的步骤包括:
将所述分值序列中第一个元素对应的所述多个单项练习分值输入深度知识追踪模型,得到首次知识掌握程度值;
根据所述首次知识掌握程度值得到用户的学习速度能力评估结果。
5.根据权利要求4所述的方法,其特征在于,根据所述分值序列的各项元素的数值变化得到用户对所述学习项目类别的知识迁移能力评估结果的步骤包括:
将所述分值序列的元素对应的所述多个单项练习分值输入深度知识追踪模型,得到对应的单次知识掌握程度值;
根据所述单次知识掌握程度值的变化,得到所述用户对所述学习项目类别的知识迁移能力评估结果。
6.根据权利要求4所述的方法,其特征在于,根据所述分值序列中大于预设值的元素的位置得到用户对所述学习项目类别的坚韧性评估结果的步骤包括:
获取所述分值序列中第一个大于预设值的元素对应的首次通过位置,获取所述首次通过位置前的元素数量,根据所述元素数量得到用户对所述学习项目类别的尝试次数;
获取所述分值序列中第n个大于预设值的元素对应的第n位置,根据n的最大值得到用户对所述学习项目类别的有效复习次数;其中,n>1;
根据第n-1位置和第n位置之间的元素数量,以及根据所述尝试次数,得到用户对所述学习项目类别的坚韧性评估结果。
7.根据权利要求3所述的方法,其特征在于,根据所述分值序列的元素的时间间隔,得到用户对所述学习项目类别的持续性评估结果的步骤包括:
获取所述分值序列中元素的时间间隔,将小于预设值的所述时间间隔进行累加,得到持续学习时段;
根据所述分值序列中第一个元素和最后一个元素的时间间隔得到总计学习时段,根据所述持续学习时段和所述总计学习时段,得到用户对所述学习项目类别的持续性评估结果。
8.一种用于在线学习平台的用户学习能力评估装置,其特征在于,所述装置包括:
学习项目数据获取模块,获取在线学习平台中用户的学习项目数据的集合;所述学习项目数据包括学习项目描述标签和学习项目练习分值;
用户学习进度评估模块,用于根据预设的分类规则和所述学习项目描述标签对所述学习项目数据进行分类,得到对应的学习项目类别,根据所述学习项目类别的数量得到用户的学习广度评估结果,根据所述学习项目类别对应的所述学习项目描述标签的数量,得到用户对所述学习项目类别的学习深度评估结果;
用户学习能力评估模块,用于将所述学习项目类别对应的所述学习项目练习分值按生成时间从早到晚排列,得到对应的分值序列,根据所述分值序列中第一个元素得到用户对所述学习项目类别的学习速度能力评估结果,根据所述分值序列的各项元素的数值变化得到用户对所述学习项目类别的知识迁移能力评估结果,根据所述分值序列中大于预设值的元素的位置得到用户对所述学习项目类别的坚韧性评估结果,根据所述分值序列的元素的时间间隔,得到用户对所述学习项目类别的持续性评估结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202011424512.2A 2020-12-09 2020-12-09 一种用于在线学习平台的用户学习能力评估方法和装置 Active CN112199507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011424512.2A CN112199507B (zh) 2020-12-09 2020-12-09 一种用于在线学习平台的用户学习能力评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011424512.2A CN112199507B (zh) 2020-12-09 2020-12-09 一种用于在线学习平台的用户学习能力评估方法和装置

Publications (2)

Publication Number Publication Date
CN112199507A CN112199507A (zh) 2021-01-08
CN112199507B true CN112199507B (zh) 2021-02-09

Family

ID=74033175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011424512.2A Active CN112199507B (zh) 2020-12-09 2020-12-09 一种用于在线学习平台的用户学习能力评估方法和装置

Country Status (1)

Country Link
CN (1) CN112199507B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315278B1 (ko) * 2013-04-29 2013-10-07 송은하 버추얼 클래스 기반 글로벌 시티즌십 인큐베이팅 시스템 및 그 방법
US20160049083A1 (en) * 2015-08-13 2016-02-18 Zoomi, Inc. Systems and methods for authoring an integrated and individualized course or textbook
CN105260964A (zh) * 2015-11-13 2016-01-20 苏州中科知图信息科技有限公司 基于在线学习的学情分析系统及方法
CN108573628B (zh) * 2018-04-23 2020-11-24 中山大学 基于学习轨迹的学习能力评估与扩展知识点集推荐的方法
CN111861207A (zh) * 2020-07-20 2020-10-30 李晚华 一种基于大数据的评估学习能力是否提高的方法

Also Published As

Publication number Publication date
CN112199507A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112632385B (zh) 课程推荐方法、装置、计算机设备及介质
Huo et al. Knowledge modeling via contextualized representations for LSTM-based personalized exercise recommendation
CN110472060B (zh) 题目推送方法、装置、计算机设备和存储介质
CN109902753B (zh) 用户推荐模型训练方法、装置、计算机设备和存储介质
CN111651676B (zh) 基于能力模型进行职业推荐的方法、装置、设备和介质
CN111090809A (zh) 题目推荐方法、装置、计算机设备和存储介质
CN108491515B (zh) 一种用于校园心理咨询的句对匹配度预测方法
CN110929524A (zh) 数据筛选方法、装置、设备及计算机可读存储介质
CN112184089B (zh) 试题难度预测模型的训练方法、装置、设备及存储介质
CN110569356A (zh) 基于智能面试交互系统的面试方法、装置和计算机设备
CN117056612B (zh) 基于ai辅助的备课资料数据推送方法及系统
Ikawati et al. Student behavior analysis to predict learning styles based felder silverman model using ensemble tree method
He et al. Automatic coding of open-ended questions into multiple classes: Whether and how to use double coded data
CN113988044B (zh) 错题原因类别的判定方法
Talebi et al. Ensemble models based on CNN and LSTM for dropout prediction in MOOC
CN115238169A (zh) 一种慕课可解释推荐方法、终端设备及存储介质
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
Visser et al. Mixture and hidden Markov models with R
CN117763126A (zh) 知识检索方法、设备、存储介质及装置
CN113761193A (zh) 日志分类方法、装置、计算机设备和存储介质
Fu et al. Predicting programming performance by using process behavior in a block-based programming environment
CN112199507B (zh) 一种用于在线学习平台的用户学习能力评估方法和装置
CN111062449A (zh) 预测模型的训练方法、兴趣度预测方法、装置和存储介质
Qiu et al. Toward better grade prediction via A2GP-an academic achievement inspired predictive model
CN114357297A (zh) 学生画像构建及学习资源分发方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant