CN111858844A - 确定主题文本段落相对于参考文本段落匹配准确度的系统及其方法 - Google Patents

确定主题文本段落相对于参考文本段落匹配准确度的系统及其方法 Download PDF

Info

Publication number
CN111858844A
CN111858844A CN201910410658.2A CN201910410658A CN111858844A CN 111858844 A CN111858844 A CN 111858844A CN 201910410658 A CN201910410658 A CN 201910410658A CN 111858844 A CN111858844 A CN 111858844A
Authority
CN
China
Prior art keywords
accuracy
text
sub
reference text
paragraphs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910410658.2A
Other languages
English (en)
Other versions
CN111858844B (zh
Inventor
何伟安
真峰
真言
真河
吴丽芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meijia Private Ltd
Original Assignee
Meijia Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meijia Private Ltd filed Critical Meijia Private Ltd
Publication of CN111858844A publication Critical patent/CN111858844A/zh
Application granted granted Critical
Publication of CN111858844B publication Critical patent/CN111858844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种用于确定主题文本段落相对于参考文本段落匹配的准确度的系统,包括检索参考文本段落的检索模块、从参考文本段落中确定数个子参考文本段落的确定模块、将数个子参考文本段落转换为数个向量表示和将主题文本转换为向量表示的转换模块、接收主题文本段落的接收模块、将数个向量表示中的每一个与该向量表示进行比较并生成数个向量表示中的每一个与该向量表示之间的比较的准确度值的处理模块,以使处理模块确定用于确定数个向量表示中的每一个和向量表示之间的准确度的准确度阈值,为高于准确度阈值的每个准确度值分配准确度分数,使得主题文本段落相对于参考文本段落的准确度基于准确度分数之和,以及用于该系统的方法。

Description

确定主题文本段落相对于参考文本段落匹配准确度的系统及 其方法
技术领域
本发明涉及一种用于确定主题文本段落相对于参考文本段落匹配的准确度的系统及其方法。尤其涉及一种用于确定将答案脚本与标准答案脚本匹配的准确度的系统及其方法。
背景技术
随着教师的角色不断拓展,他们的工作量不断增加。教师除了教学和开展课外活动外,还必须批改学生的作业和试卷。虽然这是教学的一个重要部分,但它很耗时且具有重复性。结果是,教师可能会疲劳,并且可能无法向学生提供全面的反馈。因此,如果提供解决方案来为教师的作业和试卷批改进行部分或全部减负,以便教师能够更好地利用时间来准备即将到来的课程,监督并且与学生互动,这将会很有好处。
现在已有系统,用于将主题文本段落,例如作业和试卷,与参考文本段落,例如作业和试卷的标准答案,进行匹配。但是,此类系统具有限制性,无法准确评估学生的答案。例如,某些系统只能读取无法处理问答型答案的多选项答案。一些系统能够处问答型答案;然而,这样的系统并不能提供段落之间的准确匹配。通常,系统无法识别答案中的要点,也无法提供对答案的准确评估。
因此,如果能提供一种能够更准确地评估和批改作业和试卷的系统,以便教师可免于这些任务并将更多时间集中在教学上,这是很有益的。
发明内容
为了解决现有技术存在的缺陷,本发明提供了一种用于确定主题文本段落相对于参考文本段落匹配的准确度的系统。系统包括检索模块,该检索模块被配置成检索参考文本段落;确定模块,该确定模块被配置成从所述参考文本段落中确定数个子参考文本段落;转换模块,该转换模块被配置成将数个子参考文本段落转换为数个向量表示;接收模块,该接收模被配置成接收主题文本段落,使得转换模块被配置成将主题文本转换成向量表示;处理模块,该处理模块被配置成将数个向量表示中的每一个与向量表示进行比较,并为数个向量表示中的每一个与向量表示之间的比较生成准确度值,使得处理模块被配置成确定用于确定数个向量表示中的每一个与向量表示的准确度的准确度阈值,并且对高于准确度阈值的每一个准确度值分配准确度分数,使得主题文本段落相对于参考文本段落的准确度基于准确度分数之和。
确定模块可以被配置成在数个子参考文本段落的每个段落的末尾插入结束符号。
系统可进一步被配置成为数个子参考文本段落中的每一个检索一个或数个关键术语,以使系统可被配置成在数个子参考文本段落中的每个子参考文本段落中识别一个或多个关键术语,如此,则当在主题文本段落中识别出一个或多个关键术语时,可以分配准确度分数。
向量表示包括向量空间模型。
处理模块可被配置成显示来自数个子参考文本段落的一个准确的子参考文本段落,如此,则当子参考文本段落的向量表示与主题文本段落的向量表示之间的比较的准确度值高于或等于准确度阈值时,可以确定准确的子参考文本段落。
处理模块可被配置成显示来自数个子参考文本段落的不准确子参考文本段落,如此,则当子参考文本段落的向量表示与主题文本段落的向量表示之间的比较的准确度值低于准确度阈值时,可以确定不准确子参考文本段落。
提出了一种用于确定主题文本段落相对于参考文本段落的准确度的方法。该方法包括从数据库中检索参考文本段落,从参考文本段落中确定数个子参考文本段落,将数个子参考文本段落转换成数个向量表示,接收主题文本段落,将主题文本转换成向量表示,将数个向量表示与该向量表示进行比较,生成针对数个向量表示中的每一个与向量表示之间比较的准确度值,确定用于确定数个向量表示中的每一个与向量表示之间的准确度的准确度阈值,并且为高于准确度阈值的每个准确度值分配准确度分数,使得主题文本段落相对于参考文本段落的准确度基于准确度分数之和。
该方法还可以包括在数个子参考文本段落的每一段落的末尾插入终止符号。
该方法还可以包括为数个子参考文本段落中的每一个检索一个或多个关键术语,以使系统可以被配置成识别数个子参考文本段落中的每一个中的一个或多个关键术语,如此,则当主题文本段落中识别出一个或多个关键术语时,可以分配准确度分数。
向量表示可包括向量空间模型。
该方法还可包括从显示来自数个子参考文本段落的一个准确的子参考文本段落,如此,则当子参考文本段落的向量表示与主题文本段落的向量表示之间比较的准确度值高于或等于准确度阈值时,可以确定准确的子参考文本段落。
该方法还可以包括显示来自数个子参考文本段落的不准确的子参考文本段落,如此,则当子参考文本段落的向量表示与主题文本段落的向量表示之间比较的准确度值低于准确度阈值时,可以确定不准确的子参考文本段落。
本发明还提供了一种用于确定主题文本段落相对于参考文本段落的准确度的计算机实现方法,该方法包括从数据库中检索参考文本段落,确定来自参考文本段落的数个子参考文本段落,将数个子参考文本段落转换为数个向量表示,接收主题文本段落,将主题文本转换为向量表示,将数个向量表示与该向量表示进行比较,生成针对数个向量表示中的每一个与向量表示之间的比较的准确度值,确定用于确定数个向量表示中的每一个和向量表示的准确度的准确度阈值,并且为高于准确度阈值的每个准确度值分配准确度分数,从而使得主题文本段落相对于参考文本段落的准确度可以基于准确度分数之和。
附图说明
图1为用于确定主题文本段落相对于参考文本段落匹配准确度的系统的一个示例性实施例。
图2为网络服务器的一个示例性实施例。
图3A为教师终端上显示的问题集的一个示例。
图3B为基于问题集的参考文本段落的一个示例。
图3C为学生用户界面的一个示例。
图4为用于确定主题文本段落相对于参考文本段落准确度的方法的一个示例性流程图。
图5A为参考文本段落的一个示例。
图5B为在终端上显示的数个参考文本段落中的准确子参考文本段落的一个示例。
图5C为在终端上显示的参考文本段落的不准确子参考文本段落的一个示例。
图5D为学生的作业记录页面的一个示例。
图5E为反馈页面的一个示例。
图6A为生成总分的打分方案的一个示例。
图6B为用于生成总分的打分规则的一个示例。
图7为反馈页面的一个示例。
图8为确定主题文本段落相对于参考文本段落匹配准确度的方法的一个示例性流程图。
具体实施方式
图1所示为用于确定主题文本段落相对于参考文本段落匹配准确度的系统100的一个示例性实施例。系统100可以包括被配置成托管系统100的数据库的数据服务器110、通过网络130连接至数据服务器110并被配置成托管系统100的后端处理设施的网络服务器120以及通过网络130连接至数据服务器110和网络服务器120并被配置成托管系统100的前端处理设施的一个或多个终端140T、140S。数据服务器110和网络服务器120可以是单个服务器。一个或多个终端140中的每一个都可以是台式计算机、带有屏幕的移动设备,例如笔记本电脑、移动电话。
图2所示为网络服务器120的一个示例性实施例。网络服务器120包括检索模块122,被配置成检索参考文本段落;确定模块124,被配置成确定来自参考文本段落的数个子参考文本段落;转换模块126,被配置成将数个子参考文本段落转换为数个向量表示;接收模块128,被配置成接收主题文本段落,其中转换模块126被配置成将主题文本段落转换为向量表示;处理模块129,被配置成将数个向量表示与该向量表示进行比较并生成针对数个向量表示中的每一个与向量表示之间的比较的准确度值,使得处理模块129被配置成确定用于确定数个向量表示中的每一个和向量表示的准确度的准确度阈值,并为高于准确度阈值的每个准确度值分配准确度分数,使得主题文本段落相对于参考文本段落的准确度基于准确度分数之和。主题文本段落可以是答案脚本,例如,以键盘键入的段落。参考文本段落可以包括标准答案脚本,例如,以键盘键入的段落。参考文本段落可以被存储在数据服务器110中,并由网络服务器120进行检索。
图3A所示为教师终端140,即教师终端140T,上显示的问题集302的一个示例。系统100可从数据服务器110中检索问题集302,并且在教师终端140T上显示该问题集302。或者,系统100可以经由教师终端140T从教师处接收问题集302,并将该问题集302存储在数据服务器110中。
图3B所示为基于问题集302的参考文本段落304,例如标准答案集,的一个示例。当教师输入参考文本段落304时,系统100可以从教师终端140T处接收参考文本段落304。参考文本段落304可以被存储在数据服务器110中。如图3B所示,参考文本段落304可以包括标准答案集的要点。参考文本段落304可被分割为数个子参考文本段落,以使数个段落中的每一个都可以包括标准答案集的一个要点。例如,标准答案集可以划分为数个段落,每个段落都具有标准答案集的一个要点。此外,教师还可以识别出数个子参考文本段落中的每一个中的关键术语。系统100可从教师终端接收数个子参考文本段落中的每一个的关键术语,并将这些关键术语存储在数据服务器110中。
图3C所示为学生用户界面的一个示例。学生可以登录到100系统中并尝试连结问题集302。学生可以选择学生终端140上,即学生终端140S上显示的用户界面中的问题集302,以作回答。在显示问题集302时,学生可以将主题文本段落,即他或她的答案集,输入到终端中。一旦完成,系统100可以接收主题文本段落并将其存储在数据服务器110中。
图4所示为用于确定主题文本段落相对于参考文本段落304准确度的方法400的一个示例性流程图。方法400可以是计算机实现的方法。为了确定主题文本段落和参考文本段落304之间的匹配准确度,在块410中从数据服务器110中的数据库检索参考文本段落304。数个子参考文本段由块420中的参考文本段304确定。如上所示,参考文本段304可被分割为数个子参考文本段,即数个段落。在块430中,将数个子参考文本段落转换为数个向量表示。在块440处接收主题文本段落。在块450中,主题文本段落被转换为向量表示。可以从数据服务器110检索出主题文本段落,即答案集。在块460中,将数个向量表示与向量表示进行比较,并且在块470中,针对数个向量表示中的每一个与向量表示之间的比较,生成准确度值。在块480中,确定准确度阈值,用于确定数个向量表示中的么一个和向量表示之间的准确度。在490块中,为高于准确度阈值的每个准确度值分配准确度分数,使得主题文本段落相对于参考文本段落304的准确度基于准确度分数之和。基于准确度分数,老师能够评估学生的答案与参考文本段落304的接近程度。向量表示可以是向量空间模型或术语向量模型,是用于表示文本、段落等的代数模型。
图5A所示为参考文本段落304的一个示例。参考文本段落304可以包括标准答案集,该集能够被分解为数个要点。数个要点可以被编号或序列化。因此,系统100可以通过在数个子参考文本段落的每个段落的开始处插入序列号来序列化数个子参考文本段落。系统100可以被配置成在数个子参考文本段落304的每个段落的末端插入终止符号502,以表示要点或子参考文本段落的末端。例如,如图5A所示,数个子参考文本段落中的每一个都可以被连续编号,并且可以在其末端插入终止符号502,即[端点],以表示子参考文本段落的末端。使用转换模块126的系统100可以被配置成将数个子参考文本段落转换为数个向量表示。转换后,基于终结符号,使用确定模块124的系统100可以识别或确定参考文本段落304的数个子参考文本段落。如前所述,数个子参考文本段落中的每一个都可以被转换为向量表示,例如向量空间模型。
为了确定学生答案集的准确度,使用接收模块128的系统100可以从学生终端140S处接收主题文本段落。或者,如果主题文本段落已被存储在数据服务器110中,则系统100可以从数据服务器110检索主题文本段落。使用转换模块126的系统100可以将主题文本段落转换为向量表示,例如向量空间模型。使用处理模块129的系统100可以将参考文本段落304的数个向量表示与主题文本第304段的向量表示进行比较,以产生一个准确度值。系统100可以确定用于确定准确度的准确度阈值,或者确定主题文本段落与参考文本段落304的接近程度。可以从教师处获得准确度阈值。系统100可以从教师终端140T处接收准确度阈值,并且将准确度阈值存储在数据服务器110中。准确度阈值的范围可以是从0到1。例如,准确度阈值可以是0.5。如果教师希望提高准确度,则准确度阈值可以是0.6、0.7、0.75等。
系统100可以将数个子参考文本段落中的每一个的向量表示与参考文本段落304的向量表示进行比较,并且针对比较的子参考文本的向量表示和参考文本段落304的向量表示之间的每个比较生成准确度值。系统100可以将准确度值与准确度阈值进行比较,并且如果准确度值高于或等于准确度阈值,则分配准确度状态。
系统100可以被配置成通过教师终端从教师处接收一个或多个关键术语。教师可以针对数个子参考文本段落中的每一个识别出一个或多个关键术语,例如关键词、关键短语,以确保比较期间在主题文本段落中识别出一个或多个关键术语。当将数个子参考文本段落的数个向量表示与主题文本段落的向量表示进行比较时,系统100可以被配置成识别主题文本段落中数个子参考文本段落中的每一个的一个或多个关键术语。只有当在主题文本段落中找到一个或多个关键词时,系统100可以分配准确度分数或准确度状态。如果在数个子参考文本段落的数个向量表示中的一个与主题文本段落的向量表示之间的比较期间准确度值高于准确度阈值,但是在相关的子参考文本段落中没有找到一个或多个关键术语,则系统100不会为相关的子参考文本段落分配准确度分数或准确度状态。
图5B所示为在终端140,例如学生终端140S,上显示的数个子参考文本段落304S的准确子参考文本段落304AS的一个示例。系统100可被配置成向学生提供答案集的反馈。系统100可以在学生终端140S上显示准确的子参考文本段落304AS,以向学生显示答案集部分,该答案集部分已被正确或准确回答,即匹配标准答案集或者当该答案集为准确状态时。准确的子参考文本段落304AS可以包括标准答案集的数个段落中的一个或多个,当数个向量表示与向量表示相比较时,该标准答案集的数个段落中的一个或多个具有高于或等于准确度阈值的准确度值。当子参考文本段落的向量表示和主题文本段落的向量表示之间比较的准确度值高于或等于准确度阈值时,可以确定准确的子参考文本段落304AS。
系统可以显示重叠量表305,以显示与参考文本段落中的语言,即教师在标准答案集中使用的语言,相比的主题文本段落中的语言,即学生在答案集中使用的语言,的重叠程度。重叠标度305可以是带状的,例如带1(最低)至带10(最高),以指示主题文本段落相对于参考文本段落之间的准确度。语言是确定主题文本相对于参考文本的准确度的重要组成部分。
图5C所示为在终端140,例如学生终端140S,上显示的子参考文本段落304S的不准确子参考文本段落304AI的一个示例。不准确的子参考文本段落304AI可以包括标准答案集的数个段落中的一个或多个,当数个向量表示与向量表示相比较时,这些段落的准确度值低于准确度阈值。当子参考文本段落的向量表示与主题文本段落的向量表示之间的比较的准确度值低于准确度阈值时,可确定不准确的子参考文本段落304AI。系统100可以在学生终端140S上显示不准确的子参考文本段落304AI,以向学生显示遗漏的或被错误或不准确地回答的,即不匹配标准答案集或不具有准确状态的,答案集部分。这样,学生就能够立即知道他或她的答案集中没有包含的要点。准确的子参考文本段落304AS集可与不准确的子参考文本段落304AI集区分开来。准确的子参考文本段落304AS集可以被标上与不准确的子参考文本段落304AI集不同和相反的颜色。例如,准确的子参考文本段落304AS集可以以绿色显示,并且不准确的子参考文本段落304AI集可以以红色显示。以这种方式,学生可以快速识别出不准确的子参考文本段落304AI。如上所示,系统100可以被配置成向学生提供逐点反馈。例如,系统100可以显示与主题文本段落的相应部分相邻的相关准确子参考文本段落304AS或不准确的子参考文本段落304AI。
图5D所示为学生的作业记录页面510的一个示例。可以在学生的终端上显示作业左右记录页面510。作业记录页面510显示了学生试图完成的作业和各自的总分。学生在收到总分后,可能希望查看老师的反馈。作业记录页面510可以包含针对作业的每一个的反馈按钮。学生可以激活反馈按钮来显示反馈页面,例如,单击反馈按钮。系统100可以接收反馈激活信号以激活反馈页面。在接收到反馈信号后,系统100可以从网络服务器120检索反馈页面510,并在学生终端140S上显示反馈页面510。
图5E所示为反馈页面520的一个示例。学生终端140S可以显示反馈页面510,该页面可以包括问题集302、参考文本段落304,即标准答案集,以及主题文本段落,即答案集。如图5E所示,可以在第一列520A中显示问题集302,可以在第二列520B中显示答案集,并且可以在第三列520C中安排标准答案集。数个子参考文本段落304S,即标准答案集,可以按照答案集的顺序排列,以向学生显示学生的主题文本段落,即答案集,和参考文本段落304,即标准答案集,之间的比较。此外,可以在第四列520D中显示总分,以显示学生的答案集已经达到的总分数,可以在第五列520E中显示教师的反馈,并且可以在第六列中520F显示答案解析520A。
图6A所示为用于生成总分的打分方案630的一个示例。系统100可以包括一个打分模块,该打分模块被配置成生成主题文本段落的总分。基于数个子参考文本段落中的子参考文本段落的数量,打分模块可以被配置成生成相等数量的打分方案。参考图6A,提供了用于四个问题的打分方案的一个示例。对于4个问题的集合,生成4个打分方案。针对每个打分编号生成每个打分方案,例如针对“1”分生成一个打分方案,针对“2”分生成一个打分方案等。对于4个问题的集合,在标准答案集中可以有4个段落,每个段落都具有一个段落编号和终止符号。如果主题文本段落,即学生的答案集,与参考课文段落,即标准答案集,匹配,则学生将获得4分。因此,如果答案集只匹配标准答案集的3个段落,那么将评为3分,如此等等。可以由教师指定为每个打分方案分配的分数。例如,每个问题可以分配2分。因此,针对每个打分方案的分数可以是8、6、4、2,而不是4、3、2、1。
图6B所示为用于生成总分的打分规则632的一个示例。对于每个打分方案,使用打分模块的系统100可以生成打分规则的数量,该打分规则的数量等于相配答案的组合的数量,以获得被分配的分数。例如,对于4分的打分方案,只生成1个打分规则,因为只有1个获得4分的组合。对于3分的打分方案,有4个打分规则,因为有4个获得3分的组合。对于2分的打分方案,有6个获得2分的组合。对于1分的打分方案,有4个获得1分的组合。系统100可以将相配的标准答案集的序列号与打分规则进行匹配,并且分配与相配的打分规则对应的分数。例如,如果学生具有仅与问题集302中的问题1和问题3匹配的答案集,则系统100可以用“P1、P3”识别出打分规则并且将相应的分数“2”分配给学生。如果学生的答案集仅匹配问题4,则系统100可以识别出打分规则“P4”并且将相应的分数“1”分配给学生。如上所示,可据此生成任何数目的问题的打分方案,例如10个问题。生成的分数可以被存储为总分。打分方案630和打分规则632可以提供一种用于生成总分的直接、容易和可能的资源友好型方法。打分模块,打分方案和打分规则可以被存储在数据服务器110或网络服务器120中。
图7所示为反馈页面720的一个示例。系统100可以被配置成接收重新评估主题文本段落的请求。系统100可以显示请求按钮722,该请求按钮被配置成接收来自学生的请求。如果学生希望提出重新评估主题文本段落的请求,则学生可以激活请求按钮,例如单击请求按钮。在接收到请求时,系统100可以被配置成向教师终端发送请求。同时,系统100可以被配置成针对教师终端140T的主题文本段落,以供教师参考。系统100可以将参考文本段落304发送至教师终端140T。系统100可以将主题文本段落的相关段落和数个子参考文本段落304S中的相关段落发送至教师终端140T,以便于教师参考。系统100可以被配置成在教师终端140T上显示主题文本段落和参考文本段落304。系统100可以被配置成在教师终端140T上显示主题文本段落的相关段落和数个子参考文本段落304S中的相关段落。系统100可以被配置成在教师重新评估主题文本段落后自教师终端140T接收重新评估输入。重新评估输入可以是二进制的,例如正或负。如果重新评估输入为正值,即教师认为学生的答案集与标准答案集接近,则系统100可以通过打分模块重新生成总分。如果重新评估输入为负值,则不需要进一步操作。如果总分低于教师确定的通过阈值分数,则系统100可以被配置成将另一个问题集302分配至学生终端140S。
图8所示为确定主题文本段落相对于参考文本段落304匹配准确度的方法的一个示例性流程图800。流程图800从系统100在802处接收来自学生终端的主题文本段落开始。在802处接收到主题文本段落时,系统100可以将主题文本段落转换为804处的向量表示。同时,系统100可以在806处接收或检索参考文本段落304。系统100可以确定808处的数个子参考文本段落。系统100可以在808处接收和确定数个子参考文本段落中的每一个的一个或多个关键词。系统100可以在810处在数个子参考文本段落的每一个的末端插入终止符号。此后,系统100可以在804处将数个子参考文本段落转换为数个向量表示。一旦这两种转换都完成了,系统100就可以在812处将数个向量表示中的每一个与向量表示进行比较。通过每次比较,系统100可以生成准确度分数,并在814处将准确度分数与准确度阈值分数进行比较。如果准确度分数高于准确度阈值分数,则有数个子参考段落的段落与主题文本段落匹配,并且生成准确状态。系统100可以在816处计算和生成总分,并且总分可以被存储在数据服务器110中,或在818处在终端140上显示。系统100可以在820处提供反馈,例如逐点反馈。可以生成反馈,所生成的反馈可被存储在数据服务器110中,并且可在822处终端140上显示。系统100可以在显示反馈时接收重新评估主题文本段落的请求。一旦反馈完成,系统100就可以根据主题文本段落的重新评估在814处生成总分。由此,流程图800结束。如果准确度值低于准确度阈值,即数个子参考段落与主题文本段落不匹配,且未生成准确状态,则系统100可以被配置成向学生分配新的问题集302。如果系统100为学生分配了新的问题集302,则学生可以在802处向系统100提供答案集,即主题文本段落。如果系统100未分配新的问题集,则可能生成零分或总分。
本领域技术人员将会理解,一个示例中描述的特征可以不限于该示例,并且可以与任何一个其他示例组合。
本发明涉及一种用于确定主题文本段落相对于参考文本段落匹配的准确度的系统及其方法,如在本文中参照附图所描述的并/或在附图中说明的。

Claims (13)

1.一种用于确定主题文本段落相对于参考文本段落匹配的准确度的系统,所述系统包括
检索模块,被配置成检索所述参考文本段落,
确定模块,被配置成从所述参考文本段落中确定数个子参考文本段落,
转换模块,被配置成将所述数个子参考文本段落转换为数个向量表示,
接收模块,被配置成接收所述主题文本段落,其中所述转换模块被配置成将所述主题文本转换成向量表示,
处理模块,被配置成将所述数个向量表示中的每一个与所述向量表示进行比较,并针对所述数个向量表示中的每一个与所述向量表示之间的比较生成准确度值,
其中所述处理模块被配置成确定一个用于确定所述数个向量表示中的每一个与所述向量表示的准确度的准确度阈值,并且
对高于所述准确度阈值的每一个准确度值分配准确度分数,其中所述主题文本段落相对于所述参考文本段落的准确度基于所述准确度分数之和。
2.根据权利要求1所述的系统,其中所述确定模块被配置成在所述数个子参考文本段落的每个段落的末尾插入结束符号。
3.根据权利要求1或2所述的系统,该所述系统进一步被配置成为所述数个子参考文本段落中的每一个检索一个或多个关键术语,其中所述系统被配置成在所述数个子参考文本段落中的每一个中识别一个或多个关键术语,其中当在所述主题文本段落中识别出一个或多个关键术语时,分配所述准确度分数。
4.根据权利要求1所述的系统,其中所述向量表示包括向量空间模型。
5.根据权利要求1所述的系统,其中所述处理模块被配置成显示来自所述数个子参考文本段落的一个准确的子参考文本段落,其中当所述子参考文本段落的向量表示与所述主题文本段落的向量表示之间的比较的准确度值高于或等于所述准确度阈值时,确定准确的子参考文本段落。
6.根据权利要求1所述的系统,其中所述处理模块被配置成显示来自所述数个子参考文本段落的不准确子参考文本段落,其中当所述子参考文本段落的向量表示与所述主题文本段落的向量表示之间的比较的准确度值低于所述准确度阈值时,确定不准确子参考文本段落。
7.一种用于确定主题文本段落相对于参考文本段落的准确度的方法,所述方法包括:
从数据库中检索所述参考文本段落,
从所述参考文本段落中确定数个子参考文本段落,
将所述数个子参考文本段落转换成数个向量表示,
接收所述主题文本段落,
将所述主题文本转换成向量表示,
将所述数个向量表示与所述向量表示进行比较,
生成针对所述数个向量表示中的每一个与所述向量表示之间比较的准确度值,确定用于确定所述数个向量表示中的每一个与所述向量表示之间的准确度的准确度阈值,以及
为高于所述准确度阈值的每个准确度值分配准确度分数,其中所述主题文本段落相对于所述参考文本段落的准确度基于所述准确度分数之和。
8.根据权利要求7所述的方法,所述方法还包括在所述数个子参考文本段落的每一段落的末尾插入终止符号。
9.根据权利要求7或8所述的方法,所述方法还包括为所述数个子参考文本段落中的每一个检索一个或多个关键术语,其中所述系统被配置成识别所述数个子参考文本段落中的每一个中的一个或多个关键术语,其中当所述主题文本段落中识别出一个或多个关键术语时,分配所述准确度分数。
10.根据权利要求7所述的方法,其中所述向量表示包括向量空间模型。
11.根据权利要求7所述的方法,所述方法还包括显示来自所述数个子参考文本段落的一个准确的子参考文本段落,其中当所述子参考文本段落的向量表示与所述主题文本段落的向量表示之间比较的准确度值高于或等于所述准确度阈值时,确定准确的子参考文本段落。
12.根据权利要求7所述的方法,所述方法还包括显示来自所述数个子参考文本段落的不准确的子参考文本段落,其中当所述子参考文本段落的向量表示与所述主题文本段落的向量表示之间比较的准确度值低于所述准确度阈值时,确定不准确的子参考文本段落。
13.一种用于确定主题文本段落相对于参考文本段落的准确度的计算机实现方法,所述方法包括:
从数据库中检索所述参考文本段落,
从所述参考文本段落中确定数个子参考文本段落,
将所述数个子参考文本段落转换成数个向量表示,
接收所述主题文本段落,
将所述主题文本转换成向量表示,
将所述数个向量表示与所述向量表示进行比较,
生成针对所述数个向量表示中的每一个与所述向量表示之间比较的准确度值,确定用于确定所述数个向量表示中的每一个与所述向量表示之间的准确度的准确度阈值,以及
为高于所述准确度阈值的每个准确度值分配准确度分数,其中所述主题文本段落相对于所述参考文本段落的准确度基于所述准确度分数之和。
CN201910410658.2A 2019-04-18 2019-05-17 确定主题文本段落相对于参考文本段落匹配准确度的系统及其方法 Active CN111858844B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10201903516W 2019-04-18
SG10201903516WA SG10201903516WA (en) 2019-04-18 2019-04-18 System For Determining Accuracy Of Matching A Subject Text Passage To A Reference Text Passage and Method Thereof

Publications (2)

Publication Number Publication Date
CN111858844A true CN111858844A (zh) 2020-10-30
CN111858844B CN111858844B (zh) 2023-10-31

Family

ID=72966079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910410658.2A Active CN111858844B (zh) 2019-04-18 2019-05-17 确定主题文本段落相对于参考文本段落匹配准确度的系统及其方法

Country Status (2)

Country Link
CN (1) CN111858844B (zh)
SG (1) SG10201903516WA (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
KR101680007B1 (ko) * 2015-10-08 2016-11-28 한국교육과정평가원 서답형 답안 채점 방법, 그를 위한 컴퓨터 프로그램과 기록매체
CN106897749A (zh) * 2017-03-03 2017-06-27 盐城工学院 自动阅卷方法及系统
US20170278416A1 (en) * 2014-09-24 2017-09-28 Hewlett-Packard Development Company, L.P. Select a question to associate with a passage
US20180114108A1 (en) * 2016-10-20 2018-04-26 Google Inc. Answer to question neural networks
CN108846063A (zh) * 2018-06-04 2018-11-20 北京百度网讯科技有限公司 确定问题答案的方法、装置、设备和计算机可读介质
US10169208B1 (en) * 2014-11-03 2019-01-01 Charles W Moyes Similarity scoring of programs
CN109326161A (zh) * 2018-12-05 2019-02-12 杭州大拿科技股份有限公司 一种试卷批改一体机
CN109583429A (zh) * 2018-12-26 2019-04-05 杭州大拿科技股份有限公司 一种批改试卷中应用题的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
US20170278416A1 (en) * 2014-09-24 2017-09-28 Hewlett-Packard Development Company, L.P. Select a question to associate with a passage
US10169208B1 (en) * 2014-11-03 2019-01-01 Charles W Moyes Similarity scoring of programs
KR101680007B1 (ko) * 2015-10-08 2016-11-28 한국교육과정평가원 서답형 답안 채점 방법, 그를 위한 컴퓨터 프로그램과 기록매체
US20180114108A1 (en) * 2016-10-20 2018-04-26 Google Inc. Answer to question neural networks
CN106897749A (zh) * 2017-03-03 2017-06-27 盐城工学院 自动阅卷方法及系统
CN108846063A (zh) * 2018-06-04 2018-11-20 北京百度网讯科技有限公司 确定问题答案的方法、装置、设备和计算机可读介质
CN109326161A (zh) * 2018-12-05 2019-02-12 杭州大拿科技股份有限公司 一种试卷批改一体机
CN109583429A (zh) * 2018-12-26 2019-04-05 杭州大拿科技股份有限公司 一种批改试卷中应用题的方法及装置

Also Published As

Publication number Publication date
SG10201903516WA (en) 2020-11-27
CN111858844B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US11508251B2 (en) Method and system for intelligent identification and correction of questions
US8768241B2 (en) System and method for representing digital assessments
CN111651676B (zh) 基于能力模型进行职业推荐的方法、装置、设备和介质
CN114913729B (zh) 一种选题方法、装置、计算机设备和存储介质
WO2006121542A2 (en) Systems and methods for semantic knowledge assessment, instruction, and acquisition
CN110909035A (zh) 个性化复习题集生成方法、装置、电子设备及存储介质
US20140188746A1 (en) Systems, methods, and devices for determining alignment of education content to one or more education standards
JP7147185B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20220383767A1 (en) Semi-automated evaluation of long answer exams
CN110956861A (zh) 一种基于墨水屏的实时多人教学交互方法及系统
KR101265720B1 (ko) 관계형 문항을 이용한 학습 능력 향상 시스템 및 그 동작방법
CN108073603B (zh) 作业分发方法及装置
KR102016820B1 (ko) 오답 노트 생성 방법, 장치
KR101050173B1 (ko) 온라인 독서 학습 훈련 시스템 및 방법
CN113204581A (zh) 基于大数据的题目推荐方法、装置、设备及存储介质
CN112907155A (zh) 评价学生作业产品的方法
US20180137781A1 (en) Systems and methods for braille grading tools
CN111858844B (zh) 确定主题文本段落相对于参考文本段落匹配准确度的系统及其方法
CN110443732B (zh) 作业统分方法、装置、设备和介质
CN114841157A (zh) 基于数据分析的线上互动方法、系统、设备及存储介质
CN114240705A (zh) 一种题库信息处理方法
KR20020082161A (ko) 독서능력지수를 이용한 독서능력 관리방법 및 시스템
Le Design of interactive English reading teaching system based on hybrid communication network
JP7247481B2 (ja) 情報処理装置及びプログラム
CN113793539A (zh) 辅助教学方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant