CN109815955B - 题目辅助方法及系统 - Google Patents

题目辅助方法及系统 Download PDF

Info

Publication number
CN109815955B
CN109815955B CN201910158424.3A CN201910158424A CN109815955B CN 109815955 B CN109815955 B CN 109815955B CN 201910158424 A CN201910158424 A CN 201910158424A CN 109815955 B CN109815955 B CN 109815955B
Authority
CN
China
Prior art keywords
topic
question
vector
answer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910158424.3A
Other languages
English (en)
Other versions
CN109815955A (zh
Inventor
何涛
石凡
罗欢
陈明权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dana Technology Inc
Original Assignee
Hangzhou Dana Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dana Technology Inc filed Critical Hangzhou Dana Technology Inc
Priority to CN201910158424.3A priority Critical patent/CN109815955B/zh
Publication of CN109815955A publication Critical patent/CN109815955A/zh
Priority to US16/559,736 priority patent/US20200286402A1/en
Priority to PCT/CN2020/075826 priority patent/WO2020177531A1/zh
Application granted granted Critical
Publication of CN109815955B publication Critical patent/CN109815955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/02Counting; Calculating
    • G09B19/025Counting; Calculating with electrically operated apparatus or devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274Syntactic or semantic context, e.g. balancing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/041Abduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

本公开涉及一种题目辅助方法,包括:通过影像获取装置获取至少包括呈现在第一表面的第一题目的影像;通过第一计算装置和预先训练的第一神经网络模型,基于所述影像,识别出所述影像中的所述第一题目所在的第一区域;通过第二计算装置和预先训练的第二神经网络模型,基于所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;通过第三计算装置和预先训练的第三神经网络模型,基于所述第一题目,判断所述第一题目的类型;若所述第一题目的类型为计算题,则:分别通过第四和第五计算装置分别生成所述计算题的第一答案和步骤化的解题过程;以及通过显示装置显示所述计算题的题目、第一答案、以及步骤化的解题过程。

Description

题目辅助方法及系统
技术领域
本公开涉及人工智能技术领域,尤其涉及一种题目辅助方法及系统。
背景技术
近年来,人工智能已经应用于日常的教学和学习中。例如,通过智能终端等电子设备对试卷或作业中的题目进行批改等。
因此,存在对新技术的需求。
发明内容
本公开的一个目的是提供一种题目辅助方法及系统。
根据本公开的第一方面,提供了一种题目辅助方法,包括:通过影像获取装置获取至少包括呈现在第一表面的第一题目的影像;通过第一计算装置和预先训练的第一神经网络模型,基于所述影像,识别出所述影像中的所述第一题目所在的第一区域;通过第二计算装置和预先训练的第二神经网络模型,基于所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;通过第三计算装置和预先训练的第三神经网络模型,基于所述第一题目,判断所述第一题目的类型;若所述第一题目的类型为计算题,则:分别通过第四和第五计算装置分别生成所述计算题的第一答案和步骤化的解题过程;以及通过显示装置显示所述计算题的题目、第一答案、以及步骤化的解题过程。
根据本公开的第二方面,提供了一种题目辅助系统,包括:预先训练的一个或多个神经网络模型;具有影像获取功能和显示功能的一个或多个电子设备,被配置为获取至少包括呈现在第一表面的第一题目的影像;以及一个或多个计算装置,被配置为:基于所述神经网络模型和所述影像,识别出所述影像中的所述第一题目所在的第一区域;基于所述神经网络模型和所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;基于所述神经网络模型和所述第一题目,判断所述第一题目的类型;若所述第一题目的类型为计算题,则生成所述计算题的第一答案和步骤化的解题过程,其中,所述一个或多个电子设备还被配置为显示所述计算题的题目、第一答案、以及步骤化的解题过程。
根据本公开的第三方面,提供了一种题目辅助系统,包括:一个或多个处理器;以及一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,其中,当所述一系列计算机可执行的指令被所述一个或多个处理器执行时,使得所述一个或多个处理器进行如上所述的方法。
根据本公开的第四方面,提供了一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列计算机可执行的指令被一个或多个计算装置执行时,使得所述一个或多个计算装置进行如上所述的方法。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1A和1B是示意性地示出根据本公开的实施例的题目辅助方法所基于的显示装置的显示画面的示意图。
图2是示意性地示出根据本公开的一个实施例的题目辅助方法的至少一部分的流程图。
图3是示意性地示出根据本公开的一个实施例的题目辅助方法的至少一部分的流程图。
图4是示意性地示出根据本公开的一个实施例的题目辅助系统的至少一部分的结构图。
图5是示意性地示出根据本公开的一个实施例的题目辅助系统的至少一部分的结构图。
注意,在以下说明的实施方式中,有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分,而省略其重复说明。在本说明书中,使用相似的标号和字母表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
具体实施方式
以下将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。在下面描述中,为了更好地解释本公开,阐述了许多细节,然而可以理解的是,在没有这些细节的情况下也可以实践本公开。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
本公开提供了一种题目辅助方法,可以用于例如教学和学习。用户可以利用具有影像获取功能的第一电子设备对需要进行辅助的题目进行拍照或摄像来获取该题目的影像,然后可以在具有显示功能的第二电子设备(第一和第二电子设备可以是同一个设备也可以是不同的设备)上显示该题目(可以显示识别出来的字符形式的题目,也可以显示获取的该题目的影像)、该题目的答案、以及该题目的解题过程。在一些实施例中,该题目的解题过程为步骤化的解题过程,如图1A所示,用户可以通过该步骤化的解题过程容易地理解解题方法。在一些实施例中,该题目的解题过程为图形化的解题过程,如图1B所示,用户可以通过该图形化的解题过程从另一个角度理解解题方法。在一些实施例中,本公开的方法可以对单个题目进行辅助。在一些实施例中,本公开的方法可以对整个试卷中的多个题目进行辅助。
下面参考图2描述根据本公开实施例的题目辅助方法以及该方法所包括的各个步骤。
步骤S11:通过第一电子设备中的影像获取装置获取至少包括呈现在第一表面的第一题目的影像。影像可以包括任何形式的视觉呈现,例如照片或视频等。影像获取装置可以包括摄像头、成像模块、以及图像处理模块等,还可以包括用于接收或下载影像的通信模块等。相应地,影像获取装置获取影像可以包括拍摄照片或视频、接收或下载照片或视频等。第一表面可以包括纸张(例如试卷、书籍或小册子等)、白板、粉笔板、显示屏幕(例如电视机屏幕、电脑屏幕、平板屏幕或学习机屏幕等)或各种其他表面。
步骤S12:通过第一计算装置和预先训练的第一神经网络模型,基于影像,识别出影像中的第一题目所在的第一区域。第一神经网络模型的输入为包括第一题目的影像,输出为影像中的第一题目所在的第一区域。
第一神经网络模型可以使用大量的训练样本,按照上述的输入输出,通过任何已知的方法预先训练得到。例如,可以通过如下过程训练得到:建立一个影像样本训练集,其中的每个影像样本中均包括至少一个题目。对每个影像样本进行标注处理,以标注出每个影像样本中的至少一个题目所在的区域的位置;以及通过经过标注处理的影像样本训练集对第一神经网络进行训练,以得到第一神经网络模型。第一神经网络可以是任何已知的神经网络,例如深度残差网络、递归神经网络等。
对第一神经网络进行训练还可以包括:基于影像样本测试集,对经过训练的第一神经网络的输出准确率进行测试;若输出准确率小于预定的第一阈值,则增加影像样本训练集中的影像样本的数量,所增加的影像样本中的每个影像样本均经过上述标注处理;以及通过增加了影像样本数量之后的影像样本训练集,重新对第一神经网络进行训练。然后基于影像样本测试集对重新训练过的第一神经网络的输出准确率再次进行测试,直到第一神经网络的输出准确率满足要求即不小于预定的第一阈值为止。如此,经过训练的、输出准确率满足要求的第一神经网络可以用作步骤S12中的经过预先训练的第一神经网络模型。本领域技术人员应理解,可以根据需要,将影像样本训练集中的一个或多个影像样本放到影像样本测试集中,也可以将影像样本测试集中的一个或多个影像样本放到影像样本训练集中。
步骤S13:通过第二计算装置和预先训练的第二神经网络模型,基于第一区域,识别出第一区域中的字符,从而得到第一题目。第二神经网络模型的输入为影像中的第一题目所在的第一区域(例如,从完整的影像中切割出来的第一区域),输出为第一区域中的字符。应当理解,本文中所称的字符,包括文字(包括文本文字、图形文字、字母、数字、符号等)以及图片等。
第二神经网络模型可以使用大量的训练样本,按照上述的输入输出,通过任何已知的方法预先训练得到。例如,可以通过如下过程训练得到:建立一个影像样本训练集,其中的每个影像样本为一个区域的影像,每个区域包括一个题目。对每个影像样本进行标注处理,以标注出每个影像样本中的区域中的字符;以及通过经过标注处理的影像样本训练集对第二神经网络进行训练,以得到第二模型。第二神经网络可以是任何已知的神经网络。此外,与上文对第一神经网络的描述相类似,对第二神经网络进行训练还可以包括用测试集来验证模型的输出准确率,如果准确率不满足要求时可以增大样本集中样本的数量并重新进行训练。
步骤S14:通过第三计算装置和预先训练的第三神经网络模型,基于第一题目,判断第一题目的类型。题目的类型可以包括计算题、应用题、填空题、选择题、操作题等。第三神经网络模型的输入为第一题目,输出为第一题目的类型。第三神经网络模型可以使用大量的训练样本,按照上述的输入输出,通过任何已知的方法对第三神经网络进行预先训练而得到。第三神经网络可以是任何已知的神经网络,例如深度卷积神经网络等。
若步骤S14中识别出的第一题目的类型为计算题,则进行步骤S151和S152。其中,步骤S151为:分别通过第四和第五计算装置分别生成计算题的第一答案和步骤化的解题过程。其中,第一答案为应用本发明的方法给出的用于计算题的题目辅助的参考答案,用于生成第一答案的第四计算装置可以是任何已知的计算引擎。
通过第五计算装置生成计算题的步骤化的解题过程包括:根据计算题的题目的形式特征(例如未知数的个数、几次方、位置和计算符号等),从预先设置的规则库中获取对应的规则;以及根据对应的规则生成计算题的步骤化的解题过程。下面以一个具体的例子来说明。
例如,如果识别到的计算题的题目为
Figure BDA0001983720420000061
则确定该题目的形式特征为带分母的一元一次方程。在预先设置的规则库中获取带分母的一元一次方程的解题规则。获取的规则例如可以为:依次包括去分母、去括号、移项、合并同类项、以及系数化为1共五个步骤。然后根据包括这五个步骤的规则可以生成如下的步骤化的解题过程:
1.去分母,得:5(x+4)=3(x+5);
2.去括号,得:5x+20=3x+15;
3.移项,得:5x-3x=15-20;
4.合并同类项,得:2x=-5;
5.系数化为1,得:
Figure BDA0001983720420000062
需要说明的是,如众所周知的,在以上步骤化的解题过程的示例中,去分母的步骤通常是方程的两边均乘以两个分母的最小公倍数(例如在以上例子中分母3和5的最小公倍数是15)。如果分母为分数(包括小数),则去分母的步骤可以包括两个子步骤:先消除分母中的分数(例如可以利用分子和分母同乘以分母的倒数),然后再将方程的两边均乘以两个分母的最小公倍数。
以方程
Figure BDA0001983720420000063
为例:消除分母中的分数,即方程左边的分子和分母分别乘以方程左边的分母的倒数5,方程右边的分子和分母分别乘以方程右边的分母的倒数4/3,可将方程变为:
Figure BDA0001983720420000064
然后再将方程的两边均乘以两个分母的最小公倍数3,则方程变为:15x=4(x+1)。如此得到了上述示例的步骤化的解题过程中去分母的步骤的结果。
步骤S152为:通过第二电子设备中的显示装置显示计算题的题目和/或识别到的第一区域,并且显示第一答案以及步骤化的解题过程。其中,第一和第二电子设备可以是同一个设备、也可以是不同的设备。也就是说,影像获取装置和显示装置可以位于同一个电子设备中、也可以位于不同的电子设备中。显示装置的显示画面的一个示意性的例子(画面100)可以参考图1A。
画面100包括标题106、通过第二计算装置和第二神经网络模型识别到的计算题的题目101、通过第一计算装置和第一神经网络模型识别到的计算题的题目所在的影像区域107、通过第四计算装置生成的计算题的答案102、以及通过第五计算装置生成的步骤化的解题过程108、109。虽然图1A所示的例子中,计算题的题目101和其影像区域107均被显示在画面100中,本领域技术人员应理解,只需要显示计算题的题目101和其影像区域107中的一个即可,甚至可以不显示计算题的题目101和其影像区域107中的任何一个。
在一些实施例中,处于对教学/学习效果的考虑,计算题的步骤化的解题过程在第一触发时才被显示。例如,用户通过查看显示装置获得该计算题的第一答案(即参考答案)之后,可以先自己思考解题的步骤,在用户需要查看解题步骤时,再触发(例如通过操作第二电子设备中的特定操作装置、或者显示装置的显示画面中的特定区域等)显示装置显示这些步骤化的解题过程。例如,本发明的方法可以默认只显示计算题的题目101和第一答案102;当显示装置的显示画面100中的计算题的题目101所在的区域、影像区域107所在的区域、计算题的第一答案102所在的区域、空白区域103、和/或其他指定的区域(例如,局部标题105所在的区域、标题106所在的区域)被用户进行指定的第一操作(例如轻触、连续两次轻触、长按、深按、轻扫等)时,才显示步骤化的解题过程108、109。应当理解,本申请的附图中对其他指定的区域的标示只是示意性的,其他指定的区域显然可以包括附图中未标示出的其他区域。
步骤化的解题过程可以包括一个或多个步骤,每个步骤对应一个操作,每个操作通常具有其名称108(在图1A所示的例子中为“两边各减2”)、过程109-1(在图1A所示的例子中为方框内显示的、被标记为“如何做?”的内容)和结果109-2(在图1A所示的例子中为“x=1”)。虽然未在附图中示出,但本领域技术人员应理解,名称108、过程109-1和结果109-2可以不都被显示,只要显示其中的一者、或者显示其中的任意两者均可。作为一个示例,在第一触发时,画面100可以默认显示每个步骤所对应的操作的名称108和结果109-2,以作为对用户的题目辅助。当用户希望了解更多该操作的内容时,例如如何得到该结果109-2时,可以操作(例如轻触)指定的区域(例如特殊标记104所在的区域),以触发显示该操作的过程109-1。
在一些实施例中,若步骤S14中识别出的第一题目的类型为计算题,则可以通过第六计算装置生成计算题的图形化的解题过程,并且在第二触发时,通过显示装置显示计算题的题目和/或识别到的第一区域,并且显示第一答案以及计算题的步骤化和/或图形化的解题过程。显示装置的显示画面的一个示意性的例子(画面200)可以参考图1B。由于图形化的解题过程204更直观和更容易理解,所以显示图形化的解题过程更有助于题目辅助的效果。出于与以上步骤化的解题过程类似的考虑,图形化的解题过程可以在第二触发时才被显示,例如,在显示装置的显示画面200中的计算题的题目201所在的区域、计算题的第一答案201所在的区域、特定的操作区域(例如区域标题205所在的区域、标题206所在的区域等)、和/或空白区域203等被用户进行指定的第二操作(例如轻触、连续两次轻触、长按、深按、轻扫等)时。
在一些实施例中,本发明的方法可以默认只显示计算题的题目和第一答案,在第一触发时显示步骤化的解题过程,并且在第二触发时显示图形化的解题过程。在一些实施例中,本发明的方法可以默认只显示计算题的题目、第一答案和步骤化的解题过程,并且在第二触发时显示图形化的解题过程。在一些实施例中,本发明的方法可以默认只显示计算题的题目、第一答案和图形化的解题过程,并且在第一触发时显示步骤化的解题过程。
通过第六计算装置生成计算题的图形化的解题过程可以包括:基于plotly库或pm算法模型将计算题转换为函数图;以及根据函数图生成计算题的图形化的解题过程。下面以一些具体的例子来说明图形化的解题过程。
例如,如图1B所示的例子中,计算题的题目为x+2=3。可以先根据该题目建立二元一次方程组,即y=x+2和y=3两个方程。然后利用plotly库或pm算法模型分别将这两个方程转换为直角坐标系中的函数图。例如,将y=x+2转换为斜率为1、截距为2的一条直线,将y=3转换为平行于x轴的、截距为3的一条直线。从直角坐标系中的函数图中可以看出,题目的解即为两条直线的交点,即x=1。再例如,对于二元二次方程,已知的是其函数曲线为抛物线,该抛物线与某一个坐标轴的交点即为方程的解。因此,本方法可以先确定方程的解,然后再确定函数曲线。例如,对于方程y=2x2-5x+2,已知的是因变量y是自变量x的函数;本方法可以先通过十字相乘法求得方程的两个解为x=0.5和x=2,因此可以确定该抛物线与x轴的两个交点为0.5和2;并根据二次变量的系数的正负得知该抛物线的开口向上,因此,可以容易地利用plotly库或pm算法模型确定和绘制函数曲线。
在一些实施例中,根据本发明实施例的题目辅助方法还可以对呈现在第一表面的与第一题目相关联的第二答案(例如,可以是用户对第一题目的作答答案)进行批改。在这些情况下,通过第一计算装置和第一神经网络模型,基于包括呈现在第一表面的第一题目和相关联的第二答案的影像,识别出影像中的第一题目所在的第一区域以及第二答案所在的第二区域。通过第二计算装置和预先训练的第二神经网络模型识别出第一区域中的字符,从而得到第一题目;并通过第七计算装置和预先训练的第四神经网络模型识别出第二区域中的字符,从而得到第二答案。通过第八计算装置比较第一和第二答案,以得到相同或不同的结果。通过显示装置显示计算题的题目、第一答案、第二答案、第一和第二答案相同或不同的结果、以及步骤化的解题过程。第一和第二答案相同或不同的结果可以通过特定的符号(例如“√”或“×”)来显示,也可以通过特定的标记来标示出与第一答案(参考答案)不同的第二答案(作答答案)来显示。
第四神经网络模型的训练方式可以类似于第二神经网络模型的训练方式。在一些实施例中,考虑到通常第一题目的字体为印刷体,而第二答案的字体为手写体(因为其可能为用户手写的答案),因此用于识别第一区域中的字符的第二神经网络模型和用于识别第二区域中的字符的第四神经网络模型可以是分别训练的不同的模型。应当理解,第二神经网络模型和第四神经网络模型也可以是同一个模型。
若步骤S14中识别出的第一题目的类型为应用题,则进行步骤S161至S164。步骤S161为:通过第九计算装置和预先训练的第五神经网络模型,对应用题进行特征提取以生成二维特征向量。二维特征向量可以是特征图(feature map),其可以用本领域已知的任何方法来生成,例如可以利用深度卷积神经网络对应用题所在的影像区域进行处理来提取。其中,对应用题中的文字生成第一二维特征向量,并对应用题中的图片生成第二二维特征向量;以及将第一和第二二维特征向量拼接以得到二维特征向量。第五神经网络模型的输入为第一题目(包括文字和图片),输出为第一题目所对应的二维特征向量(为第一和第二二维特征向量拼接而成)。第五神经网络模型可以使用大量的训练样本,按照上述的输入输出,通过任何已知的方法对第五神经网络进行预先训练而得到。第五神经网络可以是任何已知的神经网络,例如深度卷积神经网络等。
步骤S162为:通过第十计算装置,从预先设置的向量索引库中搜索与二维特征向量相匹配的题目向量(例如,与第一题目最相近的题目的向量)。向量索引库包括多个组,每个组包括一个或多个向量。这些向量都是对已知的应用题的题目(例如,预先搜集的应用题的试题库中的题目)进行特征提取而生成二维特征向量。来自同一组的任意两个向量具有相同的长度,来自不同组的任意两个向量具有不同的长度。
从向量索引库中搜索题目向量可以包括:先根据二维特征向量的长度,在向量索引库中找到与二维特征向量的长度匹配的组;然后在这个长度匹配的组中进行搜索,以找到题目向量。如此,能够更快速地搜索到与二维特征向量相匹配的题目向量。在一些实施例中,每个组具有各自的索引,该索引与该组中的各个向量的长度相匹配(例如相等),在向量索引库中找到与二维特征向量的长度匹配的组包括:根据二维特征向量的长度索引到匹配的组。
步骤S163为:通过第十一计算装置,根据预先设置的与题目向量相关联的第三答案,生成应用题的第四答案(即参考答案);以及步骤S164为:通过显示装置显示应用题的第四答案。其中,第三答案也可以来自于预先搜集的应用题的试题库,例如,该试题库中包括题目和与题目对应的参考答案。在步骤S162中找到与第一题目最相近的题目(即与上述题目向量相匹配的题目)之后,从试题库中提取该题目相关联的答案,即为第三答案。然后以第三答案作为母板,根据第一题目与该最相近的题目之间的差异,来对第三答案进行变形以得到第四答案。
上述预先训练的第一至第五神经网络模型中的每一个可以整体存储在以下各项中的任意一项中的一个或多个存储介质上,也可以第一部分存储在以下各项中的任意一项中的一个或多个存储介质上、并且第二部分存储在以下各项中的任意一项中的一个或多个存储介质上:第一和/或第二电子设备、一个或多个远程服务器、第一至第十一计算装置中的一个或多个。
进行上述各步骤处理的第一至第十一计算装置中的任意两者可以为相同的计算装置,也可以为不同的计算装置。第一至第十一计算装置中的每一个可以包括一个或多个处理器,属于一个计算装置的一个或多个处理器可以:全部位于第一和/或第二电子设备的物理壳体内、全部位于一个或多个远程服务器的物理壳体内、或者第一部分位于第一和/或第二电子设备的物理壳体内并且第二部分位于一个或多个远程服务器的物理壳体内。应当理解,第一至第十一计算装置中的每一个还可以包括一个或多个存储器,以存储上述一个或多个处理器能够执行的指令、以及执行指令所需要的数据,例如上述一个或多个神经网络模型的至少一部分。
根据上述实施例描述的本发明的题目辅助方法,描述了对单独一道题目(一道计算题或一道应用题)进行处理的过程。本发明的题目辅助方法还可以针对整张试卷中的多道题目共同进行处理。应当理解,上述实施例中的针对单独一道题目进行处理的过程也同样适用于对多道题目共同进行处理的过程。为简明起见,在对以下实施例进行描述时,适用上述过程的方法不再重复描述。
通过第一电子设备中的影像获取装置获取基本上整张试卷的影像,整张试卷中包括多个题目,多个题目的类型可以相同也可以不同。题目的类型可以包括计算题、应用题、填空题、选择题、操作题等。通过第一计算装置和第一神经网络模型,识别出影像中的多个题目所在的多个各自的区域。通过第二计算装置和第二神经网络模型,分别识别上述多个区域中的字符,从而得到整张试卷的影像中包括的多个题目。通过第三计算装置和第三神经网络模型,判断多个题目中每个题目的类型。对于识别出的整张试卷中的计算题,针对每道计算题,可以进行如上所述的步骤S151和S152的操作。对于识别出的整张试卷中的应用题,针对每道计算题,可以进行如上所述的步骤S161至S164的操作。
应当理解,如果试卷上还包括作答答案的话,本方法在识别各个题目所在的区域时,还可以识别出每个题目的作答答案所在的区域。然后通过相应的模型识别出这些每个作答答案所在的区域中的字符,从而通过比较作答答案和参考答案来批改整张试卷中的作答答案。
在一些实施例中,判断多个题目中每个题目的类型基于每个题目(例如,题目中包括的文字和图片等)以及每个题目在整张试卷中的位置(例如,每个题目所在的区域在整张试卷的影像中的位置)。对于一些试卷来说,题目类型的分布是较为固定的,例如计算题分布在试卷的开头,接着是选择题或填空题,最后是应用题和操作题。因此,在识别题目类型时考虑题目在整张试卷中的位置,这有利于识别的准确性。位置可以是细致的位置,例如坐标;也可以是粗略的位置,例如分布在试卷的哪个部分(例如左上部分、右中部分等);还可以是题目顺序,例如位于第一道大题的部分等。在这些实施例中,第三神经网络模型的输入为每个题目、以及每个题目在整张试卷中相应的位置,输出为每个题目的类型。在用于训练第三神经网络模型的影响样本中,标记了样本中的各个题目及其答案所在区域的位置及题目类型。
在一些实施例中,利用第一神经网络模型,识别出影像中的多个题目所在的多个区域包括如下过程:利用深度卷积神经网络提取整张试卷图片的二维特征向量。对二维特征向量的每一个网格生成不同形状的锚点(anchor,也可以称作锚框,anchor box)。每个锚点包括标注框的中心坐标以及标注框的长度和高度。因为试卷中的文字行多以长条形为主,因此,可以预先定义多个锚点,包括宽高比为2:1、3:1、4:1以及其他比例的矩形框。识别出的每个题目的区域被标注以各自合适形状的矩形框。
在对第一神经网络模型进行训练时,所用的影像样本(用于训练时模型的输入)包括标记了样本中的各个题目及其答案所在真实区域的真实框(Ground Truth Box,例如可以是通过人工标注的)。其中,对题目中的图片和文字分别标记真实框。训练的过程中,将生成的锚点与真实框做回归,以使得标注框更贴近题目的真实位置,进一步使得第一神经网络模型能够更好地识别各个题目所在的区域。
题目通常是打印字体,而作答答案通常是手写字体;并且尤其对于应用题来说,题目包含的字符集与作答答案包含的字符集常常是不同的,作答答案所包含的字符集通常要小于题目所包含的字符集,例如,作答答案中的字符通常为常用汉字加上数字、字母和符号。鉴于此,在一些实施例中,可以用不同的模型来识别题目和作答答案中的字符,两个模型可以是分别用不同的训练图像样本集来训练的。尽管如此,模型识别的方法均可以采用空洞卷积来对字符(包括文字和图片)进行特征提取,使得提取到的特征具有较大的感受野(receptive field)。并且采用空洞卷积可以根据手写文字的上下文进行识别;还可以间隔识别,不用逐个文字进行识别,这便于机器并行处理。然后通过注意力模型对特征进行解码,最终输出变长的文字。
对于整张试卷中的应用题,为了使得题目搜索的结果更准确,在一些实施例中,本发明的方法还包括如图3所示的过程。步骤S21:通过第九计算装置和第五神经网络模型,分别对多个应用题{T1,T2,…,Tn}的题目区域影像进行特征提取以生成多个二维特征向量{a1,a2,…,an}。步骤S22:通过第十计算装置,从预先设置的向量索引库中搜索分别与多个二维特征向量距离最近的多个最近向量{b1,b2,…,bn}。步骤S23:根据向量索引库中各个向量被预先设置的标记(每个向量的标记为该向量所来自的试卷的识别ID),得到多个最近向量所分别对应的多个试卷{P1,P2,…,Pn}。步骤S24:将多个试卷中出现次数最多的试卷确定为匹配试卷P。步骤S25:针对多个题目中的每一个题目,判断与每个题目的二维特征向量距离最近的最近向量所对应的试卷是匹配试卷。以题目T1为例,判断与T1的二维特征向量a1距离最近的最近向量b1所对应的试卷P1是匹配试卷P。如果是,则进行步骤S261:将与题目T1的二维特征向量a1距离最近的最近向量b1确定为第一题目的题目向量t;若不是,则进行步骤S262:将题目T1的二维特征向量a1,在具有匹配试卷P的识别的标记的多个向量中进行最短编辑距离匹配,在其中找到与题目T1的二维特征向量a1的最短编辑距离最小的向量s,将最短编辑距离最小的向量s确定为第一题目的题目向量t。步骤S27:通过第十一计算装置,根据预先设置的与题目T1的题目向量t相关联的第三答案(例如,母板答案),生成题目T1的第四答案(即参考答案)。步骤S28:通过显示装置显示这些应用题的第四答案。
图4是示意性地示出根据本公开的一个实施例的题目辅助系统400的至少一部分的结构图。本领域技术人员可以理解,系统400只是一个示例,不应将其视为限制本公开的范围或本文所描述的特征。在该示例中,系统400可以包括一个或多个神经网络模型410、一个或多个电子设备420、一个或多个计算装置430、一个或多个远程服务器440、以及网络450。其中,一个或多个神经网络模型410、一个或多个电子设备420、一个或多个计算装置430、以及一个或多个远程服务器440可以通过网络450互相连接。其中网络450可以是任何有线或无线的网络,也可以包括线缆。此外,虽然一个或多个神经网络模型410在系统400中以独立于一个或多个电子设备420、一个或多个计算装置430、一个或多个远程服务器440、以及网络450之外的单独的框示出,应当理解,一个或多个神经网络模型410可以实际存储在系统400所包括的其他实体420、430、440、450中的任何一个上。
例如,一个或多个计算装置可以包括作为负载平衡的服务器群来操作的服务器计算装置。另外,虽然以上描述的一些功能被指示为在具有单个处理器的单个计算装置上发生,但是本文所描述的主题的各个方面均可以由多个计算装置例如通过网络相互通信来实现。
一个或多个电子设备420、一个或多个计算装置430、以及一个或多个远程服务器440中的每一个可以位于网络450的不同节点处,并且能够直接地或间接地与网络450的其他节点通信。本领域技术人员可以理解,系统500还可以包括图4未示出的其他装置,其中每个不同的装置均位于网络450的不同节点处。可以使用各种协议和系统将网络530和本文所描述的系统中的组成部分互连,以使得网络450可以是互联网、万维网、特定内联网、广域网或局域网的一部分。网络450可以利用诸如以太网、WiFi和HTTP等标准通信协议、对于一个或多个公司来说是专有的协议、以及前述协议的各种组合。虽然当如上所述来传递或接收信息时获得了某些优点,但是本文所描述的主题并不限于任何特定的信息传递方式。
一个或多个电子设备420、一个或多个计算装置430、以及一个或多个远程服务器440中的每一个可以被配置为与图5所示的系统500类似,即具有一个或多个处理器510、一个或多个存储器520、以及指令和数据。一个或多个电子设备420、一个或多个计算装置430、以及一个或多个远程服务器440中的每一个可以是意在由用户使用的个人计算装置或者由企业使用的商业计算机装置,并且具有通常与个人计算装置或商业计算机装置结合使用的所有组件,诸如中央处理单元(CPU)、存储数据和指令的存储器(例如,RAM和内部硬盘驱动器)、诸如显示器(例如,具有屏幕的监视器、触摸屏、投影仪、电视或可操作来显示信息的其他装置)、鼠标、键盘、触摸屏、麦克风、扬声器、和/或网络接口装置等的一个或多个I/O设备。一个或多个电子设备420还可以包括用于捕获静态图像或记录视频流的一个或多个相机、以及用于将这些元件彼此连接的所有组件。
虽然一个或多个电子设备420可以各自包括全尺寸的个人计算装置,但是它们可能可选地包括能够通过诸如互联网等网络与服务器无线地交换数据的移动计算装置。举例来说,一个或多个电子设备420可以是移动电话,或者是诸如带无线支持的PDA、平板PC或能够经由互联网获得信息的上网本等装置。在另一个示例中,一个或多个电子设备420可以是可穿戴式计算系统。
图5是示意性地示出根据本公开的一个实施例的题目辅助系统500的至少一部分的结构图。系统500包括一个或多个处理器510、一个或多个存储器520、以及通常存在于计算机等装置中的其他组件(未示出)。一个或多个存储器520中的每一个可以存储可由一个或多个处理器510访问的内容,包括可以由一个或多个处理器510执行的指令521、以及可以由一个或多个处理器510来检索、操纵或存储的数据522。
指令521可以是将由一个或多个处理器510直接地执行的任何指令集,诸如机器代码,或者间接地执行的任何指令集,诸如脚本。本文中的术语“指令”、“应用”、“过程”、“步骤”和“程序”在本文中可以互换使用。指令521可以存储为目标代码格式以便由一个或多个处理器510直接处理,或者存储为任何其他计算机语言,包括按需解释或提前编译的独立源代码模块的脚本或集合。指令521可以包括引起诸如一个或多个处理器510来充当本文中的各神经网络的指令。本文其他部分更加详细地解释了指令521的功能、方法和例程。
一个或多个存储器520可以是能够存储可由一个或多个处理器510访问的内容的任何临时性或非临时性计算机可读存储介质,诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD、USB存储器、能写存储器和只读存储器等。一个或多个存储器520中的一个或多个可以包括分布式存储系统,其中指令521和/或数据522可以存储在可以物理地位于相同或不同的地理位置处的多个不同的存储装置上。一个或多个存储器520中的一个或多个可以经由网络连接至一个或多个第一装置510,和/或可以直接地连接至或并入一个或多个处理器510中的任何一个中。
一个或多个处理器510可以根据指令521来检索、存储或修改数据522。存储在一个或多个存储器520中的数据522可以包括上文所述的各种待识别的影像、各种影像样本集、以及用于各个神经网络的参数等。其他不与影像或神经网络相关联的数据也可以被存储在一个或多个存储器520中。举例来说,虽然本文所描述的主题不受任何特定数据结构限制,但是数据522还可能存储在计算机寄存器(未示出)中,作为具有许多不同的字段和记录的表格或XML文档存储在关系型数据库中。数据522可以被格式化为任何计算装置可读格式,诸如但不限于二进制值、ASCII或统一代码。此外,数据522可以包括足以识别相关信息的任何信息,诸如编号、描述性文本、专有代码、指针、对存储在诸如其他网络位置处等其他存储器中的数据的引用或者被函数用于计算相关数据的信息。
一个或多个处理器510可以是任何常规处理器,诸如市场上可购得的中央处理单元(CPU)、图形处理单元(GPU)等。可替换地,一个或多个处理器510还可以是专用组件,诸如专用集成电路(ASIC)或其他基于硬件的处理器。虽然不是必需的,但是一个或多个处理器510可以包括专门的硬件组件来更快或更有效地执行特定的计算过程,诸如对影像进行图像处理等。
虽然图5中示意性地将一个或多个处理器510以及一个或多个存储器520示出在同一个框内,但是系统500可以实际上包括可能存在于同一个物理壳体内或不同的多个物理壳体内的多个处理器或存储器。例如,一个或多个存储器520中的一个可以是位于与与上文所述的一个或多个计算装置(未示出)中的每一个的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此,引用处理器、计算机、计算装置或存储器应被理解成包括引用可能并行操作或可能非并行操作的处理器、计算机、计算装置或存储器的集合。
在说明书及权利要求中的词语“A或B”包括“A和B”以及“A或B”,而不是排他地仅包括“A”或者仅包括“B”,除非另有特别说明。
在本公开中,对“一个实施例”、“一些实施例”的提及意味着结合该实施例描述的特征、结构或特性包含在本公开的至少一个实施例、至少一些实施例中。因此,短语“在一个实施例中”、“在一些实施例中”在本公开的各处的出现未必是指同一个或同一些实施例。此外,在一个或多个实施例中,可以任何合适的组合和/或子组合来组合特征、结构或特性。
如在此所使用的,词语“示例性的”意指“用作示例、实例或说明”,而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且,本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
如在此所使用的,词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪音以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。
上述描述可以指示被“连接”或“耦合”在一起的元件或节点或特征。如在此所使用的,除非另外明确说明,“连接”意指一个元件/节点/特征与另一种元件/节点/特征在电学上、机械上、逻辑上或以其它方式直接地连接(或者直接通信)。类似地,除非另外明确说明,“耦合”意指一个元件/节点/特征可以与另一元件/节点/特征以直接的或间接的方式在机械上、电学上、逻辑上或以其它方式连结以允许相互作用,即使这两个特征可能并没有直接连接也是如此。也就是说,“耦合”意图包含元件或其它特征的直接连结和间接连结,包括利用一个或多个中间元件的连接。
另外,仅仅为了参考的目的,还可以在下面描述中使用某种术语,并且因而并非意图限定。例如,除非上下文明确指出,否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。
还应理解,“包括/包含”一词在本文中使用时,说明存在所指出的特征、整体、步骤、操作、单元和/或组件,但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
在本公开中,术语“部件”和“系统”意图是涉及一个与计算机有关的实体,或者硬件、硬件和软件的组合、软件、或执行中的软件。例如,一个部件可以是,但是不局限于,在处理器上运行的进程、对象、可执行态、执行线程、和/或程序等。通过举例说明,在一个服务器上运行的应用程序和所述服务器两者都可以是一个部件。一个或多个部件可以存在于一个执行的进程和/或线程的内部,并且一个部件可以被定位于一台计算机上和/或被分布在两台或更多计算机之间。
本领域技术人员应当意识到,在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作,单个操作可以分布于附加的操作中,并且操作可以在时间上至少部分重叠地执行。而且,另选的实施例可以包括特定操作的多个实例,并且在其他各种实施例中可以改变操作顺序。但是,其它的修改、变化和替换同样是可能的。因此,本说明书和附图应当被看作是说明性的,而非限制性的。
另外,本公开的实施方式还可以包括以下示例:
1.一种题目辅助方法,包括:
通过影像获取装置获取至少包括呈现在第一表面的第一题目的影像;
通过第一计算装置和预先训练的第一神经网络模型,基于所述影像,识别出所述影像中的所述第一题目所在的第一区域;
通过第二计算装置和预先训练的第二神经网络模型,基于所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;
通过第三计算装置和预先训练的第三神经网络模型,基于所述第一题目,判断所述第一题目的类型;
若所述第一题目的类型为计算题,则:
分别通过第四和第五计算装置分别生成所述计算题的第一答案和步骤化的解题过程;以及
通过显示装置显示所述计算题的题目和/或所述第一区域,并且显示所述第一答案以及所述步骤化的解题过程。
2.根据1所述的题目辅助方法,其特征在于,通过所述第五计算装置生成所述计算题的步骤化的解题过程包括:
根据所述计算题的题目的形式特征,从预先设置的规则库中获取对应的规则;以及
根据所述对应的规则生成所述计算题的步骤化的解题过程。
3.根据1所述的题目辅助方法,其特征在于,所述步骤化的解题过程包括一个或多个步骤,通过显示装置显示所述步骤化的解题过程包括:按顺序显示所述一个或多个步骤所对应的操作结果。
4.根据3所述的题目辅助方法,其特征在于,通过显示装置显示所述步骤化的解题过程还包括:在所述显示装置的画面中的与所述一个或多个步骤所对应的结果相关联的区域,显示所述一个或多个步骤所对应的操作名称和/或过程。
5.根据1所述的题目辅助方法,其特征在于,所述计算题的步骤化的解题过程在第一触发时才被显示。
6.根据5所述的题目辅助方法,其特征在于,所述第一触发包括:所述显示装置的显示画面中的所述计算题的题目所在的区域、所述计算题的第一答案所在的区域、空白区域、和/或其他指定的区域被进行指定的第一操作。
7.根据1所述的题目辅助方法,其特征在于,若所述第一题目的类型为计算题,则所述方法还包括:
通过第六计算装置生成所述计算题的图形化的解题过程;以及
在第二触发时,通过所述显示装置显示所述计算题的图形化的解题过程。
8.根据7所述的题目辅助方法,其特征在于,通过所述第六计算装置生成所述计算题的图形化的解题过程包括:
基于plotly库或pm算法模型将所述计算题转换为函数图;以及
根据所述函数图生成所述计算题的图形化的解题过程。
9.根据7所述的题目辅助方法,其特征在于,所述第二触发包括:所述显示装置的显示画面中的所述计算题的题目所在的区域、所述计算题的第一答案所在的区域、特定的操作区域、和/或空白区域被进行指定的第二操作。
10.根据1所述的题目辅助方法,其特征在于,所述影像还包括呈现在所述第一表面的与所述第一题目相关联的第二答案,所述方法还包括:
通过所述第一计算装置和所述第一神经网络模型,基于所述影像,还识别出所述影像中的所述第二答案所在的第二区域;
通过第七计算装置和预先训练的第四神经网络模型,识别出所述第二区域中的字符,从而得到所述第二答案;
若所述第一题目的类型为计算题,则:
通过第八计算装置比较所述第一和第二答案,以得到相同或不同的结果;以及
通过所述显示装置还显示所述第二答案、以及所述结果。
11.根据1所述的题目辅助方法,其特征在于,还包括:
若所述第一题目的类型为应用题,则:
通过第九计算装置和预先训练的第五神经网络模型,对所述应用题进行特征提取以生成二维特征向量;
通过第十计算装置,从预先设置的向量索引库中搜索与所述二维特征向量相匹配的题目向量;
通过第十一计算装置,根据预先设置的与所述题目向量相关联的第三答案,生成所述应用题的第四答案;以及
通过显示装置显示所述应用题的第四答案。
12.根据11所述的题目辅助方法,其特征在于,对所述应用题进行特征提取以生成二维特征向量包括:
对所述应用题中的文字生成第一二维特征向量,并对所述应用题中的图片生成第二二维特征向量;以及
拼接所述第一和第二二维特征向量以得到所述二维特征向量。
13.根据11所述的题目辅助方法,其特征在于,所述向量索引库包括多个组,每个组包括一个或多个向量,其中,来自同一组的任意两个向量具有相同的长度,来自不同组的任意两个向量具有不同的长度,
其中,从所述向量索引库中搜索所述题目向量包括:
根据所述二维特征向量的长度,在所述向量索引库中找到与所述二维特征向量的长度匹配的组;
在所述组中进行搜索,以找到所述题目向量。
14.根据12所述的题目辅助方法,其特征在于,每个组具有各自的索引,所述索引与所述组中的向量的长度相匹配,在所述向量索引库中找到与所述二维特征向量的长度匹配的组包括:
根据所述二维特征向量的长度索引到所述匹配的组。
15.根据1所述的题目辅助方法,其特征在于,所述影像包括呈现在所述第一表面的所述第一题目所在的基本上整张试卷,其中,判断所述第一题目的类型还基于所述第一区域在所述整张试卷中的位置。
16.根据15所述的题目辅助方法,其特征在于,所述整张试卷还包括除所述第一题目之外的多个类型为应用题的第二题目,所述方法还包括:
通过所述第一计算装置和所述第一神经网络模型,基于所述影像,识别出所述影像中的所述多个第二题目所在的多个第三区域;
通过所述第二计算装置和所述第二神经网络模型,基于所述多个第三区域,分别识别所述多个第三区域中的字符,从而得到所述多个第二题目;
若所述第一题目的类型为应用题,则:
通过第九计算装置和预先训练的第五神经网络模型,分别对所述第一题目和所述多个第二题目进行特征提取以生成多个二维特征向量;
通过第十计算装置:
从预先设置的向量索引库中搜索分别与所述多个二维特征向量距离最近的多个最近向量;
根据所述向量索引库中各个向量被预先设置的标记,得到所述多个最近向量所分别对应的多个试卷,所述标记为所述向量所来自的试卷的识别;
将所述多个试卷中出现次数最多的试卷确定为匹配试卷;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷是所述匹配试卷,则:
将与所述第一题目的二维特征向量距离最近的所述最近向量确定为所述第一题目的题目向量;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷不是所述匹配试卷,则:
将所述第一题目的二维特征向量,在具有所述匹配试卷的识别的标记的多个向量中进行最短编辑距离匹配,找到与所述第一题目的二维特征向量的最短编辑距离最小的向量,将所述最短编辑距离最小的向量确定为所述第一题目的题目向量;
通过第十一计算装置,根据预先设置的与所述第一题目的题目向量相关联的第三答案,生成所述第一题目的第四答案;以及
通过显示装置显示所述第一题目的第四答案。
17.根据16所述的题目辅助方法,其特征在于,所述第一至第五以及第九至第十一计算装置中的任意两者为相同或不同的计算装置。
18.一种题目辅助系统,包括:
预先训练的一个或多个神经网络模型;
具有影像获取功能和显示功能的一个或多个电子设备,被配置为获取至少包括呈现在第一表面的第一题目的影像;以及
一个或多个计算装置,被配置为:
基于所述神经网络模型和所述影像,识别出所述影像中的所述第一题目所在的第一区域;
基于所述神经网络模型和所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;
基于所述神经网络模型和所述第一题目,判断所述第一题目的类型;
若所述第一题目的类型为计算题,则生成所述计算题的第一答案和步骤化的解题过程,
其中,所述一个或多个电子设备还被配置为显示所述计算题的题目、第一答案、以及步骤化的解题过程。
19.根据18所述的题目辅助系统,其特征在于,
所述一个或多个计算装置还被配置为:若所述第一题目的类型为计算题,则生成所述计算题的图形化的解题过程;以及
所述一个或多个电子设备还被配置为:显示所述计算题的图形化的解题过程。
20.根据18所述的题目辅助系统,其特征在于,
所述一个或多个计算装置还被配置为:若所述第一题目的类型为应用题,则:
基于所述神经网络模型,对所述应用题进行特征提取以生成二维特征向量;
从预先设置的向量索引库中搜索与所述二维特征向量相匹配的题目向量;
根据预先设置的与所述题目向量相关联的第三答案,生成所述应用题的第四答案;以及
所述一个或多个电子设备还被配置为:显示所述应用题的第四答案。
21.根据20所述的题目辅助系统,其特征在于,对所述应用题进行特征提取以生成二维特征向量包括:
对所述应用题中的文字生成第一二维特征向量,并对所述应用题中的图片生成第二二维特征向量;以及
拼接所述第一和第二二维特征向量以得到所述二维特征向量。
22.根据18所述的题目辅助系统,其特征在于,所述影像包括呈现在所述第一表面的所述第一题目所在的基本上整张试卷,其中,判断所述第一题目的类型还基于所述第一区域在所述整张试卷中的位置。
23.根据22所述的题目辅助系统,其特征在于,所述整张试卷还包括除所述第一题目之外的多个类型为应用题的第二题目,
所述一个或多个计算装置还被配置为:
基于所述神经网络模型和所述影像,识别出所述影像中的所述多个第二题目所在的多个第三区域;
基于所述神经网络模型和所述多个第三区域,分别识别所述多个第三区域中的字符,从而得到所述多个第二题目;
若所述第一题目的类型为应用题,则:
基于神经网络模型,分别对所述第一题目和所述多个第二题目进行特征提取以生成多个二维特征向量;
从预先设置的向量索引库中搜索分别与所述多个二维特征向量距离最近的多个最近向量;
根据所述向量索引库中各个向量被预先设置的标记,得到所述多个最近向量所分别对应的多个试卷,所述标记为所述向量所来自的试卷的识别;
将所述多个试卷中出现次数最多的试卷确定为匹配试卷;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷是所述匹配试卷,则:
将所述第一题目的二维特征向量距离最近的所述最近
向量确定为所述第一题目的题目向量;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷不是所述匹配试卷,则:
将所述第一题目的二维特征向量,在具有所述匹配试卷的识别的标记的多个向量中进行最短编辑距离匹配,找到与所述第一题目的二维特征向量的最短编辑距离最小的向量,将所述最短编辑距离最小的向量确定为所述第一题目的题目向量;
根据预先设置的与所述第一题目的题目向量相关联的第三答案,生成所述第一题目的第四答案;以及
所述一个或多个电子设备还被配置为:显示所述第一题目的第四答案。
24.根据18所述的题目辅助系统,其特征在于,所述一个或多个神经网络模型中的一个或多个存储在所述一个或多个电子设备中的一个或多个存储介质上。
25.根据18所述的题目辅助系统,其特征在于,所述题目辅助系统还包括一个或多个远程服务器,所述一个或多个神经网络模型中的一个或多个存储在所述一个或多个远程服务器中的一个或多个存储介质上。
26.根据18所述的题目辅助系统,其特征在于,所述一个或多个计算装置中的一个或多个位于所述一个或多个电子设备的物理壳体内。
27.根据18所述的题目辅助系统,其特征在于,所述题目辅助系统还包括一个或多个远程服务器,所述一个或多个计算装置中的一个或多个位于所述一个或多个远程服务器的物理壳体内。
28.一种题目辅助系统,包括:
一个或多个处理器;以及
一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,
其中,当所述一系列计算机可执行的指令被所述一个或多个处理器执行时,使得所述一个或多个处理器进行如1-17中任一项所述的方法。
29.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列计算机可执行的指令被一个或多个计算装置执行时,使得所述一个或多个计算装置进行如1-17中任一项所述的方法。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。在此公开的各实施例可以任意组合,而不脱离本公开的精神和范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。

Claims (29)

1.一种题目辅助方法,包括:
通过影像获取装置获取至少包括呈现在第一表面的第一题目的影像;
通过第一计算装置和预先训练的第一神经网络模型,基于所述影像,识别出所述影像中的所述第一题目所在的第一区域;
通过第二计算装置和预先训练的第二神经网络模型,基于所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;
通过第三计算装置和预先训练的第三神经网络模型,基于所述第一题目,判断所述第一题目的类型;
若所述第一题目的类型为计算题,则:
通过第四计算装置生成所述计算题的第一答案,并通过第五计算装置基于与所述计算题对应的解题规则生成步骤化的解题过程;以及
通过显示装置显示所述计算题的题目和/或所述第一区域,并且显示所述第一答案以及所述步骤化的解题过程。
2.根据权利要求1所述的题目辅助方法,其特征在于,通过所述第五计算装置生成所述计算题的步骤化的解题过程包括:
根据所述计算题的题目的形式特征,从预先设置的规则库中获取所述对应的解题规则;以及
根据所述对应的解题规则生成所述计算题的步骤化的解题过程。
3.根据权利要求1所述的题目辅助方法,其特征在于,所述步骤化的解题过程包括一个或多个步骤,通过显示装置显示所述步骤化的解题过程包括:按顺序显示所述一个或多个步骤所对应的操作结果。
4.根据权利要求3所述的题目辅助方法,其特征在于,通过显示装置显示所述步骤化的解题过程还包括:在所述显示装置的画面中的与所述一个或多个步骤所对应的结果相关联的区域,显示所述一个或多个步骤所对应的操作名称和/或过程。
5.根据权利要求1所述的题目辅助方法,其特征在于,所述计算题的步骤化的解题过程在第一触发时才被显示。
6.根据权利要求5所述的题目辅助方法,其特征在于,所述第一触发包括:所述显示装置的显示画面中的所述计算题的题目所在的区域、所述计算题的第一答案所在的区域、空白区域、和/或其他指定的区域被进行指定的第一操作。
7.根据权利要求1所述的题目辅助方法,其特征在于,若所述第一题目的类型为计算题,则所述方法还包括:
通过第六计算装置生成所述计算题的图形化的解题过程;以及
在第二触发时,通过所述显示装置显示所述计算题的图形化的解题过程。
8.根据权利要求7所述的题目辅助方法,其特征在于,通过所述第六计算装置生成所述计算题的图形化的解题过程包括:
基于plotly库或pm算法模型将所述计算题转换为函数图;以及
根据所述函数图生成所述计算题的图形化的解题过程。
9.根据权利要求7所述的题目辅助方法,其特征在于,所述第二触发包括:所述显示装置的显示画面中的所述计算题的题目所在的区域、所述计算题的第一答案所在的区域、特定的操作区域、和/或空白区域被进行指定的第二操作。
10.根据权利要求1所述的题目辅助方法,其特征在于,所述影像还包括呈现在所述第一表面的与所述第一题目相关联的第二答案,所述方法还包括:
通过所述第一计算装置和所述第一神经网络模型,基于所述影像,还识别出所述影像中的所述第二答案所在的第二区域;
通过第七计算装置和预先训练的第四神经网络模型,识别出所述第二区域中的字符,从而得到所述第二答案;
若所述第一题目的类型为计算题,则:
通过第八计算装置比较所述第一和第二答案,以得到相同或不同的结果;以及
通过所述显示装置还显示所述第二答案、以及所述结果。
11.根据权利要求1所述的题目辅助方法,其特征在于,还包括:
若所述第一题目的类型为应用题,则:
通过第九计算装置和预先训练的第五神经网络模型,对所述应用题进行特征提取以生成二维特征向量;
通过第十计算装置,从预先设置的向量索引库中搜索与所述二维特征向量相匹配的题目向量;
通过第十一计算装置,根据预先设置的与所述题目向量相关联的第三答案,生成所述应用题的第四答案;以及
通过显示装置显示所述应用题的第四答案。
12.根据权利要求11所述的题目辅助方法,其特征在于,对所述应用题进行特征提取以生成二维特征向量包括:
对所述应用题中的文字生成第一二维特征向量,并对所述应用题中的图片生成第二二维特征向量;以及
拼接所述第一和第二二维特征向量以得到所述二维特征向量。
13.根据权利要求11所述的题目辅助方法,其特征在于,所述向量索引库包括多个组,每个组包括一个或多个向量,其中,来自同一组的任意两个向量具有相同的长度,来自不同组的任意两个向量具有不同的长度,
其中,从所述向量索引库中搜索所述题目向量包括:
根据所述二维特征向量的长度,在所述向量索引库中找到与所述二维特征向量的长度匹配的组;
在所述组中进行搜索,以找到所述题目向量。
14.根据权利要求12所述的题目辅助方法,其特征在于,每个组具有各自的索引,所述索引与所述组中的向量的长度相匹配,在所述向量索引库中找到与所述二维特征向量的长度匹配的组包括:
根据所述二维特征向量的长度索引到所述匹配的组。
15.根据权利要求1所述的题目辅助方法,其特征在于,所述影像包括呈现在所述第一表面的所述第一题目所在的基本上整张试卷,其中,判断所述第一题目的类型还基于所述第一区域在所述整张试卷中的位置。
16.根据权利要求15所述的题目辅助方法,其特征在于,所述整张试卷还包括除所述第一题目之外的多个类型为应用题的第二题目,所述方法还包括:
通过所述第一计算装置和所述第一神经网络模型,基于所述影像,识别出所述影像中的所述多个第二题目所在的多个第三区域;
通过所述第二计算装置和所述第二神经网络模型,基于所述多个第三区域,分别识别所述多个第三区域中的字符,从而得到所述多个第二题目;
若所述第一题目的类型为应用题,则:
通过第九计算装置和预先训练的第五神经网络模型,分别对所述第一题目和所述多个第二题目进行特征提取以生成多个二维特征向量;
通过第十计算装置:
从预先设置的向量索引库中搜索分别与所述多个二维特征向量距离最近的多个最近向量;
根据所述向量索引库中各个向量被预先设置的标记,得到所述多个最近向量所分别对应的多个试卷,所述标记为所述向量所来自的试卷的识别;
将所述多个试卷中出现次数最多的试卷确定为匹配试卷;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷是所述匹配试卷,则:
将与所述第一题目的二维特征向量距离最近的所述最近向量确定为所述第一题目的题目向量;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷不是所述匹配试卷,则:
将所述第一题目的二维特征向量,在具有所述匹配试卷的识别的标记的多个向量中进行最短编辑距离匹配,找到与所述第一题目的二维特征向量的最短编辑距离最小的向量,将所述最短编辑距离最小的向量确定为所述第一题目的题目向量;
通过第十一计算装置,根据预先设置的与所述第一题目的题目向量相关联的第三答案,生成所述第一题目的第四答案;以及
通过显示装置显示所述第一题目的第四答案。
17.根据权利要求16所述的题目辅助方法,其特征在于,所述第一至第五以及第九至第十一计算装置中的任意两者为相同或不同的计算装置。
18.一种题目辅助系统,包括:
预先训练的一个或多个神经网络模型;
具有影像获取功能和显示功能的一个或多个电子设备,被配置为获取至少包括呈现在第一表面的第一题目的影像;以及
一个或多个计算装置,被配置为:
基于所述神经网络模型和所述影像,识别出所述影像中的所述第一题目所在的第一区域;
基于所述神经网络模型和所述第一区域,识别出所述第一区域中的字符,从而得到所述第一题目;
基于所述神经网络模型和所述第一题目,判断所述第一题目的类型;
若所述第一题目的类型为计算题,则生成所述计算题的第一答案并基于与所述计算题对应的解题规则生成步骤化的解题过程,
其中,所述一个或多个电子设备还被配置为显示所述计算题的题目、第一答案、以及步骤化的解题过程。
19.根据权利要求18所述的题目辅助系统,其特征在于,
所述一个或多个计算装置还被配置为:若所述第一题目的类型为计算题,则生成所述计算题的图形化的解题过程;以及
所述一个或多个电子设备还被配置为:显示所述计算题的图形化的解题过程。
20.根据权利要求18所述的题目辅助系统,其特征在于,
所述一个或多个计算装置还被配置为:若所述第一题目的类型为应用题,则:
基于所述神经网络模型,对所述应用题进行特征提取以生成二维特征向量;
从预先设置的向量索引库中搜索与所述二维特征向量相匹配的题目向量;
根据预先设置的与所述题目向量相关联的第三答案,生成所述应用题的第四答案;以及
所述一个或多个电子设备还被配置为:显示所述应用题的第四答案。
21.根据权利要求20所述的题目辅助系统,其特征在于,对所述应用题进行特征提取以生成二维特征向量包括:
对所述应用题中的文字生成第一二维特征向量,并对所述应用题中的图片生成第二二维特征向量;以及
拼接所述第一和第二二维特征向量以得到所述二维特征向量。
22.根据权利要求18所述的题目辅助系统,其特征在于,所述影像包括呈现在所述第一表面的所述第一题目所在的基本上整张试卷,其中,判断所述第一题目的类型还基于所述第一区域在所述整张试卷中的位置。
23.根据权利要求22所述的题目辅助系统,其特征在于,所述整张试卷还包括除所述第一题目之外的多个类型为应用题的第二题目,
所述一个或多个计算装置还被配置为:
基于所述神经网络模型和所述影像,识别出所述影像中的所述多个第二题目所在的多个第三区域;
基于所述神经网络模型和所述多个第三区域,分别识别所述多个第三区域中的字符,从而得到所述多个第二题目;
若所述第一题目的类型为应用题,则:
基于神经网络模型,分别对所述第一题目和所述多个第二题目进行特征提取以生成多个二维特征向量;
从预先设置的向量索引库中搜索分别与所述多个二维特征向量距离最近的多个最近向量;
根据所述向量索引库中各个向量被预先设置的标记,得到所述多个最近向量所分别对应的多个试卷,所述标记为所述向量所来自的试卷的识别;
将所述多个试卷中出现次数最多的试卷确定为匹配试卷;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷是所述匹配试卷,则:
将所述第一题目的二维特征向量距离最近的所述最近向量确定为所述第一题目的题目向量;
若与所述第一题目的二维特征向量距离最近的所述最近向量所对应的试卷不是所述匹配试卷,则:
将所述第一题目的二维特征向量,在具有所述匹配试卷的识别的标记的多个向量中进行最短编辑距离匹配,找到与所述第一题目的二维特征向量的最短编辑距离最小的向量,将所述最短编辑距离最小的向量确定为所述第一题目的题目向量;
根据预先设置的与所述第一题目的题目向量相关联的第三答案,生成所述第一题目的第四答案;以及
所述一个或多个电子设备还被配置为:显示所述第一题目的第四答案。
24.根据权利要求18所述的题目辅助系统,其特征在于,所述一个或多个神经网络模型中的一个或多个存储在所述一个或多个电子设备中的一个或多个存储介质上。
25.根据权利要求18所述的题目辅助系统,其特征在于,所述题目辅助系统还包括一个或多个远程服务器,所述一个或多个神经网络模型中的一个或多个存储在所述一个或多个远程服务器中的一个或多个存储介质上。
26.根据权利要求18所述的题目辅助系统,其特征在于,所述一个或多个计算装置中的一个或多个位于所述一个或多个电子设备的物理壳体内。
27.根据权利要求18所述的题目辅助系统,其特征在于,所述题目辅助系统还包括一个或多个远程服务器,所述一个或多个计算装置中的一个或多个位于所述一个或多个远程服务器的物理壳体内。
28.一种题目辅助系统,包括:
一个或多个处理器;以及
一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,
其中,当所述一系列计算机可执行的指令被所述一个或多个处理器执行时,使得所述一个或多个处理器进行如权利要求1-17中任一项所述的方法。
29.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列计算机可执行的指令被一个或多个计算装置执行时,使得所述一个或多个计算装置进行如权利要求1-17中任一项所述的方法。
CN201910158424.3A 2019-03-04 2019-03-04 题目辅助方法及系统 Active CN109815955B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910158424.3A CN109815955B (zh) 2019-03-04 2019-03-04 题目辅助方法及系统
US16/559,736 US20200286402A1 (en) 2019-03-04 2019-09-04 Method and system for assisting with math problem
PCT/CN2020/075826 WO2020177531A1 (zh) 2019-03-04 2020-02-19 题目辅助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910158424.3A CN109815955B (zh) 2019-03-04 2019-03-04 题目辅助方法及系统

Publications (2)

Publication Number Publication Date
CN109815955A CN109815955A (zh) 2019-05-28
CN109815955B true CN109815955B (zh) 2021-09-28

Family

ID=66608032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910158424.3A Active CN109815955B (zh) 2019-03-04 2019-03-04 题目辅助方法及系统

Country Status (3)

Country Link
US (1) US20200286402A1 (zh)
CN (1) CN109815955B (zh)
WO (1) WO2020177531A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710590B (zh) * 2018-12-26 2021-05-07 杭州大拿科技股份有限公司 一种错题本生成方法及装置
WO2020134750A1 (zh) * 2018-12-28 2020-07-02 杭州大拿科技股份有限公司 一种答案批改方法及装置
CN109815955B (zh) * 2019-03-04 2021-09-28 杭州大拿科技股份有限公司 题目辅助方法及系统
CN110598642A (zh) * 2019-09-16 2019-12-20 杭州大拿科技股份有限公司 一种计算题在线练习方法、装置、设备和存储介质
CN110675677A (zh) * 2019-10-16 2020-01-10 杭州大拿科技股份有限公司 用于辅助数学应用题的方法及装置
US20210182730A1 (en) * 2019-12-12 2021-06-17 Shopify Inc. Systems and methods for detecting non-causal dependencies in machine learning models
CN111369403B (zh) * 2020-02-27 2021-09-14 北京字节跳动网络技术有限公司 一种解题演示方法及装置
CN112183402B (zh) * 2020-09-30 2022-12-27 北京有竹居网络技术有限公司 一种信息处理的方法、装置、电子设备及存储介质
CN112446934A (zh) * 2020-12-11 2021-03-05 北京有竹居网络技术有限公司 一种题目示意图生成方法及装置
CN112488052B (zh) * 2020-12-16 2023-05-26 杭州大拿科技股份有限公司 题目辅助方法、装置和系统
CN113257063A (zh) * 2021-06-08 2021-08-13 北京字节跳动网络技术有限公司 一种交互方法及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2702063A1 (fr) * 1993-02-24 1994-09-02 Infomedia Communication Procédé d'évaluation scolaire, assistée par ordinateur, du niveau de connaissances d'un élève, de diagnostic de carence et de remise à niveau et système, unité et serveur pour la mise en Óoeuvre du procédé.
US6042384A (en) * 1998-06-30 2000-03-28 Bookette Software Company Computerized systems for optically scanning and electronically scoring and reporting test results
CN105512257A (zh) * 2015-12-01 2016-04-20 广东小天才科技有限公司 一种搜题显示答案的方法及系统
CN106372243A (zh) * 2016-09-19 2017-02-01 广东小天才科技有限公司 应用于电子终端的试题搜索方法和装置
CN108932508A (zh) * 2018-08-13 2018-12-04 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和系统
CN109271511A (zh) * 2018-08-23 2019-01-25 上海互教教育科技有限公司 基于复杂推理网络的自动解题方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096678B (zh) * 2015-07-17 2019-03-22 成都准星云学科技有限公司 用于辅助评判数学题答题质量的方法及装置
CN107729936B (zh) * 2017-10-12 2020-12-08 科大讯飞股份有限公司 一种改错题自动评阅方法及系统
CN107798321B (zh) * 2017-12-04 2021-03-02 海南云江科技有限公司 一种试卷分析方法和计算设备
CN109284355B (zh) * 2018-09-26 2020-09-22 杭州大拿科技股份有限公司 一种批改试卷中口算题的方法及装置
CN109189895B (zh) * 2018-09-26 2021-06-04 杭州大拿科技股份有限公司 一种针对口算题的题目批改方法及装置
CN109815955B (zh) * 2019-03-04 2021-09-28 杭州大拿科技股份有限公司 题目辅助方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2702063A1 (fr) * 1993-02-24 1994-09-02 Infomedia Communication Procédé d'évaluation scolaire, assistée par ordinateur, du niveau de connaissances d'un élève, de diagnostic de carence et de remise à niveau et système, unité et serveur pour la mise en Óoeuvre du procédé.
US6042384A (en) * 1998-06-30 2000-03-28 Bookette Software Company Computerized systems for optically scanning and electronically scoring and reporting test results
CN105512257A (zh) * 2015-12-01 2016-04-20 广东小天才科技有限公司 一种搜题显示答案的方法及系统
CN106372243A (zh) * 2016-09-19 2017-02-01 广东小天才科技有限公司 应用于电子终端的试题搜索方法和装置
CN108932508A (zh) * 2018-08-13 2018-12-04 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和系统
CN109271511A (zh) * 2018-08-23 2019-01-25 上海互教教育科技有限公司 基于复杂推理网络的自动解题方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于机器学习的中小学数学自动阅卷系统研究与实现》;李磊;《中国优秀硕士学位论文全文数据库社会科学Ⅱ辑》;20180215;第H127-463页; *

Also Published As

Publication number Publication date
WO2020177531A1 (zh) 2020-09-10
CN109815955A (zh) 2019-05-28
US20200286402A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN109815955B (zh) 题目辅助方法及系统
RU2701995C2 (ru) Автоматическое определение набора категорий для классификации документа
WO2021073332A1 (zh) 用于辅助数学应用题的方法及装置
US9594984B2 (en) Business discovery from imagery
US8280158B2 (en) Systems and methods for indexing presentation videos
WO2022257578A1 (zh) 用于识别文本的方法和装置
Rusiñol et al. Augmented songbook: an augmented reality educational application for raising music awareness
CN110750624A (zh) 信息输出方法及装置
CN112270297A (zh) 用于显示识别结果的方法和计算机系统
WO2022127425A1 (zh) 题目辅助方法、装置和系统
CN112347997A (zh) 一种试题检测识别方法、装置、电子设备及介质
CN112085120A (zh) 多媒体数据的处理方法、装置、电子设备及存储介质
CN106611148B (zh) 基于图像的离线公式识别方法和装置
CN116743692B (zh) 一种历史消息折叠方法和系统
WO2023024898A1 (zh) 题目辅助方法、题目辅助装置和题目辅助系统
CN112801099A (zh) 一种图像处理方法、装置、终端设备及介质
CN108229477B (zh) 针对图像的视觉关联性识别方法、装置、设备及存储介质
CN115063784A (zh) 票据图像的信息提取方法和装置、存储介质及电子设备
CN113435942A (zh) 评估矿物价格的方法和计算机系统
KR20220118579A (ko) 인공지능을 이용하여 튜터링 서비스를 제공하기 위한 시스템 및 그에 관한 방법
CN113805977A (zh) 测试取证方法及模型训练方法、装置、设备、存储介质
CN113934922A (zh) 一种智能推荐的方法、装置、设备及计算机存储介质
CN113239234B (zh) 提供视频书籍的方法及建立视频书籍的方法
CN111680722B (zh) 内容识别方法、装置、设备及可读存储介质
CN114138214B (zh) 一种自动生成打印文件的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant