CN110675677A - 用于辅助数学应用题的方法及装置 - Google Patents

Abstract

本公开涉及一种用于辅助数学应用题的方法，包括：从包括已被作答的数学应用题的影像中识别包括所述数学应用题的题目的第一区域、和包括所述数学应用题的作答答案的第二区域；基于所述第一区域识别所述题目，并基于所述第二区域识别所述作答答案；对所述作答答案和/或所述数学应用题的标准答案进行等效转换，以将所述作答答案和所述标准答案中相应的表述转换为相同的字符形式，所述等效转换根据预先建立的等效对应关系来进行；以及将所述作答答案与所述标准答案进行匹配，若匹配结果满足条件，则判定为所述作答答案正确；若匹配结果不满足条件，则判定为所述作答答案错误。本公开还涉及一种用于辅助数学应用题的装置。

Description

用于辅助数学应用题的方法及装置

技术领域

本公开涉及人工智能技术领域，尤其涉及一种用于辅助数学应用题的方法及装置。

背景技术

近年来，人工智能已经应用于日常的教学和学习中。例如，通过智能终端等电子设备对试卷或作业中的题目进行批改等。

因此，存在对新技术的需求。

发明内容

本公开的一个目的是提供一种用于辅助数学应用题的方法及装置。

根据本公开的第一方面，提供了一种用于辅助数学应用题的方法，包括：从包括已被作答的数学应用题的影像中识别包括所述数学应用题的题目的第一区域、和包括所述数学应用题的作答答案的第二区域；基于所述第一区域识别所述题目，并基于所述第二区域识别所述作答答案；对所述作答答案和/或所述数学应用题的标准答案进行等效转换，以将所述作答答案和所述标准答案中相应的表述转换为相同的字符形式，所述等效转换根据预先建立的等效对应关系来进行；以及将所述作答答案与所述标准答案进行匹配，若匹配结果满足条件，则判定为所述作答答案正确；若匹配结果不满足条件，则判定为所述作答答案错误。

根据本公开的第二方面，提供了一种用于辅助数学应用题的装置，包括：一个或多个处理器；以及一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如上所述的方法。

根据本公开的第三方面，提供了一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如上所述的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1A是示意性地示出适用于根据本公开实施例的用于辅助数学应用题的方法的影像的示意图。

图1B是示意性地示出根据本公开实施例的用于辅助数学应用题的方法所显示的画面的示意图。

图2A是示意性地示出适用于根据本公开实施例的用于辅助数学应用题的方法的影像的示意图。

图2B和2C是分别示意性地示出根据本公开实施例的用于辅助数学应用题的方法所显示的画面的示意图。

图3是示意性地示出根据本公开实施例的用于辅助数学应用题的方法的至少一部分的流程图。

图4是示意性地示出根据本公开的实施例的用于辅助数学应用题的装置的至少一部分的结构图。

图5是示意性地示出根据本公开的实施例的用于辅助数学应用题的装置的至少一部分的结构图。

注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在本说明书中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

具体实施方式

以下将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。在下面描述中，为了更好地解释本公开，阐述了许多细节，然而可以理解的是，在没有这些细节的情况下也可以实践本公开。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本公开提供了一种用于辅助数学应用题的方法，可以用于例如教学和学习。用户可以利用具有影像获取功能的第一电子设备对需要辅助的数学应用题进行拍照或摄像来获取该题目的影像，如图1A所示，然后可以在具有显示功能的第二电子设备(第一和第二电子设备可以是同一个设备也可以是不同的设备)上查看该数学应用题的作答答案是否正确，如图1B所示。此外，第二电子设备还可以显示该数学应用题的题目(可以显示识别出来的文字和/或图片形式的题目，也可以显示获取的该题目的影像)、作答答案、标准答案、作答的解题过程、以及标准的解题过程等。在一些实施例中，方法可以对多道数学应用题一起进行辅助。用户可以利用第一电子设备拍摄包括多道数学应用题的影像，如图2A所示，然后在第二电子设备上查看多道数学应用题的作答答案是否正确，如图2B所示。在一些实施例中，对于作答答案不正确的题目，第二电子设备还可以显示该题目的标准答案，如图2C所示。本文所称的“数学应用题”是指用文字和/或图片给出已知条件，以供求解答案的数学问题。本领域技术人员应理解，本文所称的“数学应用题”的作答形式不限于图1A至2C所示的用文字叙述出答案，作答形式还可以包括用图形/图片、算式/竖式等表达出答案，以及以选项的代号(例如A、B、C等)来作答等。

下面参考图3描述根据本公开实施例的用于辅助数学应用题的方法。根据一些实施例的用于辅助数学应用题的方法包括过程600，过程600包括步骤601至605。

步骤601：从包括已被作答的数学应用题的影像100中识别包括数学应用题(以下可以被称为“所针对的问题”)的题目的第一区域(例如影像100中的打印字体部分以及图片部分)、和包括数学应用题的作答答案的第二区域(例如影像100中的手写字体部分)。数学应用题可以是呈现在第一表面的，第一表面可以包括纸张(例如试卷、书籍或小册子等)、白板、粉笔板、显示屏幕(例如电视机屏幕、电脑屏幕、平板屏幕或学习机屏幕等)或各种其他表面。可以通过第一电子设备中的影像获取装置来获取呈现在第一表面的数学应用题的影像100。影像可以包括任何形式的视觉呈现，例如照片或视频等。影像获取装置可以包括摄像头、成像模块、以及图像处理模块等，还可以包括用于接收或下载影像的通信模块等。相应地，影像获取装置获取影像可以包括拍摄照片或视频、接收或下载照片或视频等。可以通过计算装置和预先训练的区域识别模型，识别出影像100中的包括题目的第一区域和包括作答答案的第二区域。第一和第二区域是从影像100中分割出的影像区域。用于识别第一区域和第二区域的区域识别模型可以是同一个也可以是不同的。区域识别模型可以是基于任何已知的神经网络训练得到的，例如深度残差网络、递归神经网络等。

步骤602：基于第一区域识别该数学应用题的题目，并基于预先建立的题库得到该数学应用题的标准答案。可以通过计算装置和预先训练的字符识别模型，从第一区域中识别该数学应用题的题目，即识别出题目中的文字和/或图片。例如，对于影像100，从其第一区域中识别出文字“4.小明走3分钟刚好到全程的一半，他家距离学校多少米？(6分)”，以及位于影像100右下部的图片。应当理解，本文中所称的字符，包括文字(包括文本文字、图形文字、字母、数字、符号等)以及图片等。字符识别模型可以是基于任何已知的神经网络训练得到的，例如深度残差网络、递归神经网络等。

基于预先建立的题库得到该数学应用题的标准答案可以包括：对题目进行特征提取以生成特征向量(例如二维特征向量)，从题库中搜索与特征向量相匹配的匹配向量，根据题库中的与匹配向量相关联的答案，生成标准答案。特征向量可以用本领域已知的向量化模型来生成。例如，对于题目中的文字，可以使用例如word2vec、doc2vec、以及sentence2vec等已知的向量化模型来生成第一特征向量。对于题目中的图片，例如可以在caffe框架下用训练好的网络模型来进行特征提取，也可以利用vgg卷积神经网络基于图像数据集ImageNet而预训练的模型来进行特征提取等，以生成第二特征向量。将第一和第二特征向量拼接以得到该题目的特征向量。本领域技术人员应理解，除以上所列举的方式之外，第一和第二特征向量还可以用其他已知的向量化模型来生成，也可以用基于已知的数据集和神经网络、通过已知的训练方法而得到的向量化模型来生成。

从题库中搜索与该数学应用题的特征向量相匹配的匹配向量可以通过向量近似搜索的方式。例如，在题库中查找与该方法所针对的问题的特征向量距离最近的特征向量。可以理解的是，不同向量之间的相似性度量可以采用的方法就是计算向量间的“距离”，例如，欧式距离、曼哈顿距离、夹角余弦相似度等。题库中可以包括各个题目的特征向量、题目的内容(指题目的字符形式)、题目所对应的答案、题目所对应的解题过程、以及题目所属的试卷的识别等。题库中的上述数据可以以任何便于搜索的形式来存储。例如，可以按照每个题目的特征向量的长度(例如不同长度的题目其特征向量的长度也可能不同)来分组存储，每组中的题目的特征向量的长度都相同或都在同一个范围内。搜索是可以先根据所针对的问题的特征向量的长度，在题库中找到长度匹配的组；然后在这个组中查找与所针对的问题的特征向量距离最近的特征向量。如此，可以更快速地搜索到与所针对的问题的特征向量相匹配的匹配向量。

可以从题库中搜索与该数学应用题的题目(“所针对的题目”)的特征向量的相似度最高的第一向量，若第一向量与特征向量的相似度不小于预设的第一阈值(即相似度满足要求，例如可以是第一向量与特征向量之间的距离小于某个预设的阈值)，则将第一向量确定为与所针对的题目的特征向量相匹配的匹配向量。得到匹配向量之后，根据题库可以得到匹配向量所对应的题目(本文也称“参考题目”)，根据该参考题目所对应的答案，来生成标准答案。可以将参考题目与该方法所针对的问题的题目进行比较，例如该比较可以是字符级别的比较(例如已知的文本比较工具所进行的文本比较)，以确定参考题目中的一个或多个数量与所针对的问题的题目中对应的一个或多个数量是否相同。如果相同，则将参考题目的答案(即与匹配向量相关联的答案)直接作为所针对的问题的标准答案；若不相同，则根据题库中所包括的参考题目的解题过程、和所针对的问题的题目中相应的一个或多个数量来计算所针对的问题的标准答案。

若从题库中搜索出的与所针对的题目的特征向量的相似度最高的第一向量的相似度不满足要求，即题库中所有向量与特征向量的相似度均小于第一阈值，则寻找所针对的题目的一个或多个相近题目。例如，从题库中搜索与所针对的题目的特征向量的距离不大于预设的第二阈值的一个或多个候选题目；将所针对的题目分别与一个或多个候选题目进行匹配，并按照匹配程度从高到低对一个或多个候选题目进行排序，以得到所针对的题目的一个或多个相近题目。针对这种没有找到匹配向量的情况，在后续在具有显示功能的第二电子设备上显示数学应用题的作答答案是否正确的步骤中，可以不显示该数学应用题的作答答案是否正确。例如可以针对该数学应用题显示一个特殊提示符(例如用方框将该数学应用题的区域框出来)，当该数学应用题的相关区域被操作时(例如被方框框出来的区域被用户操作时)，显示一个或多个相近题目的解题过程和/或答案。应当理解，一个或多个相近题目的解题过程和/或答案来自题库。

步骤603：基于第二区域识别作答答案，并将作答答案与标准答案进行匹配；步骤604：若匹配结果满足条件，则判定为作答答案正确；步骤605：若匹配结果不满足条件，则判定为作答答案错误。可以通过计算装置和预先训练的字符识别模型，从第二区域中识别该数学应用题的作答答案，即识别出作答答案中的文字和/或图片。例如，对于影像100，从其第二区域中识别出文字“65×3＝195(米)”以及“195×2＝390(米)”。字符识别模型可以是基于任何已知的神经网络训练得到的，例如深度残差网络、递归神经网络等。应当理解，用于从第二区域中识别作答答案的字符识别模型和前述的用于从第一区域中识别题目的字符识别模型可以是同一个模型、结构/特征相同的不同模型、或结构/特征不同的不同模型。在一些实施例中，考虑到通常题目的字体为印刷体，而作答答案的字体为手写体，因此用于识别题目和作答答案的模型可以是被分别训练的不同的模型。在一些实施例中，基于第二区域识别作答答案可以是，将从第二区域中识别出的所有字符均作为作答答案。例如，对于影像100，可以将“65×3＝195(米)”和“195×2＝390(米)”识别为作答答案。在一些实施例中，基于第二区域识别作答答案可以是，将从第二区域中识别出的特定字符(例如“：”等标点符号，“＝”、“>”等关系符号等)之后的全部字符或部分字符作为作答答案。例如，对于影像100，可以将“195(米)”和“390(米)”识别为作答答案，也可以仅将“195”和“390”识别为作答答案。本公开所述的方法可以为用户提供选择，例如用户可以选择只检查数量是否正确，则可以仅将“195”和“390”识别为作答答案，则后续步骤中只要匹配数量正确则判断为作答答案正确；用户还可以选择同时检查数量和单位是否正确，则可以将“195(米)”和“390(米)”识别为作答答案，则后续步骤中需要匹配数量和单位均正确并没有遗漏，才判断为作答答案正确。应当理解，如何识别作答答案的策略还可以确定为与建立题库时存储的标准答案的确定策略相兼容。

根据数学应用题的答案的特性，将作答答案与标准答案进行匹配可以针对不同的答案类型采用不同的匹配方法。例如，若标准答案中包含一个或多个数量，将作答答案与标准答案进行匹配可以包括在作答答案中查找标准答案中包含的所有一个或多个数量。若作答答案中包括这所有的一个或多个数量，则认为匹配结果满足条件。这种匹配方法可以针对答案重点为计算结果的题目。例如，对于影像100，在一些实施例中，标准答案包括“195”、“390”两个数量，则在作答答案中匹配这两个数量。只要作答答案中包含这两个数量，而不管还是否包含其他的字符，就认为匹配结果满足条件。这里使用“数量”的表述，而不是用“数字”，是因为“195”和“390”这两个数量中的至少一个还可以被表述为文字，例如用“一百九十五”或“三百九十”这样的文字来表示；也可以被表述为图形，例如用相应个数的图形、或者用百位、十位和个位上各自的相应个数的图形等来表示。针对数量的这些不同的表述形式，可以通过如下文所述的等效转换的过程来改善匹配。

再例如，若标准答案中不包含数量，将作答答案与标准答案进行匹配可以包括在作答答案中查找标准答案所包括的关键字，例如进行字符级别的匹配。若在作答答案中查找到关键字，则认为匹配结果满足条件。例如，标准答案为“能够完成”这个字符串，则可以将标准答案中的关键字提取为“能够”，然后在作答答案中匹配这个关键字的字符串。若作答答案中包含这个字符串，就认为匹配结果满足条件(即便还包含其他的字符)。此外，即使匹配到了关键字的整个字符串，还需要判断在标准答案所包括的关键字之前是否包含否定词，例如“不”、“否”、“没”、“未”等。如果不包含，才能认为匹配结果满足条件。例如，标准答案中的关键字为“可以”、“正确”、“能够”、“达到”、“完成”等，还需要判断作答答案中是否在这些关键字之前包含否定词，只有在不包含否定词的情况下才认为匹配结果满足条件。对于标准答案本身为表达否定意思的情况，例如标准答案为“不能够完成”这个字符串，则可以将标准答案中的关键字提取为“不能够”，即关键词中应包含否定词，然后在作答答案中匹配这个关键字的字符串。这样匹配到的满足条件的作答答案也是表达否定意思的答案。此外，前述的判断在标准答案所包括的关键字之前是否还包括否定词的操作，可以只针对标准答案中不包含否定词的情况才进行，也可以针对标准答案中不包含否定词、以及包含否定词两者的情况均进行。

针对语言表述中一种结果可以有多种表述形式的问题，在进行作答答案与标准答案的匹配之前，还可以对作答答案和/或标准答案中的文字进行等效转换，以将作答答案和标准答案中相应的表述转换为相同的字符形式。等效转换可以根据预先建立的等效对应关系来进行。可以对表达相同或相近含义的字符建立等效对应关系，例如，可以在“0.4”、“五分之二”、“2/5”和

之间，在“≥”和“大于等于”之间，在“60秒”、“60s”、“1分钟”和“1min”之间等建立等效对应关系。可以将作答答案和标准答案中相应的表述(例如作答答案中为“0.4”、标准答案中为“2/5”)均转换为相同的字符形式(例如均转换为“0.4”)，然后再进行匹配。

在一些情况下，标准答案可以包括多个标准子答案，例如在题目中包含多个问题的情况下。此时作答答案可能包括一个作答子答案，也可能包括多个作答子答案。在这些情况下，将作答答案与标准答案进行匹配可以包括：将各作答子答案与对应的标准子答案进行匹配，若全部匹配结果均满足条件，则还判断作答子答案的个数是否少于标准子答案的个数，若少于则判定为作答答案部分正确；否则，判定为作答答案正确。若部分匹配结果满足条件，则判定为作答答案部分正确。若匹配结果均不满足条件，则判定为作答答案错误。

在一些实施例中，判定作答答案是否正确还可以考虑解题过程是否正确。例如，在上述步骤601中，识别出的第二区域除了包括作答答案之外，还可以包括数学应用题的解题过程。在上述步骤603中，基于第二区域还识别该数学应用题的解题过程，识别解题过程所使用的计算装置和/或模型可以和步骤603中识别作答答案所使用的计算装置和/或模型相同。例如，对于影像100，识别出的解题过程可以是“65×3”以及“195×2”。虽然在此处将“65×3”以及“195×2”描述为解题过程，但应当理解，在一些实施例中，“65×3”和“195×2”也可以被识别为作答答案的一部分而不是解题过程。

在作答答案和标准答案的匹配结果满足条件的情况下，还可以判断解题过程是否正确。例如，对于影像100，如果作答答案“195(米)”和“390(米)”与标准答案的匹配满足条件，则还可以判断解题过程“65×3”和“195×2”是否正确。若解题过程也正确，则判定为作答答案正确；若解题过程错误，则判定为作答答案错误。在一些实施例中，题库中可以存储有与匹配向量相关联的解题过程，可以根据与上述得到标准答案相类似的过程得到标准的解题过程，然后以与上述匹配作答答案和标准答案相类似的过程匹配作答的解题过程和标准的解题过程，以判断解题过程是否正确。在一些实施例中，可以用更简便的方法来判断解题过程是否正确。例如，判断作答的解题过程所包括的参与计算的一个或多个数字是否出现在题目中，若一个或多个数字中至少一个数字没有出现在题目中，则判断为解题过程错误。这种情况可能是在解题过程中使用了与题目无关的数字。又例如，判断解题过程所包括的算式的结果是否与作答答案相关，若不相关，则判断为解题过程错误。再例如，判断解题过程所包括的算式是否正确(包括所列算式的形式、算子和计算结果)，若不正确则判断为解题过程错误。这些情况可能是任意虚构了一个解题过程。如此，在判断作答答案是否正确时还考虑了解题过程是否正确，可以避免将那些不是真正会解题但凑巧写对了答案的题目判为正确。

可以在具有显示功能的第二电子设备上显示数学应用题的作答答案是否正确，即在影像(例如图1B所示的显示画面200)中的数学应用题的相关区域显示判定的结果。例如用“√”表示作答答案正确(例如图1B中示出的标记201、图2B中示出的标记401)，用“×”表示作答答案错误(例如图2B中示出的标记402)，用

表示作答答案部分正确(例如图2B中示出的标记403)。在一些实施例中，当判定的结果为作答答案错误时，还可以显示标准答案。在一些实施例中，在画面200中只显示判定的结果，当数学应用题的相关区域(例如数学应用题所在的区域、数学应用题的周围区域、表示判定结果的标记、其他特定标记等)被操作(例如轻触、连续两次轻触、长按、深按、轻扫等)时，才显示标准答案和/或标准的解题过程。对于作答答案错误或部分正确的应用题，方法可以自动将其添加到用户的错题本中，或者提供界面以让用户选择是否将其添加到错题本中。

根据本公开实施例的用于辅助数学应用题的方法还可以对多道数学应用题一起进行辅助。对多道数学应用题一起进行辅助时，针对每道数学应用题可以使用如上所述的过程600进行辅助。通过第一电子设备中的影像获取装置获取包含多道数学应用题的影像，例如可以是试卷、练习册的页面的全部或部分的影像。获取的影像中还可以包括除了多道数学应用题之外的其他内容。通过计算装置和区域识别模型识别出影像中的多道数学应用题的各自的题目所在的区域、以及各自的作答答案所在的区域。通过计算装置和字符识别模型，分别识别上述各区域中的字符，从而得到多道数学应用题的各自的题目、以及各自的作答答案。然后针对每道题各自的题目，分别在题库中去搜索匹配向量。若找到匹配向量，则根据与匹配向量相关联的答案来生成标准答案，从而判定该题目的作答答案是否正确。若在题库中找不到匹配向量，则找到该题目的一个或多个相近题目，以便于相用户呈现这一个或多个相近题目的解题过程和/或答案。

上述各神经网络模型中的每一个可以整体存储在以下各项中的任意一项中的一个或多个存储介质上，也可以第一部分存储在以下各项中的任意一项中的一个或多个存储介质上、并且第二部分存储在以下各项中的任意一项中的一个或多个存储介质上：第一和/或第二电子设备、一个或多个远程服务器、上述各计算装置中的一个或多个。

进行上述各步骤处理的计算装置中的任意两者可以为相同的计算装置，也可以为不同的计算装置。各计算装置中的每一个可以包括一个或多个处理器，属于一个计算装置的一个或多个处理器可以：全部位于第一和/或第二电子设备的物理壳体内、全部位于一个或多个远程服务器的物理壳体内、或者第一部分位于第一和/或第二电子设备的物理壳体内并且第二部分位于一个或多个远程服务器的物理壳体内。应当理解，各计算装置中的每一个还可以包括一个或多个存储器，以存储上述一个或多个处理器能够执行的指令、以及执行指令所需要的数据，例如上述一个或多个神经网络模型的至少一部分。

图4是示意性地示出根据本公开的一个实施例的用于辅助数学应用题的装置800的至少一部分的结构图。本领域技术人员可以理解，装置800只是一个示例，不应将其视为限制本公开的范围或本文所描述的特征。在该示例中，装置800可以包括一个或多个神经网络模型810、一个或多个电子设备820、一个或多个计算装置830、一个或多个远程服务器840、以及网络850。其中，一个或多个神经网络模型810、一个或多个电子设备820、一个或多个计算装置830、以及一个或多个远程服务器840可以通过网络850互相连接。其中网络850可以是任何有线或无线的网络，也可以包括线缆。此外，虽然一个或多个神经网络模型810在装置800中以独立于一个或多个电子设备820、一个或多个计算装置830、一个或多个远程服务器840、以及网络850之外的单独的框示出，应当理解，一个或多个神经网络模型810可以实际存储在装置800所包括的其他实体820、830、840、850中的任何一个上。例如，一个或多个计算装置可以包括作为负载平衡的服务器群来操作的服务器计算装置。另外，虽然以上描述的一些功能被指示为在具有单个处理器的单个计算装置上发生，但是本文所描述的主题的各个方面均可以由多个计算装置例如通过网络相互通信来实现。

一个或多个电子设备820、一个或多个计算装置830、以及一个或多个远程服务器840中的每一个可以位于网络850的不同节点处，并且能够直接地或间接地与网络850的其他节点通信。本领域技术人员可以理解，装置800还可以包括图4未示出的其他装置，其中每个不同的装置均位于网络850的不同节点处。可以使用各种协议和系统将网络850和本文所描述的装置中的组成部分互连，以使得网络850可以是互联网、万维网、特定内联网、广域网或局域网的一部分。网络850可以利用诸如以太网、WiFi和HTTP等标准通信协议、对于一个或多个公司来说是专有的协议、以及前述协议的各种组合。虽然当如上所述来传递或接收信息时获得了某些优点，但是本文所描述的主题并不限于任何特定的信息传递方式。

一个或多个电子设备820、一个或多个计算装置830、以及一个或多个远程服务器840中的每一个可以被配置为与图5所示的装置900类似，即具有一个或多个处理器910、一个或多个存储器920、以及指令和数据。一个或多个电子设备820、一个或多个计算装置830、以及一个或多个远程服务器840中的每一个可以是意在由用户使用的个人计算装置或者由企业使用的商业计算机装置，并且具有通常与个人计算装置或商业计算机装置结合使用的所有组件，诸如中央处理单元(CPU)、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或可操作来显示信息的其他装置)、鼠标、键盘、触摸屏、麦克风、扬声器、和/或网络接口装置等的一个或多个I/O设备。一个或多个电子设备820还可以包括用于捕获静态图像或记录视频流的一个或多个相机、以及用于将这些元件彼此连接的所有组件。

虽然一个或多个电子设备820可以各自包括全尺寸的个人计算装置，但是它们可能可选地包括能够通过诸如互联网等网络与服务器无线地交换数据的移动计算装置。举例来说，一个或多个电子设备820可以是移动电话，或者是诸如带无线支持的PDA、平板PC或能够经由互联网获得信息的上网本等装置。在另一个示例中，一个或多个电子设备820可以是可穿戴式计算装置。

图5是示意性地示出根据本公开的一个实施例的用于辅助数学应用题的装置900的至少一部分的结构图。装置900包括一个或多个处理器910、一个或多个存储器920、以及通常存在于计算机等装置中的其他组件(未示出)。一个或多个存储器920中的每一个可以存储可由一个或多个处理器910访问的内容，包括可以由一个或多个处理器910执行的指令921、以及可以由一个或多个处理器910来检索、操纵或存储的数据922。

指令921可以是将由一个或多个处理器910直接地执行的任何指令集，诸如机器代码，或者间接地执行的任何指令集，诸如脚本。本文中的术语“指令”、“应用”、“过程”、“步骤”和“程序”在本文中可以互换使用。指令921可以存储为目标代码格式以便由一个或多个处理器910直接处理，或者存储为任何其他计算机语言，包括按需解释或提前编译的独立源代码模块的脚本或集合。指令921可以包括引起诸如一个或多个处理器910来充当本文中的各神经网络的指令。本文其他部分更加详细地解释了指令921的功能、方法和例程。

一个或多个存储器920可以是能够存储可由一个或多个处理器910访问的内容的任何临时性或非临时性计算机可读存储介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD、USB存储器、能写存储器和只读存储器等。一个或多个存储器920中的一个或多个可以包括分布式存储装置，其中指令921和/或数据922可以存储在可以物理地位于相同或不同的地理位置处的多个不同的存储装置上。一个或多个存储器920中的一个或多个可以经由网络连接至一个或多个处理器910，和/或可以直接地连接至或并入一个或多个处理器910中的任何一个中。

一个或多个处理器910可以根据指令921来检索、存储或修改数据922。存储在一个或多个存储器920中的数据922可以包括上文所述的各种待识别的影像、题库、以及用于各个神经网络的参数等。其他不与影像、题库、或神经网络相关联的数据也可以被存储在一个或多个存储器920中。举例来说，虽然本文所描述的主题不受任何特定数据结构限制，但是数据922还可能存储在计算机寄存器(未示出)中，作为具有许多不同的字段和记录的表格或XML文档存储在关系型数据库中。数据922可以被格式化为任何计算装置可读格式，诸如但不限于二进制值、ASCII或统一代码。此外，数据922可以包括足以识别相关信息的任何信息，诸如编号、描述性文本、专有代码、指针、对存储在诸如其他网络位置处等其他存储器中的数据的引用或者被函数用于计算相关数据的信息。

一个或多个处理器910可以是任何常规处理器，诸如市场上可购得的中央处理单元(CPU)、图形处理单元(GPU)等。可替换地，一个或多个处理器910还可以是专用组件，诸如专用集成电路(ASIC)或其他基于硬件的处理器。虽然不是必需的，但是一个或多个处理器910可以包括专门的硬件组件来更快或更有效地执行特定的计算过程，诸如对影像进行图像处理等。

虽然图5中示意性地将一个或多个处理器910以及一个或多个存储器920示出在同一个框内，但是装置900可以实际上包括可能存在于同一个物理壳体内或不同的多个物理壳体内的多个处理器或存储器。例如，一个或多个存储器920中的一个可以是位于与与上文所述的一个或多个计算装置(未示出)中的每一个的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此，引用处理器、计算机、计算装置或存储器应被理解成包括引用可能并行操作或可能非并行操作的处理器、计算机、计算装置或存储器的集合。

在说明书及权利要求中的词语“A或B”包括“A和B”以及“A或B”，而不是排他地仅包括“A”或者仅包括“B”，除非另有特别说明。

在本公开中，对“一个实施例”、“一些实施例”的提及意味着结合该实施例描述的特征、结构或特性包含在本公开的至少一个实施例、至少一些实施例中。因此，短语“在一个实施例中”、“在一些实施例中”在本公开的各处的出现未必是指同一个或同一些实施例。此外，在一个或多个实施例中，可以任何合适的组合和/或子组合来组合特征、结构或特性。

如在此所使用的，词语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且，本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。

如在此所使用的，词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪音以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。

上述描述可以指示被“连接”或“耦合”在一起的元件或节点或特征。如在此所使用的，除非另外明确说明，“连接”意指一个元件/节点/特征与另一种元件/节点/特征在电学上、机械上、逻辑上或以其它方式直接地连接(或者直接通信)。类似地，除非另外明确说明，“耦合”意指一个元件/节点/特征可以与另一元件/节点/特征以直接的或间接的方式在机械上、电学上、逻辑上或以其它方式连结以允许相互作用，即使这两个特征可能并没有直接连接也是如此。也就是说，“耦合”意图包含元件或其它特征的直接连结和间接连结，包括利用一个或多个中间元件的连接。

另外，仅仅为了参考的目的，还可以在下面描述中使用某种术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。

还应理解，“包括/包含”一词在本文中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。

在本公开中，术语“部件”和“装置”意图是涉及一个与计算机有关的实体，或者硬件、硬件和软件的组合、软件、或执行中的软件。例如，一个部件可以是，但是不局限于，在处理器上运行的进程、对象、可执行态、执行线程、和/或程序等。通过举例说明，在一个服务器上运行的应用程序和所述服务器两者都可以是一个部件。一个或多个部件可以存在于一个执行的进程和/或线程的内部，并且一个部件可以被定位于一台计算机上和/或被分布在两台或更多计算机之间。

本领域技术人员应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其他各种实施例中可以改变操作顺序。但是，其它的修改、变化和替换同样是可能的。因此，本说明书和附图应当被看作是说明性的，而非限制性的。

另外，本公开的实施方式还可以包括以下示例：

1.一种用于辅助数学应用题的方法，包括：

从包括已被作答的数学应用题的影像中识别包括所述数学应用题的题目的第一区域、和包括所述数学应用题的作答答案的第二区域；

基于所述第一区域识别所述题目，并基于所述第二区域识别所述作答答案；

对所述作答答案和/或所述数学应用题的标准答案进行等效转换，以将所述作答答案和所述标准答案中相应的表述转换为相同的字符形式，所述等效转换根据预先建立的等效对应关系来进行；以及

将所述作答答案与所述标准答案进行匹配，若匹配结果满足条件，则判定为所述作答答案正确；若匹配结果不满足条件，则判定为所述作答答案错误。

2.根据1所述的方法，其特征在于，所述标准答案包括多个标准子答案，所述作答答案包括一个或多个作答子答案，其中，将所述作答答案与标准答案进行匹配包括：将各所述作答子答案与对应的所述标准子答案进行匹配，

若全部匹配结果均满足条件，则还判断所述作答子答案的个数是否少于所述标准子答案的个数，若少于则判定为所述作答答案部分正确；否则，判定为所述作答答案正确；

若部分匹配结果满足条件，则判定为所述作答答案部分正确；以及

若匹配结果均不满足条件，则判定为所述作答答案错误。

3.根据1所述的方法，其特征在于，若所述标准答案中包含一个或多个数量，所述匹配包括在所述作答答案中查找所述一个或多个数量，若所述作答答案中包括所述一个或多个数量，则所述匹配结果满足条件。

4.根据1所述的方法，其特征在于，若所述标准答案中不包含数量，所述匹配包括在所述作答答案中查找所述标准答案所包括的关键字，若在所述作答答案中查找到所述关键字，则所述匹配结果满足条件。

5.根据4所述的方法，其特征在于，所述匹配还包括：若在所述作答答案中查找到所述关键字，还在所述作答答案中查找所述关键字前是否有否定词，若不含有否定词，则所述匹配结果满足条件。

6.根据1所述的方法，其特征在于，所述第二区域还包括所述数学应用题的解题过程，基于所述第二区域还识别所述解题过程，所述方法还包括：

若所述匹配结果满足条件，还判断所述解题过程是否正确，若所述解题过程也正确，则判定为所述作答答案正确；若所述解题过程错误，则判定为所述作答答案错误。

7.根据6所述的方法，其特征在于，判断所述解题过程是否正确包括：

判断所述解题过程所包括的参与计算的一个或多个数字是否出现在所述题目中，若所述一个或多个数字中至少一个数字没有出现在所述题目中，则判断为所述解题过程错误；

判断所述解题过程所包括的算式的结果是否与所述作答答案相关，若不相关，则判断为所述解题过程错误；

判断所述解题过程所包括的算式是否正确，若不正确则判断为所述解题过程错误；以及

否则，判断为所述解题过程正确。

8.根据1所述的方法，其特征在于，基于所述第二区域识别所述作答答案包括：识别所述第二区域中的所有字符，并将特定字符之后的全部字符作为所述作答答案。

9.根据1所述的方法，其特征在于，还包括：在所述影像中的所述数学应用题的相关区域显示所述判定的结果。

10.根据9所述的方法，其特征在于，还包括：当所述判定的结果为所述作答答案错误时，还显示所述标准答案。

11.根据9所述的方法，其特征在于，当所述数学应用题的相关区域被操作时，显示所述标准答案。

12.根据11所述的方法，其特征在于，当所述数学应用题的相关区域被操作时，还显示所述数学应用题的标准的解题过程。

13.根据1所述的方法，其特征在于，基于预先建立的题库得到所述数学应用题的标准答案包括：

对所述题目进行特征提取以生成特征向量，从所述题库中搜索与所述特征向量相匹配的匹配向量，根据所述题库中的与所述匹配向量相关联的答案，生成所述标准答案。

14.根据13所述的方法，其特征在于，从所述题库中搜索与所述特征向量相匹配的匹配向量包括：计算所述题库中所有向量与所述特征向量的相似度，若第一向量与所述特征向量的相似度不小于预设的第一阈值，则将所述第一向量确定为所述匹配向量。

15.根据14所述的方法，其特征在于，还包括：若所述题库中所有向量与所述特征向量的相似度均小于所述第一阈值，则：

从所述题库中搜索其向量与所述第一题目的特征向量的距离不大于预设的第二阈值的一个或多个候选题目；

将所述第一题目分别与所述一个或多个候选题目进行匹配，并按照匹配程度从高到低对所述一个或多个候选题目进行排序，以得到所述第一题目的一个或多个相近题目；以及

当所述第一题目的相关区域被操作时，显示所述一个或多个相近题目的解题过程和/或答案，其中，所述一个或多个相近题目的解题过程和/或答案来自所述题库。

16.一种用于辅助数学应用题的装置，包括：

一个或多个处理器；以及

一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，

其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如1-15中任一项所述的方法。

17.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如1-15中任一项所述的方法。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。在此公开的各实施例可以任意组合，而不脱离本公开的精神和范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种用于辅助数学应用题的方法，包括：

从包括已被作答的数学应用题的影像中识别包括所述数学应用题的题目的第一区域、和包括所述数学应用题的作答答案的第二区域；

基于所述第一区域识别所述题目，并基于所述第二区域识别所述作答答案；

对所述作答答案和/或所述数学应用题的标准答案进行等效转换，以将所述作答答案和所述标准答案中相应的表述转换为相同的字符形式，所述等效转换根据预先建立的等效对应关系来进行；以及

将所述作答答案与所述标准答案进行匹配，若匹配结果满足条件，则判定为所述作答答案正确；若匹配结果不满足条件，则判定为所述作答答案错误。

2.根据权利要求1所述的方法，其特征在于，所述标准答案包括多个标准子答案，所述作答答案包括一个或多个作答子答案，其中，将所述作答答案与标准答案进行匹配包括：将各所述作答子答案与对应的所述标准子答案进行匹配，

若全部匹配结果均满足条件，则还判断所述作答子答案的个数是否少于所述标准子答案的个数，若少于则判定为所述作答答案部分正确；否则，判定为所述作答答案正确；

若部分匹配结果满足条件，则判定为所述作答答案部分正确；以及

若匹配结果均不满足条件，则判定为所述作答答案错误。

3.根据权利要求1所述的方法，其特征在于，若所述标准答案中包含一个或多个数量，所述匹配包括在所述作答答案中查找所述一个或多个数量，若所述作答答案中包括所述一个或多个数量，则所述匹配结果满足条件。

4.根据权利要求1所述的方法，其特征在于，若所述标准答案中不包含数量，所述匹配包括在所述作答答案中查找所述标准答案所包括的关键字，若在所述作答答案中查找到所述关键字，则所述匹配结果满足条件。

5.根据权利要求4所述的方法，其特征在于，所述匹配还包括：若在所述作答答案中查找到所述关键字，还在所述作答答案中查找所述关键字前是否有否定词，若不含有否定词，则所述匹配结果满足条件。

6.根据权利要求1所述的方法，其特征在于，所述第二区域还包括所述数学应用题的解题过程，基于所述第二区域还识别所述解题过程，所述方法还包括：

若所述匹配结果满足条件，还判断所述解题过程是否正确，若所述解题过程也正确，则判定为所述作答答案正确；若所述解题过程错误，则判定为所述作答答案错误。

7.根据权利要求6所述的方法，其特征在于，判断所述解题过程是否正确包括：

判断所述解题过程所包括的参与计算的一个或多个数字是否出现在所述题目中，若所述一个或多个数字中至少一个数字没有出现在所述题目中，则判断为所述解题过程错误；

判断所述解题过程所包括的算式的结果是否与所述作答答案相关，若不相关，则判断为所述解题过程错误；

判断所述解题过程所包括的算式是否正确，若不正确则判断为所述解题过程错误；以及

否则，判断为所述解题过程正确。

8.根据权利要求1所述的方法，其特征在于，基于所述第二区域识别所述作答答案包括：识别所述第二区域中的所有字符，并将特定字符之后的全部字符作为所述作答答案。

9.根据权利要求1所述的方法，其特征在于，还包括：在所述影像中的所述数学应用题的相关区域显示所述判定的结果。

10.根据权利要求9所述的方法，其特征在于，还包括：当所述判定的结果为所述作答答案错误时，还显示所述标准答案。

Images