CN111931731B - 判题方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提出一种判题方法、装置、电子设备及存储介质。具体实现方案为：对待批改数学图像进行图像检测，得到图像检测结果，图像检测结果包括文本行检测结果和题干答案检测结果；将图像检测结果输入识别模型，得到待批改数学图像中的题目的内容识别结果；将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号；在题目有题号的情况下，从题目的内容识别结果中识别题号，并将识别出的题号从题目的内容识别结果中去除；根据去除题号之后的内容识别结果，得到针对待批改数学图像中的题目的判题结果。本申请实施例能够有效地消除由于检测框不准确导致的题号对判题结果造成的干扰，有效提升判题结果准确率。

Description

判题方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种判题方法、装置、电子设备及存储介质。

背景技术

拍照判题是人工智能技术在教育领域的一项重要应用。通常情况下拍照判题的流程可包括：用手机或平板电脑等终端设备对待批改图像拍照，然后将待批改图像上传至拍照判题的应用程序。应用程序对待批改图像进行文本检测和内容识别等多个环节的处理，然后将判题结果输出。

现有的拍照判题的方法中，存在题号干扰的问题。题号干扰包括以下情形：由于文本检测的检测框不准确，导致有的检测框结果中可能把题号框在其中，还有的检测框结果中可能没有把题号框在其中。题号干扰会极大程度地干扰判题策略的判题准确性。由于无法有效地消除题号干扰，会对判题准确率有一定的影响，极大地影响用户的使用体验。

发明内容

本申请实施例提供一种判题方法、装置、电子设备及存储介质，以解决相关技术存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种判题方法，包括：

对待批改数学图像进行图像检测，得到图像检测结果，图像检测结果包括文本行检测结果和题干答案检测结果；

将图像检测结果输入识别模型，得到待批改数学图像中的题目的内容识别结果；

将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号；

在题目有题号的情况下，从题目的内容识别结果中识别题号，并将识别出的题号从题目的内容识别结果中去除；

根据去除题号之后的内容识别结果，得到针对待批改数学图像中的题目的判题结果。

在一种实施方式中，将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号的步骤之前，上述方法还包括：

针对每个题目，利用至少一个判题模型对题目的内容识别结果进行初步判题，得到题目的至少一个第一判题结果；

在题目的所有第一判题结果均指示题目答案错误的情况下，执行判断题目是否有题号的步骤。

在一种实施方式中，将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号，包括：

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，判断题目是否有题号。

在一种实施方式中，根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，判断题目是否有题号，包括：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框不重合，判断题目有题号。

在一种实施方式中，将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号，还包括：

根据题目的内容识别结果确定题目的类型；

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的预设位置处的内容是否与题目的类型相匹配，判断题目是否有题号。

在一种实施方式中，根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的预设位置处的内容是否与题目的类型相匹配，判断题目是否有题号，包括：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框重合，且内容识别结果中的预设位置处的内容与题目的类型相匹配的情况下，判断题目无题号。

在一种实施方式中，从题目的内容识别结果中识别题号，包括：

将内容识别结果中的预设符号之前的内容识别为题号；或，

根据题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值，以及字符宽度，确定题号包括的字符个数；

根据字符个数识别题目的内容识别结果中的题号。

在一种实施方式中，图像检测结果还包括版面分析检测结果；针对每个题目，利用至少一个判题模型对题目的内容识别结果进行初步判题，得到题目的至少一个第一判题结果，还包括：

根据版面分析检测结果和文本行检测结果，得到第一图像检测结果；

根据题干答案检测结果和文本行检测结果，得到第二图像检测结果；

将第一图像检测结果和第二图像检测结果分别输入识别模型和判题模型，得到第二判题结果和第三判题结果；

将第二判题结果和第三判题结果进行合并，得到针对待批改数学图像的第一判题结果。

第二方面，本申请实施例提供了一种判题装置，包括：

分析单元，用于对待批改数学图像进行图像检测，得到图像检测结果，图像检测结果包括文本行检测结果和题干答案检测结果；

识别单元，用于将图像检测结果输入识别模型，得到待批改数学图像中的题目的内容识别结果；

判断单元，用于将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号；

处理单元，用于在题目有题号的情况下，从题目的内容识别结果中识别题号，并将识别出的题号从题目的内容识别结果中去除；

判题单元，用于根据去除题号之后的内容识别结果，得到针对待批改数学图像中的题目的判题结果。

在一种实施方式中，上述装置还包括初步判题单元；

初步判题单元用于：针对每个题目，利用至少一个判题模型对题目的内容识别结果进行初步判题，得到题目的至少一个第一判题结果；

判断单元还用于：在题目的所有第一判题结果均指示题目答案错误的情况下，执行判断题目是否有题号的步骤。

在一种实施方式中，判断单元用于：

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，判断题目是否有题号。

在一种实施方式中，所述判断单元用于：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框不重合，判断题目有题号。

在一种实施方式中，判断单元还用于：

根据题目的内容识别结果确定题目的类型；

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的预设位置处的内容是否与题目的类型相匹配，判断题目是否有题号。

在一种实施方式中，判断单元用于：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框重合，且内容识别结果中的预设位置处的内容与题目的类型相匹配的情况下，判断题目无题号。

在一种实施方式中，处理单元用于：

将内容识别结果中的预设符号之前的内容识别为题号；或，

根据题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值，以及字符宽度，确定题号包括的字符个数；

根据字符个数识别题目的内容识别结果中的题号。

在一种实施方式中，图像检测结果还包括版面分析检测结果；初步判题单元还用于：

根据版面分析检测结果和文本行检测结果，得到第一图像检测结果；

根据题干答案检测结果和文本行检测结果，得到第二图像检测结果；

将第一图像检测结果和第二图像检测结果分别输入识别模型和判题模型，得到第二判题结果和第三判题结果；

将第二判题结果和第三判题结果进行合并，得到针对待批改数学图像的第一判题结果。

第三方面，本申请实施例提供了一种电子设备，该设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

上述技术方案中的优点或有益效果至少包括：能够有效地消除由于检测框不准确而导致的题号对判题结果造成的干扰，从而有效提升判题结果的准确率。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1为根据本申请实施例的判题方法的流程图；

图2为根据本申请另一实施例的判题方法的图像检测结果的示意图；

图3为根据本申请另一实施例的判题方法的题干答案检测结果的示意图；

图4为根据本申请另一实施例的判题方法的文本行检测结果的示意图；

图5为根据本申请另一实施例的判题方法的题型示意图；

图6为根据本申请另一实施例的判题方法的图像检测结果的示意图；

图7为根据本申请另一实施例的判题方法的流程图；

图8为根据本申请另一实施例的判题方法的流程图；

图9为根据本申请另一实施例的判题方法的流程图；

图10为根据本申请另一实施例的判题方法的图像检测结果的示意图；

图11为根据本申请实施例的判题装置的结构示意图；

图12为根据本申请另一实施例的判题装置的结构示意图；

图13为用来实现本申请实施例的电子设备的框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1为根据本申请实施例的判题方法的流程图。如图1所示，该判题方法可以包括：

步骤S110，对待批改数学图像进行图像检测，得到图像检测结果，图像检测结果包括文本行检测结果和题干答案检测结果；

步骤S120，将图像检测结果输入识别模型，得到待批改数学图像中的题目的内容识别结果；

步骤S130，将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号；

步骤S140，在题目有题号的情况下，从题目的内容识别结果中识别题号，并将识别出的题号从题目的内容识别结果中去除；

步骤S150，根据去除题号之后的内容识别结果，得到针对待批改数学图像中的题目的判题结果。

相关的拍照判题的方法中，可能存在题号干扰的问题。常见的题号如（1）、（11）、1.、11.、①和②等。由于文本检测的检测框不准确，导致有的检测框结果中可能把题号框在其中，还有的检测框结果中可能没有把题号框在其中。图2为根据本申请另一实施例的判题方法的图像检测结果的示意图。如图2所示，第1题的检测框结果中把题号框在其中了，而第5题的检测框结果中没有把题号框在其中。

题号干扰会极大程度地干扰判题策略的判题准确性。例如，对于1.22+12=13.22这道题而言，如果“1.”是题号，那么这道题应该判错；如果“1.22”整体上是一个小数，那么这道题就应该判对。在判题策略中，假设将所有题目都默认为有题号的，然后将题号去掉再进行判断，或者是将所有题目都视为无题号进行处理，这两种策略都无法保证能够很好地解决题号干扰的问题。

有鉴于此，本申请实施例提供一种判题方法，针对文本检测的检测框不准确的情况，将内容识别结果中包含的题号去除，从而有效提升判题结果的准确率。

在步骤S110中，可利用预先训练的机器学习模型对待批改数学图像进行图像检测，得到图像检测结果。例如，可分别利用文本行检测模型和题干答案检测模型对待批改数学图像进行处理，得到文本行检测结果和题干答案检测结果。其中，文本行检测模型用于检测待批改数学图像中包括的文本行。文本行检测结果可包括待批改数学图像中包括的各个文本行的文本区域坐标。题干答案检测模型用于检测待批改数学图像中的题干和答案。题干答案检测结果可包括待批改数学图像中的题干框的文本区域坐标和答案框的文本区域坐标。

在步骤S120中，将步骤S110中得到的图像检测结果输入识别模型，识别出每个题目的文本内容，即得到待批改数学图像中的题目的内容识别结果。

在一个示例中，可以根据题干答案检测结果中的题干框的文本区域坐标和答案框的文本区域坐标，确定待批改数学图像中与每一道题目对应的题干框和答案框。通常情况下，同一道题目的题干框和答案框可能是距离较近的两个文本框，并且答案框可能是与题干框相邻的右侧的文本框，或者答案框可能是与题干框相邻的在题干框下面的文本框。图3为根据本申请另一实施例的判题方法的题干答案检测结果的示意图。图3中的深色矩形文本框表示题干答案检测模型识别出的待批改数学图像中的题干框的文本区域。图3中的浅色矩形文本框表示题干答案检测模型识别出的待批改数学图像中的答案框的文本区域。在图3的示例中，答案框是与题干框相邻的在题干框下面的文本框。根据以上位置关系可将属于同一道题目的题干框和答案框进行匹配，得到待批改数学图像中与每一道题目对应的题干框和答案框。

在另一个示例中，可以根据题干答案检测结果和文本行检测结果，确定待批改数学图像中与每一道题目对应的题干框和答案框。图4为根据本申请另一实施例的判题方法的文本行检测结果的示意图。参见图3和图4，根据题干答案检测结果和文本行检测结果，确定待批改数学图像中与每一道题目对应的题干框和答案框，具体可包括：首先利用交并比，将题干答案检测结果和文本行检测结果建立对应关系。若题干答案检测结果中的文本框和文本行检测结果中的文本框的交并比大于等于预设阈值的情况下，可认为这两个文本框属于同一道题目，可以将两者建立对应关系。然后再根据题干与对应的答案之间的位置关系，得到待批改数学图像中与每个题目对应的题干框和答案框。

其中，题干与对应的答案之间的位置关系通常与题型有关。题型可包括横式、竖式和脱式。图5为根据本申请另一实施例的判题方法的题型示意图。图5中题号为1）的题目对应的题型为横式，题号为2）的题目对应题型为竖式，题号为3）的题目对应题型为脱式。对于横式题型而言，上述位置关系可包括以下几种情形。第一，文本行检测结果中的文本框可能包括题干答案检测结果中的题干框和答案框的至少之一的全部。第二，文本行检测结果中的文本框可能与题干答案检测结果中的题干框和答案框的至少之一的大部分面积是相交的。第三，文本行检测结果中的文本框与题干答案检测结果中的题干框和答案框的位置可能在同一水平线上。对于竖式题型和脱式题型而言，上述位置关系可包括答案框的位置在题干框的下面。而且直观来看，题干框和答案框明显是两个文本框。

基于以上位置关系，以及题干答案检测结果和文本行检测结果的对应关系，可得到待批改数学图像中与每个题目对应的题干框和答案框。

在确定待批改数学图像中与每一道题目对应的题干框和答案框之后，可对题干框和答案框中的文本内容进行文本识别，得到待批改数学图像中的题目的内容识别结果。

在步骤S130中，在待批改数学图像的文本行检测结果和题干答案检测结果中，属于同一道题目的题干答案检测结果中的题干框和文本行检测结果中的文本行检测框具有对应关系。比较以上具有对应关系的题干框和文本行检测框，在两者的文本区域不一致的情况下，可以确定该题目是有题号的。图6为根据本申请另一实施例的判题方法的图像检测结果的示意图。在一个示例中，图2所示为待批改数学图像的文本行检测结果，图6所示为待批改数学图像的题干答案检测结果。参见图2和图6，第1题的检测框结果中，文本行检测结果中把题号框在其中了，而题干答案检测结果中的题干框没有把题号框在其中。同一道题目中具有对应关系的题干框和文本行检测框，两者的文本区域不一致，在这种情况下，可以确定该题目是有题号的。

在步骤S140中，在步骤S130确定题目有题号的情况下，再利用步骤S120中的内容识别结果，从内容识别结果中识别出题号，并将题号从内容识别结果中去除，以避免在后续的判题步骤中产生题号干扰的问题。

在步骤S150中，对步骤S140中去除题号之后的内容识别结果，利用判题策略进行判题，得到针对待批改数学图像中的题目的判题结果。

本申请实施例能够有效地消除由于检测框不准确而导致的题号对判题结果造成的干扰，从而有效提升判题结果的准确率，提升用户的使用体验。

图7为根据本申请另一实施例的判题方法的流程图。如图7所示，在一种实施方式中，图1中的步骤S130：将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号的步骤之前，上述方法还包括：

步骤S210，针对每个题目，利用至少一个判题模型对题目的内容识别结果进行初步判题，得到题目的至少一个第一判题结果；

步骤S130具体可包括：步骤S220，在题目的所有第一判题结果均指示题目答案错误的情况下，执行判断题目是否有题号的步骤。

在这种实施方式中，在进行题号干扰处理之前，利用至少一个判题模型对题目的内容识别结果进行判题，在判题结果指示题目答案错误的情况下，才进行题号干扰处理。示例性地，在拍照批改的判题策略中，有一个默认的规则是“尽可能地将题目判为正确”。考虑到正常用户做题时绝大部分题目都能做对，只有少量题目会做错，因此在判题策略中，算法会尽可能地去产生一个能够将题目判为正确的结果。

通常情况下，如果内容识别结果中不包含题号，则判题模型会给出正确的判题结果。在这种情况下可以不进行后续的题号干扰处理。但在判题结果指示题目答案错误的情况下，可能存在题号干扰问题，因此在这种情况下需要进行后续的题号干扰处理。后续进行的题号干扰处理过程可包括：判断题目是否有题号；在题目有题号的情况下将题号从题目的内容识别结果中去除。

在一个示例中，可利用第一判题模型先进行第一次判题。在第一次判题过程中没有考虑对题号进行处理，则存在题号干扰的题目的判题结果可能是指示题目答案错误的判题结果。针对判题结果指示题目答案错误的题目，再利用第二判题模型进行第二次判题。针对在第二次判题中还是判定为答案错误的题目，进行第三次判题。在第三次判题的过程中，执行题号干扰处理过程。

在一种实施方式中，第一判题模型和第二判题模型可以是不同的模型。在另一种实施方式中，第一判题模型和第二判题模型可以是同样的模型，但两个模型使用不同的解码方式，例如在两个模型中可以分别使用贪心搜索（Greedy Search）或者集束搜索（BeamSearch）作为解码方式。

在另一个示例中，可利用一个判题模型进行一次判题，得到一个判题结果。在判题中不考虑对题号进行处理，则存在题号干扰的题目的判题结果可能是指示题目答案错误的判题结果。在该判题结果为答案错误的情况下，执行题号干扰处理过程。

在这种实施方式中，仅针对判题结果指示题目答案错误的题目执行题号干扰处理过程，可提升判题方法的执行效率，加快判题速度。

在一种实施方式中，将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号，包括：

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，判断题目是否有题号。

在一种实施方式中，根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，判断题目是否有题号，包括：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框不重合，判断题目有题号。

参见图2和图6的示例，图2所示为待批改数学图像的文本行检测结果，图6所示为待批改数学图像的题干答案检测结果。对于同一道题目，参见图2和图6中的第1题，文本行检测结果中的文本行检测框把题号框在其中了，而题干答案检测结果中的题干框没有把题号框在其中。同一道题目中具有对应关系的题干框和文本行检测框，两者的左边框不重合。在这种情况下，可以确定该题目是有题号的。在一个示例中，如果题干框的左边框在文本行检测框左边框的右边，则可认为这道题目可能有题号。如果属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框重合，可判断题目无题号。

在一种实施方式中，将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号，还包括：

根据题目的内容识别结果确定题目的类型；

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的预设位置处的内容是否与题目的类型相匹配，判断题目是否有题号。

参见图5，拍照判题应用中的常见题型可包括：横式、竖式和脱式。无论是上述哪种题型，可以按照运算数的类型来确定题目的类型。常见的题目的类型可包括整数与整数进行计算、小数与小数进行计算，以及分数与分数进行计算。针对待批改数学图像中的每一道题，无论是横式、竖式和脱式，文本行检测模型和题干答案检测模型都可以检测到题干信息。首先可根据检测到的题干信息对应的内容识别结果判断每道题目的类型，例如判断每道题目是否属于整数与整数进行计算、小数与小数进行计算或者分数与分数进行计算。

可依据题目中的每一项内容判断题目的类型。其中，题目中的每一项内容可包括题目中的每一个运算数。在一个示例中，如果题目中除了运算式中左起第一个运算数外，其他运算数都是整数，则可判断该题目的类型是整数与整数进行运算。同理，可判断题目的类型是否属于小数与小数进行运算或者分数与分数进行运算。

进一步地，可将内容识别结果中的第一项内容作为预设位置处的内容。可判断题目的内容识别结果中的第一项内容是否与题目的类型相匹配。其中，第一项内容可包括第一个运算数。可将第一个运算符之前的内容确定为第一个运算数。如果题目的内容识别结果中的左起第一个运算数是整数，且题目的类型也是整数，则可认为题目的内容识别结果中的第一项内容与题目的类型相匹配。同理，对于小数和分数的情形也同样适用上述匹配方式。

在一种实施方式中，根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的预设位置处的内容是否与题目的类型相匹配，判断题目是否有题号，包括：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框重合，且内容识别结果中的预设位置处的内容与题目的类型相匹配的情况下，判断题目无题号。

在一个示例中，利用每道题目的文本行检测模型和题干答案检测模型检到的文本框的左边框进行比对，如果两个文本框的左边框重合且题目中左起第一个运算数与题目的类型相匹配，则认为这个题目没有题号。

在另一个示例中，根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的第一项内容是否与题目的类型相匹配，判断题目是否有题号，可包括：

1）判断属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，在上述判断结果为不重合的情况下认为该题目有题号；

2）在上述判断结果为重合的情况下，判断内容识别结果中的第一项内容是否与题目的类型相匹配。在判断结果为匹配的情况下认为该题目无题号；在判断结果为不匹配的情况下认为该题目有题号。

在一种实施方式中，从题目的内容识别结果中识别题号，包括：

将内容识别结果中的预设符号之前的内容识别为题号。

其中，预设符号可包括：“）”、 “.”、 “、”或“：”等。可将内容识别结果中的第一个符号作为预设符号。在一个示例中，对于“（1）”这种形式的题号，可能会被识别成“（1）”或“1）”。另外，题号还可能包括两位数。针对上述各种情况，可根据右括号“）”的位置去除题号，将右括号“）”及其左边的数字和符号作为题号去除。

在另一个示例中，对于“1.”这种形式的题号，可根据左起第一个小数点的位置去除题号，将左起第一个小数点及其左边的数字作为题号去除。

图8为根据本申请另一实施例的判题方法的流程图。如图8所示，在一种实施方式中，图1中的步骤S140中，从题目的内容识别结果中识别题号，具体可包括：

步骤S310，根据题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值，以及字符宽度，确定题号包括的字符个数；

步骤S320，根据字符个数识别题目的内容识别结果中的题号。

在这种实施方式中，可根据针对题干框的内容识别结果，得到题干框中包括的字符个数。用题干框的宽度除以题干框中包括的字符个数，得到每个字符的字符宽度。然后根据题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值与字符宽度相比较，确定题号包括的字符个数。例如，题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值是字符宽度的2倍，则可确定题号可能包括两位数。然后根据确定的题号包括的字符个数从内容识别结果中将题号去除。

例如，对于“①”这种形式的题号，可能会直接被识别模型识别为“1”。如果直接将最左边的1位数字或者2位数字作为符号去除，则无法保证处理结果的正确性。为了更准确地去除这种形式的题号，可执行步骤S310和步骤S320，从题目的内容识别结果中识别题号。

在一个示例中，可先识别题干中的第一个运算符之前是否存在符号。符号可包括右括号“）”、“.”、“：”或“、”等。在识别到符号的情况下，将内容识别结果中的第一个符号之前的内容识别为题号。在没有识别到符号的情况下，执行步骤S310和步骤S320，从题目的内容识别结果中识别题号。

图9为根据本申请另一实施例的判题方法的流程图。如图9所示，一个示例性的判题方法可包括以下步骤：

步骤1：将待批改图像拍照输入拍照批改应用程序。

步骤2：将步骤1输入到的图像通过版面分析模型，得到版面分析检测结果。

其中，版面分析模型是一种文本检测模型。版面分析检测结果可包括待批改图像中各个题的题型和各个题的文本区域坐标。参见图5所示，题型它可包括横式、竖式和脱式。

步骤3：将步骤1输入到的图像通过文本行检测模型，得到文本行检测结果。

步骤4：将步骤1输入到的图像题干答案检测模型，得到题干答案检测结果。

上述步骤2至步骤4中，可以将步骤1输入到的图像并行通过版面分析模型、文本行检测模型和题干答案检测模型，得到版面分析检测结果、文本行检测结果和题干答案检测结果。步骤2至步骤4得到的版面分析检测结果、文本行检测结果和题干答案检测结果，可统称为图像检测结果。

步骤5：将步骤2至步骤4得到的图像检测结果输入识别模型，得到内容识别结果。

步骤6：将步骤5得到的内容识别结果输入到第一判题模型进行第一次判题。

步骤7：针对在步骤6中得到错误的判题结果的题目，再将输入到第二判题模型进行第二次判题。

步骤8：若步骤7中仍得到错误的判题结果，则再将该题目进行第三次判题。判断需要进行第三次判题的每道题目的类型。题目的类型可包括整数与整数进行计算、小数与小数进行计算，以及分数与分数进行计算。对于不属于以上三种类型的题目可以不执行题号干扰处理过程。

步骤9：判断文本行检测结果中的文本行检测框的左边框是否与题干答案检测结果中的题干框的左边框重合。

步骤10：若步骤9判断的结果为重合，认为该题目没有题号，可以不执行题号干扰处理过程。

步骤11：若步骤9判断的结果为不重合，则判断题号的类型，也就是识别题干中的第一个运算符之前是否存在符号。符号可包括右括号“）”或“.”。

步骤12：对于题干中的第一个运算符之前存在符号的题目，可根据符号进行题号处理。例如对于“（1）”和“1.”这两种类型的题号，根据“）”或“.”进行题号处理。

步骤13：对于步骤12不能处理的题号，首先计算文本行检测框的左边框与题干答案检测结果中的题干框的左边框的距离差值，然后计算题干框内的每个字符的字符宽度。具体方法可参照上述步骤S310的相关描述，在此不再赘述。

步骤14：根据位置差值和字符宽度，确定题号是1位数字还是2位数字。根据确定的题号包括的字符个数从内容识别结果中将题号去除。

经过以上处理流程将题号去除之后，再进行第三次判题。在第三次判题中已经消除了题号干扰的问题，可得到准确的判题结果。

在一种实施方式中，图像检测结果还包括版面分析检测结果；针对每个题目，利用至少一个判题模型对题目的内容识别结果进行初步判题，得到题目的至少一个第一判题结果，还包括：

根据版面分析检测结果和文本行检测结果，得到第一图像检测结果；

根据题干答案检测结果和文本行检测结果，得到第二图像检测结果；

将第一图像检测结果和第二图像检测结果分别输入识别模型和判题模型，得到第二判题结果和第三判题结果；

将第二判题结果和第三判题结果进行合并，得到针对待批改数学图像的第一判题结果。

在这种实施方式中，可分别利用版面分析模型、文本行检测模型和题干答案检测模型对待批改图像进行处理，得到版面分析检测结果、文本行检测结果和题干答案检测结果。其中，版面分析模型是一种文本检测模型，也称为题型判断模型。将待批改图像输入版面分析模型，得到版面分析检测结果。版面分析检测结果可包括待批改图像中各个题的题型和文本区域坐标。参见图5所示，题型可包括横式、竖式和脱式。

图10为根据本申请另一实施例的判题方法的图像检测结果的示意图。图10中的深色粗线条的矩形文本框表示版面分析模型识别出的待批改图像中各个题的文本区域，也就是版面分析检测结果。图10中的浅色细线条的矩形文本框表示文本行检测模型识别出的待批改图像中各个文本行的文本区域，也就是文本行检测结果。

根据版面分析检测结果和文本行检测结果进行版面分析，将版面分析检测结果及其对应的文本行检测结果中的文本框进行合并。合并得到的图像包括待批改图像中与每个题目对应的题干框和答案框的文本区域。在后续步骤中将上述合并得到的图像作为第一图像检测结果输入识别模型和判题模型，识别出每个题目的文本内容，然后根据题目内容进行判题，得到第二判题结果。

根据题干答案检测结果和文本行检测结果进行版面分析，将题干答案检测结果和文本行检测结果中对应的文本框进行合并，得到第二图像检测结果。第二图像检测结果中包括待批改图像中与每个题目对应的题干框和答案框的文本区域。在后续步骤中将第二图像检测结果输入识别模型和判题模型，识别出每个题目的文本内容，然后根据题目内容进行判题，得到第三判题结果。

上述第二判题结果和第三判题结果可能都不是完全准确的，因此最后将第二判题结果和第三判题结果进行合并，通过合并操作使得第二判题结果和第三判题结果相互矫正，得到针对待批改图像的第一判题结果。

本申请实施例能够对判题方法中各个处理环节产生的误差进行相互矫正，从而有效提升判题结果的准确率。

图11为根据本申请实施例的判题装置的结构示意图。如图11所示，该装置可以包括：

分析单元100，用于对待批改数学图像进行图像检测，得到图像检测结果，图像检测结果包括文本行检测结果和题干答案检测结果；

识别单元200，用于将图像检测结果输入识别模型，得到待批改数学图像中的题目的内容识别结果；

判断单元300，用于将待批改数学图像中属于同一道题目的文本行检测结果和题干答案检测结果相比较，判断题目是否有题号；

处理单元400，用于在题目有题号的情况下，从题目的内容识别结果中识别题号，并将识别出的题号从题目的内容识别结果中去除；

判题单元500，用于根据去除题号之后的内容识别结果，得到针对待批改数学图像中的题目的判题结果。

图12为根据本申请另一实施例的判题装置的结构示意图。如图12所示，在一种实施方式中，上述装置还包括初步判题单元250；

初步判题单元250用于：针对每个题目，利用至少一个判题模型对题目的内容识别结果进行初步判题，得到题目的至少一个第一判题结果；

判断单元300还用于：在题目的所有第一判题结果均指示题目答案错误的情况下，执行判断题目是否有题号的步骤。

在一种实施方式中，判断单元300用于：

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，判断题目是否有题号。

在一种实施方式中，所述判断单元300用于：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框不重合，判断题目有题号。

在一种实施方式中，判断单元300还用于：

根据题目的内容识别结果确定题目的类型；

根据属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框是否重合，以及内容识别结果中的预设位置处的内容是否与题目的类型相匹配，判断题目是否有题号。

在一种实施方式中，判断单元300用于：

基于属于同一道题目的文本行检测结果和题干答案检测结果中的文本框的左边框重合，且内容识别结果中的预设位置处的内容与题目的类型相匹配的情况下，判断题目无题号。

在一种实施方式中，处理单元400用于：

将内容识别结果中的第一个符号之前的内容识别为题号；或，

根据题干答案检测结果中的左边框和文本行检测结果中的左边框的位置差值，以及字符宽度，确定题号包括的字符个数；

根据字符个数识别题目的内容识别结果中的题号。

在一种实施方式中，图像检测结果还包括版面分析检测结果；初步判题单元250还用于：

根据版面分析检测结果和文本行检测结果，得到第一图像检测结果；

根据题干答案检测结果和文本行检测结果，得到第二图像检测结果；

将第一图像检测结果和第二图像检测结果分别输入识别模型和判题模型，得到第二判题结果和第三判题结果；

将第二判题结果和第三判题结果进行合并，得到针对待批改数学图像的第一判题结果。

本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

图13为用来实现本申请实施例的电子设备的框图。如图13所示，该电子设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的判题方法。存储器910和处理器920的数量可以为一个或多个。

该电子设备还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外部设备互连（Peripheral ComponentInterconnect ，PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture ，EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。

本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory ，DRAM) 、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种判题方法，其特征在于，包括：

对待批改数学图像进行图像检测，得到图像检测结果，所述图像检测结果包括文本行检测结果和题干答案检测结果，所述题干答案检测结果包括题干框检测结果和答案框检测结果；

将所述图像检测结果输入识别模型，得到所述待批改数学图像中的题目的内容识别结果；

将所述待批改数学图像中属于同一道题目的文本行检测结果和题干框检测结果相比较，判断所述题目是否有题号；

在所述题目有题号的情况下，从所述题目的内容识别结果中识别题号，并将识别出的题号从所述题目的内容识别结果中去除；

根据去除题号之后的内容识别结果，得到针对所述待批改数学图像中的题目的判题结果；

其中，所述将所述待批改数学图像中属于同一道题目的文本行检测结果和题干框检测结果相比较，判断所述题目是否有题号，还包括：

根据所述题目的内容识别结果确定所述题目的类型；

根据属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框是否重合，以及所述内容识别结果中的预设位置处的内容是否与所述题目的类型相匹配，判断所述题目是否有题号。

2.根据权利要求1所述的方法，其特征在于，将所述待批改数学图像中属于同一道题目的文本行检测结果和题干框检测结果相比较，判断所述题目是否有题号的步骤之前，所述方法还包括：针对每个题目，利用至少一个判题模型对所述题目的内容识别结果进行初步判题，得到所述题目的至少一个第一判题结果；

在所述题目的所有第一判题结果均指示所述题目答案错误的情况下，执行所述判断所述题目是否有题号的步骤。

3.根据权利要求1所述的方法，其特征在于，将所述待批改数学图像中属于同一道题目的文本行检测结果和题干框检测结果相比较，判断所述题目是否有题号，包括：

根据属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框是否重合，判断所述题目是否有题号。

4.根据权利要求3所述的方法，其特征在于，根据属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框是否重合，判断所述题目是否有题号，包括：

基于属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框不重合，判断所述题目有题号。

5.根据权利要求1所述的方法，其特征在于，根据属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框是否重合，以及所述内容识别结果中的预设位置处的内容是否与所述题目的类型相匹配，判断所述题目是否有题号，包括：

基于属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框重合，且所述内容识别结果中的预设位置处的内容与所述题目的类型相匹配的情况下，判断所述题目无题号。

6.根据权利要求1至5中任一项所述的方法，其特征在于，从所述题目的内容识别结果中识别题号，包括：

将所述内容识别结果中的预设符号之前的内容识别为题号；或，

根据题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值，以及字符宽度，确定题号包括的字符个数；根据所述字符个数识别所述题目的内容识别结果中的题号。

7.根据权利要求2所述的方法，其特征在于，所述图像检测结果还包括版面分析检测结果；针对每个题目，利用至少一个判题模型对所述题目的内容识别结果进行初步判题，得到所述题目的至少一个第一判题结果，还包括：

根据所述版面分析检测结果和所述文本行检测结果，得到第一图像检测结果；

根据所述题干答案检测结果和所述文本行检测结果，得到第二图像检测结果；

将所述第一图像检测结果和所述第二图像检测结果分别输入识别模型和判题模型，得到第二判题结果和第三判题结果；

将所述第二判题结果和所述第三判题结果进行合并，得到针对所述待批改数学图像的第一判题结果。

8.一种判题装置，其特征在于，包括：

分析单元，用于对待批改数学图像进行图像检测，得到图像检测结果，所述图像检测结果包括文本行检测结果和题干答案检测结果，所述题干答案检测结果包括题干框检测结果和答案框检测结果；

识别单元，用于将所述图像检测结果输入识别模型，得到所述待批改数学图像中的题目的内容识别结果；

判断单元，用于将所述待批改数学图像中属于同一道题目的文本行检测结果和题干框检测结果相比较，判断所述题目是否有题号；

处理单元，用于在所述题目有题号的情况下，从所述题目的内容识别结果中识别题号，并将识别出的题号从所述题目的内容识别结果中去除；

判题单元，用于根据去除题号之后的内容识别结果，得到针对所述待批改数学图像中的题目的判题结果；

所述判断单元还用于：

根据所述题目的内容识别结果确定所述题目的类型；

根据属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框是否重合，以及所述内容识别结果中的预设位置处的内容是否与所述题目的类型相匹配，判断所述题目是否有题号。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括初步判题单元；

所述初步判题单元用于：针对每个题目，利用至少一个判题模型对所述题目的内容识别结果进行初步判题，得到所述题目的至少一个第一判题结果；

所述判断单元还用于：在所述题目的所有第一判题结果均指示所述题目答案错误的情况下，执行所述判断所述题目是否有题号的步骤。

10.根据权利要求8所述的装置，其特征在于，所述判断单元用于：

根据属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框是否重合，判断所述题目是否有题号。

11.根据权利要求10所述的装置，其特征在于，所述判断单元用于：

基于属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框不重合，判断所述题目有题号。

12.根据权利要求8所述的装置，其特征在于，所述判断单元用于：

基于属于同一道题目的文本行检测结果和题干框检测结果中的文本框的左边框重合，且所述内容识别结果中的预设位置处的内容与所述题目的类型相匹配的情况下，判断所述题目无题号。

13.根据权利要求8至12中任一项所述的装置，其特征在于，所述处理单元用于：

将所述内容识别结果中的预设符号之前的内容识别为题号；或，

根据题干答案检测结果中的文本框的左边框和文本行检测结果中的文本框的左边框的距离差值，以及字符宽度，确定题号包括的字符个数；

根据所述字符个数识别所述题目的内容识别结果中的题号。

14.根据权利要求9所述的装置，其特征在于，所述图像检测结果还包括版面分析检测结果；所述初步判题单元还用于：

根据所述版面分析检测结果和所述文本行检测结果，得到第一图像检测结果；

根据所述题干答案检测结果和所述文本行检测结果，得到第二图像检测结果；

将所述第一图像检测结果和所述第二图像检测结果分别输入识别模型和判题模型，得到第二判题结果和第三判题结果；

将所述第二判题结果和所述第三判题结果进行合并，得到针对所述待批改数学图像的第一判题结果。

15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储指令，所述指令由处理器加载并执行，以实现如权利要求1至7任一项所述的方法。

16.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images