CN114332900A - 作业批改方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种作业批改方法、装置、设备及存储介质，获取包含待批改作业的目标图像后，对目标图像进行目标识别，以确定目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域的文本关联的手写答案区域的文本对应的批改结果。实现了对待批改作业中的各个题目的自动批改，从而可以辅助老师提高作业批改效率。

Description

作业批改方法、装置、设备及存储介质

技术领域

本申请涉及信息技术领域，更具体地说，涉及一种作业批改方法、装置、设备及存储介质。

背景技术

目前的作业批改方案主要有以下两种方式：一种方式是首先由教师对作业进行批改，然后将具有批改痕迹的作业转换成图片，通过AI智能切题系统识别出错题，从而形成错题本或进行错题的统计分析等；另一种方式是拍摄教师批改作业的视频，通过对视频进行处理获取教师批改痕迹的识别结果，然后根据识别结果和预先设置的打分规则确定题目的批改结果。这两种方式虽然在一定程度上辅助教师提高了作业批改效率，但由于其仍需要教师进行批改，导致作业批改效率仍然较低，因此，如何辅助教师提高作业批改效率称为亟待解决的技术问题。

发明内容

有鉴于此，本申请提供了一种作业批改方法、装置、设备及存储介质，以辅助老师提高作业批改效率。

为了实现上述目的，现提出的方案如下：

一种作业批改方法，包括：

获取目标图像，所述目标图像中包含待批改作业；

对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果。

上述方法，优选的，所述对所述目标图像进行目标识别，包括：

对所述目标图像进行文本行检测，以确定所述目标图像中的所有文本行；

对于每一文本行，基于该文本行的倾斜角度对该文本行进行分桶处理；

根据文本行数量最多的桶中文本行的倾斜角度，确定所述目标图像的倾斜角度；

根据所述目标图像的倾斜角度对所述目标图像进行矫正，得到矫正后的图像；

对所述矫正后的图像进行目标识别。

上述方法，优选的，所述对所述矫正后的图像进行目标识别，包括：

对所述矫正后的图像进行特征提取，得到图像特征；

通过第一目标检测方法对所述图像特征进行第一类目标检测，得到第一类型的各个题目的题目区域，所述第一类型的各个题目的手写答案区域；

通过第二目标检测方法对所述图像特征进行第二类目标检测，得到第二类型的各个题目的题目区域，所述第二类型的各个题目的手写答案区域；

对应每一个题目区域，基于该题目区域进行题目类型识别，得到该题目区域对应的题型。

上述方法，优选的，所述确定与该题目区域的文本关联的手写答案区域的文本，包括：

对于任意一个手写答案区域，判断该手写答案区域是否是该题目区域的子区域；

如果该手写答案区域是该题目区域的子区域，将该手写答案区域的文本确定为与该题目区域的文本关联的手写答案区域的文本。

上述方法，优选的，还包括：

如果与该题目区域的文本关联的手写答案区域的文本包括多个手写答案区域的文本，对于所述多个手写答案区域中的每个手写答案区域，根据该手写答案区域的视觉特征、该手写答案区域的文本的语义特征、该手写答案区域的位置信息，获得该手写答案区域的文本在所述多个手写答案区域的文本中的顺序；

根据所述顺序对该题目区域关联的多个手写答案区域的文本进行排序。

上述方法，优选的，所述根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果，包括：

根据该题目区域的文本，以及该题目区域的文本关联的手写答案区域的文本，确定该题目区域的题干；

基于该题目区域对应的题型，在与所述题干对应的标准答案和解析中检索目标信息，所述目标信息为所述标准答案和解析中的至少一种；

对该题目区域的文本关联的手写答案区域的文本，以及所述目标信息进行处理，得到该题目区域对应的批改结果。

上述方法，优选的，所述获取目标图像，包括：

对待批改作业所在区域进行图像采集；

对于采集的每一帧图像，判断该帧图像是否为无效图像；所述无效图像为满足如下至少一个条件的图像：模糊、非教辅作业图像、作业页面被遮挡或页面折叠、与前一帧目标图像为相同的图像；

若判断结果为否，确定该帧图像为目标图像。

上述方法，优选的，还包括：

获得具有第一标记的题目区域；所述第一标记表征题目区域对应的文本关联的手写答案区域的文本所体现的解题思路新颖；

将所述具有第一标记的题目区域内的题目提取为典型题目。

上述方法，优选的，还包括：

获取所述待批改作业的所有者的识别标识；

将所述识别标识与所述目标图像相关联；

获得具有第二标记的题目区域；所述第二标记表征题目区域对应的文本关联的手写答案区域的文本对应的批改结果为错；

统计各个所有者的识别标识关联的目标图像中具有所述第二标记的相同题目区域的数量；

将数量满足条件的具有所述第二标记的相同题目区域中的题干作为共性错题。

上述方法，优选的，还包括：

将所有者关联的目标图像中具有所述第二标记的题目区域的题目发送给所述所有者。

上述方法，优选的，还包括：

提取该题目区域中的人工批改结果；

如果该题目区域的文本关联的手写答案区域的文本对应的批改结果，不不同于所述人工批改结果，保存该题目区域的图像，以及该题目区域中的题干，题干对应的标准答案和解析。

一种作业批改装置，包括：

图像获取模块，用于获取目标图像，所述目标图像中包含待批改作业；

检测模块，用于对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

识别模块，用于对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

关联模块，用于对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

批改模块，用于根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域的文本关联的手写答案区域的文本对应的批改结果。

一种作业批改设备，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如上任一项所述的作业批改方法的各个步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上任一项所述的作业批改方法的各个步骤。

从上述的技术方案可以看出，本申请实施例提供的作业批改方法、装置、设备及存储介质，获取包含待批改作业的目标图像后，对目标图像进行目标识别，以确定目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域的文本关联的手写答案区域的文本对应的批改结果。基于本申请方案，通过对包含待批改作业的图像进行区域检测和字符识别，确定出图像中的各题目和手写答案文本，然后对题目和手写答案文本进行关联，根据题目的题型，以及题目和关联的手写答案文本对手写答案内容进行批改，实现了对待批改作业中的各个题目的自动批改，从而可以辅助老师提高作业批改效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的作业批改方法的一种实现流程图；

图2为本申请实施例公开的对目标图像进行目标检测的一种实现流程图；

图3为本申请实施例公开的对矫正后的图像进行目标检测的一种实现流程图；

图4a为本申请实施例公开的确定与该题目区域的文本关联的手写答案区域的文本的一种实现流程图；

图4b-4c为本申请实施例公开的填空题、选择题、判断题中手写答案在题目中的各种可能的位置关系示例图；

图4d为本申请实施例公开的解答题的手写答案在题目中的位置关系示例图；

图5为本申请实施例公开的据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果的一种实现流程图；

图6为本申请实施例公开的获取目标图像的一种实现流程图；

图7为本申请实施例公开的作业批改装置的一种结构示意图；

图8为本申请实施例公开的作业批改设备的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的作业批改方法可以用于电子设备中，该电子设备具有图像处理能力。

可选的，本申请实施例提供的作业批改方法还可以由电子设备和服务器交互实现。具体的，电子设备可以主要用于与用户进行交互，而涉及图像处理的部分则交由服务器实现，或者，电子设备除了与用户交互外，还执行少部分图像处理的功能，服务器来实现大部分的图像处理能力还是由服务器实现。

本申请实施例提供的作业批改方法的一种实现流程图如图1所示，可以包括：

步骤S101：获取目标图像，该目标图像中包含待批改作业。

待批改作业中至少包含多个题目，每个题目由题干和手写答案组成。

待批改作业可以是教辅书本中的某一页的内容，或者，可以是试卷中的内容等。教辅书本和试卷既可以是纸质版的，也可以是电子版的。在教辅书本和试卷是电子版的情况下，可以将电子版的待批改作业进行格式转换得到目标图像；在教辅书本和试卷是纸质版的情况下，可以通过图像采集装置对纸质版的待批改作业进行图像采集得到目标图像。

该目标图像可以是实时对电子版的待批改作业进行格式转换得到，或者可以是实时对纸质版的待批改作业进行图像采集获得的，或者，可以是从内存中读取的(即预先获取到目标图像并存储到了内存中)。

步骤S102：对目标图像进行目标识别，以确定目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型。

待批改作业中的题目的题型可以包括但不限于以下至少部分：填空题、判断题、选择题、解答题等。

可以利用目标检测分类模型对目标图像进行目标检测和分类，以确定目标图像中的各个题目区域和各个手写答案区域。作为示例，可以采用掩膜区域卷积神经网络(MaskRegion Convolutional Neural Networks，Mask RCNN)模型对目标图像进行目标检测，或者，可以采用基于two-stage的级联的MaskRCNN模型对目标图像进行目标检测。

在得到各个题目区域后，对应每个一题目区域，利用分类模型基于该题目区域进行题型识别，得到该题目区域对应的题型。作为示例，可以在目标图像中截取该题目区域对应的子图像，对该子图像进行题型分类，确定该子图像对应的题型，也就行该题目区域对应的题型。

确定目标图像中的各个题目区域和手写答案区域的实质是确定各个题目在目标图像中的位置，以及各个手写答案在目标图像中的位置。

步骤S103：对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本。

可以采用端到端的字符识别模型对各个题目区域和手写答案区域分别进行字符识别。

作为示例，端到端的字符识别模型可以是编码-解码(encode-decode)结构的字符识别模型，以保证字符识别效果。

步骤S104：对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本。

若要判断手写答案是否正确，光有手写答案是无法判断的，需要确定其是对应哪个题目的手写答案才可以判断，因此，本申请实施例中，对于每一题目区域的文本，确定与该题目区域的文本关联的手写答案区域的文本。

可选的，可以基于题目区域和手写答案区域的相对位置关系确定各个题目区域关联的手写答案区域，每个题目区域可以关联至少一个手写答案区域。比如，对于选择题和判断题，只有一个手写答案区，而对于填空题或解答题则可能对应多个手写答案区域。

步骤S105：根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果。

可选的，可以基于该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型查找用于对该题目区域的文本关联的手写答案文本进行判断的目标信息，以基于该目标信息对该题目区域的文本关联的手写答案文本进行判断，得到判断结果，进而根据该判断结果确定该题目区域对应的批改结果。

其中，判断结果表征该题目区域的手写答案是否正确，或者，判断结果表征该题目区域的手写答案中的正确内容所占的比例等。比如，对于填空题、选择题、判断题等一些客观题，答案通常是唯一的，因此，判断结果要么是正确，要么是错误；而对于一些主观题，比如，问答题，应用题等，答案通常不是唯一的，因此，判断结果可以为手写答案中正确内容所占的比例。当然，对应问答题和应用题而言，判断结果也可以是手写答案是否正确，比如，语义相同则判断结果是正确，否则判断结果是错误。

批改结果可以包括该题目区域的手写答案的得分。

在得到该题目区域对应的批改结果后，可以将批改结果显示在目标图像上的该题目区域，以供作业批改者查看。可选的，还可以将判断结果一起显示在目标图像上的该题目区域，以供作业批改者查看。

本申请实施例提供的作业批改方法，通过对包含待批改作业的图像进行区域检测和字符识别，确定出图像中的各题目和手写答案文本，然后对题目和手写答案文本进行关联，根据题目的题型，以及题目和关联的手写答案文本对手写答案文本进行处理，得到批改结果，实现了对待批改作业中的各个题目的自动批改，从而可以辅助老师提高作业批改效率。基于本申请实施例，作业批改者(例如老师)在批改作业时，可以只需对各个题目进行审阅，而无需给出对或错的批改痕迹，或者，可以仅在发现机器批改错误的情况下，对机器批改错误的题目给出批改痕迹即可，从而大大降低了作业批改者的工作量。

在实际应用中，在通过图像采集装置(比如，手机或专门的图像采集装置等电子设备)采集待批改作业的图像时，待批改作业相对于图像采集装置来说可能是倾斜的，此时采集的图像中的题目就是倾斜的，因此，需要对图像进行旋转矫正。基于此，

在一可选的实施例中，上述对目标图像进行目标识别的一种实现流程图如图2所示，可以包括：

步骤S201：对目标图像进行文本行检测，以确定目标图像中的所有文本行。

可选的，可以采用预先训练好的文本行检测模型对目标图像进行文本行检测。

可以用矩形框标记检测到的每一个文本行。

步骤S202：对于每一文本行，基于该文本行的倾斜角度对该文本行进行分桶处理。

可以通过opencv利用文本行的矩形框获取文本行的倾斜角度，该倾斜角度是指文本行相对于文本行所在平面上的基准方向的倾斜角度。具体实现方式可以参考已有的方案，这里不再详述。

文本行相对于基准方向的倾斜包括两种情况：一种是文本行相对于基准方向向第一方向倾斜，一种是文本行相对于基准方向向第二方向倾斜，第一方向和第二方向是相反的两个方向。基于此，本申请实施例中，文本行的倾斜角度的取值是带正/负号的，其中，文本行的倾斜角度的取值为正数时，表征文本行相对于基准方向向第一方向倾斜，且倾斜的角度为倾斜角度的取值的绝对值；文本行的倾斜角度的取值为负数时，表征文本行相对于基准方向向第二方向倾斜，且倾斜的角度为倾斜角度的取值的绝对值。

理想情况下，待批改作业中文本行间是相互平行的，但在实际应用中，由于拍摄角度的影响，采集的图像中的不同的文本行的倾斜角度可能是不同的。基于此，本申请实施例基于分桶法确定目标图像的角度。

本申请实施例中，设置了多个桶，每个桶相当于一个用于存放文本行的容器，不同的桶用于存放不同倾斜角度范围内的文本行。

步骤S203：根据文本行数量最多的桶中文本行的倾斜角度，确定目标图像的倾斜角度。

可以将文本行数量最多的桶中所有文本行的倾斜角度的均值作为目标图像的倾斜角度。或者，

可以将文本行数量最多的桶中所有文本行的倾斜角度的中位数作为目标图像的倾斜角度。

步骤S204：根据目标图像的倾斜角度对目标图像进行矫正，得到矫正后的图像。

可以根据目标图像的倾斜角度对目标图像进行旋转，得到矫正后的图像。作为示例，如果目标图象的倾斜角度为正数，表征文本行相对于基准方向向第一方向倾斜了，则可以将文本行相对于基准方向向第二方向旋转，旋转角度为目标图象的倾斜角度的绝对值；如果目标图象的倾斜角度为负数，表征文本行相对于基准方向向第二方向倾斜了，则可以将文本行相对于基准方向向第一方向旋转，旋转角度为目标图象的倾斜角度的绝对值。

步骤S205：对矫正后的图像进行目标识别。

可以利用目标检测、分类模型对矫正后的图像进行目标识别。

在一些情况下，待批改作业可能是纸质教辅书本中的某一页中的内容，而在教辅书本打开时，会有页面弯曲的情况，对于一些较短的题目(比如，填空题、判断题等)的检测效果会比较差，比如，出现漏检的情况。发明人研究发现，导致漏检的主要原因在于相邻两个题目的特征区域重叠度很高，几乎相同，导致模型/算法难以区分。为了克服这一问题，本申请实施例对目标检测识别方法进行改进，具体的，本申请实施例提供的对矫正后的图像进行目标识别的一种实现流程图如图3所示，可以包括：

步骤S301：对矫正后的图像进行特征提取，得到图像特征。

步骤S302：通过第一目标检测方法对图像特征进行第一类目标检测，得到第一目标检测结果。第一目标检测结果包括：第一类型的各个题目的题目区域，所述第一类型的各个题目的手写答案区域。第一类型的题目主要是较长类型的题目，比如，选择题、解答题等。

可选的，可以采用掩膜区域卷积神经网络Mask RCNN模型对图像特征进行目标检测，得到第一目标检测结果，或者，可以采用基于two-stage的级联的MaskRCNN模型对图像特征进行目标检测。

步骤S303：通过第二目标检测方法对图像特征进行第二类目标检测，得到第二目标检测结果。第二目标检测结果包括：第二类型的各个题目的题目区域，第二类型的各个题目的手写答案区域。第二类型的题目主要是较短类型的题目，比如，填空题，判断题等。

可以采用可微分二值化网络dbnet对图像特征进行目标检测，得到第二目标检测结果。

步骤S302和步骤S303的执行顺序不做具体限定，可以限制性步骤S302，再执行步骤S303，或者，先执行步骤S303，再执行步骤S302，或者，步骤S302和步骤S303同时执行。

步骤S304：对应每一个题目区域，基于该题目区域进行题型识别，得到该题目区域对应的题型。

本申请实施例中，不管是第一类型的题目，还是第二类型的题目，均基于题目区域进行题型识别。具体识别方式可以参看前述实现方式，这里不在赘述。

在一可选的实施例中，上述确定与该题目区域的文本关联的手写答案区域的文本的一种实现流程图如图4a所示，可以包括：

步骤S401：对于任意一个手写答案区域，判断该手写答案区域是否是该题目区域的子区域。

不同的题型，手写答案在题目中的位置相同或不同，比如，填空题、选择题、判断题等，手写答案通常在题目中间，或位于题目的头部，或位于题目的尾部等。而对应解答题，手写答案通常位于题目的下方。如图4b-4c所示，为填空题、选择题、判断题中手写答案在题目中的各种可能的位置示例图，该示例中，题目区域中除手写答案区域外的区域为题干区域；如图4d所示，为解答题的手写答案在题目中的位置示例图，该示例中，题目区域中除手写答案区域外的区域为题干区域。

显然，不管哪一种情形，题目区域中均包括题干和手写答案两部分内容，因而，每一个手写答案区域一定是某个题目区域的子区域。

可以根据题目区域的坐标，以及手写答案区域的坐标，判断手写答案区域是否是题目区域的子区域。可选的，对于任意一个手写答案区域(记为第一手写答案区域)和任意一个题目区域(记为第一题目区域)，可以基于第一手写答案区域的坐标和第一题目区域的坐标，判断第一手写答案区域是否位于第一目标题目区域内，如果是，确定第一手写答案区域是第一目标题目图区域的子区域，如果否，确定第一手写答案区域不是第一目标题目图区域的子区域。

步骤S402：如果该手写答案区域是该题目区域的子区域，将该手写答案区域的文本确定为与该题目区域的文本关联的手写答案区域的文本。

在实际应用场景中，在题目区域对应的题型为解答题时，一个题目中可能有多个子题干，不同学生在答题区写答案时，答案的布局方式是不同的，比如，有的学生可能是将各个子题干对应的答案按照从左往右的顺序排成一行，有的可能是将各个子题干对应的答案按照从上往下的顺序排成一列，上述两种排列方式下，如果答案的顺序是按照子题干的序号排列，则可以按照各个手写答案区域的位置确定手写答案的顺序。但在实际应用中，各个答案的顺序并不是严格的按照子题干的序号排列的，比如，题目区域有3个子题干，学生按照从上往下的顺序依次写完三个子题干的答案后发现，第一个子题干的答案错了，需要重新答，此时，学生可能会划掉第一个子题干的答案，而在第三个子题干的答案的下边写第一个子题干的答案，因此，各个子题干对应的手写答案的顺序是不确定的。另外，有的学生可能将各个子题干对应的答案排成多行多列，这种情况下，各个子题干对应的手写答案的顺序也是不确定的。因此，需要对各个手写答案的文本进行调序。基于此，

在一可选的实施例中，在题目区域对应的题型为解答题时，如果与该题目区域的文本关联多个手写答案区域的文本，对于该多个手写答案区中的每个手写答案区域，根据该手写答案区域的视觉特征、该手写答案区域的文本的语义特征、该手写答案区域的位置信息，获得该手写答案区域的文本在多个手写答案区域的文本中的顺序。

可选的，可以利用预先训练好的端到端的调序模型确定手写答案的顺序，比如，可以采用encode-decode架构的调序模型获取手写答案区域的顺序。

可选的，对于该题目区域的文本关联的多个手写答案区域的文本中的任意一个手写答案区域的文本，将该手写答案区域的图像、该手写答案区域的文本，以及该手写答案区域的位置信息输入到调序模型，由调序模型的第一编码模块对手写答案区域的图像进行编码，得到视觉特征，由调序模型的第二编码模块对手写答案区域的文本进行编码，得到语义特征，对于手写答案区域的位置信息，可以由调序模型的第三编码模块对该位置信息进行规整，使其值在0～1之间。

调序模型的解码模块对同一手写答案区域(为便于区分，记为第i个手写答案区域)对应的视觉特征、语义特征和规整后的位置信息进行融合(比如，将第i个手写答案区域对应的视觉特征、语义特征和规整后的位置信息进行相加，或者，将第i个手写答案区域对应的视觉特征、语义特征和规整后的位置信息进行拼接)，得到第i个手写答案区域对应的融合特征，调序模型根据该题目区域的文本关联的各个手写答案区域对应的融合特征，得到该题目区域的文本关联的各个手写答案区域的文本顺序，其中，第i个手写答案区域的文本顺序是与第i个手写答案区域对应的子题目在题目区域中的多个子题目中的顺序相同的。

可选的，调序模型的解码模块可以是基于注意力机制的长短期记忆网络(attendtion+lstm)。调序模型可以是单独训练得到的，也可以是和前述目标检测、分类模型联合训练得到的。

在得到该题目区域的文本关联的各个手写答案区域的文本顺序后，基于该文本顺序对该题目区域关联的多个手写答案区域的文本进行排序，以使得多个手写答案区域的文本的排序与题目区域中的各个子题目的排序一致。

本申请通过对关联同一题目区域的文本的多个手写答案区域的文本进行排序，使得多个手写答案区域的文本的排序与题目区域中的各个子题目的排序一致，保证作业批改的准确性。

在一可选的实施例中，上述根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果的一种实现流程图如图5所示，可以包括：

步骤S501：根据该题目区域的文本，以及该题目区域的文本关联的手写答案区域的文本，确定该题目区域的题干。

可选的，可以在该题目区域的文本中查找该题目区域的文本关联的手写答案区域的文本，将查找到的文本删除，即为该题目区域中的题干。

步骤S502：基于该题目区域对应的题型，在与题干对应的标准答案和解析中检索目标信息，所述目标信息为所述标准答案和解析中的至少一种。

对于选择题、判断题而言，答案是唯一的，手写答案需要与标准答案完全一致才会判定手写答案正确，否则确定手写答案错误，因此，对于这类题目，只需要获取标准答案即可以判断该题目区域对应的手写答案是否正确，而对于一些填空题和解答题而言，并不需要手写答案和标准答案完全一致，只要表达的意思一致即可，对于此类题目，可以仅获取标准答案或解析来对手写答案进行判断，也可以同时获取标准答案和解析来对手写答案进行判断。

步骤S503：对该题目区域的文本关联的手写答案区域的文本，以及目标信息进行处理，得到该题目区域对应的批改结果。作为示例，可以根据目标信息以及该题目区域的文本关联的手写答案区域的文本，对该题目区域的文本关联的手写答案区域的文本进行分类，得到分类结果，基于该分类结果确定该题目区域对应的批改结果；

可选的，分类结果可以表征手写答案区域的文本的分数，该情况下，分类结果表征批改结果。

或者，

分类结果可以表征该题目区域的文本关联的手写答案区域的文本的判断结果，判断结果表征手写答案区域的文本是对的还是错的，或者判断结果表征手写答案区域正确内容所占的比例；然后根据分类结果以及预置的打分规则(也就是题目的得分规则)，确定手写答案区域的文本的得分，作为批改结果。

可以将该题目区域的文本关联的手写答案区域的文本，以及目标信息输入批改模型，得到该批改模型输出的分类结果。批改模型可以对该题目区域的文本关联的手写答案区域的文本，以及目标信息分别进行特征提取，得到该题目区域的文本关联的手写答案区域的文本的第一文本特征和目标信息的第二文本特征，将第一文本特征和第二文本特征进行融合得到融合特征，根据融合特征得到分类结果。

批改模型可以是预先训练好的神经网络模型，该神经网络模型可以是单独训练得到的，也可以是与前述的目标检测分类模型、调序模型联合训练得到的。

在一可选的实施例中，上述获取目标图像的一种实现流程图如图6所示，可以包括：

步骤S601：对待批改作业所在区域进行图像采集。

老师可以将待批改作业放置到图像采集装置的采集范围内，以便图像采集装置采集待批改作业的图像。

步骤S602：对于采集的每一帧图像，判断该帧图像是否为无效图像；无效图像为满足如下至少一个条件的图像：模糊、非教辅作业图像、作业页面被遮挡或页面折叠、与前一帧目标图像为相同的图像。

可以利用分类模型(比如，基于深度学习的卷积神经网络)对图像进行分类，以确定该图像是否为模糊、非教辅作业图像(比如，除了教辅书本作业的图像和试卷作业的图像之外的其它图像)。可选的，可以将模糊图像和非教辅作业图像作为负例集，将清楚的教辅作业图像作为正例集对分类模型进行训练。如果检测到模糊或非教辅作业图像，可以将模糊和非教辅图像剔除，不用于后续的目标分类检测。

在实际应用场景中，作业页面会因为老师在批阅导致被手部遮挡，或者，学生误将页面折叠，这些都会影响到批改的效果。因此，需要将这些图像剔除。可选的，可以采用基于深度学习的级联(Cascade)网络检测是否有遮挡或者页面折叠情况。如果检测到作业页面被遮挡或页面折叠，剔除该图像。

由于是实时采集图像，因此，存在多帧图像为同一作业页面的情况，因此，为了避免重复处理包含同一作业页面的图像的情况，需要检测当前页面与前一次处理的目标图像是否为相同的图像。可以采用孪生网络(Siamese Network)来判断该帧图像是否与前一帧目标图像相同，可以将该帧图像以及前一帧目标图像输入孪生网络，以判断该帧图像与前一帧目标图像是否相同。

可选的，可以先判断该帧图像是否为模糊或非教辅作业图像，如果是模糊或非教辅作业图象，剔除该帧图像，否则，判断该帧图像中的作业页面是否被遮挡或页面是否折叠，若作业页面被遮挡或页面折叠，剔除该帧图像，若作业页面既没被遮挡或页面也没有折叠，则检测该帧图像是否与前一帧目标图像相同，若相同则剔除该帧图像，若不同，则确定该帧图像为目标图像。

可选的，在检测到该帧图像与前一帧目标图像相同时，也可以不剔除该帧图像，而是保存或缓存下来用于实现其它目的，具体见后续实施例。

步骤S603：若判断结果为否，确定该帧图像为目标图像。

通过剔除无效图像，既避免了无效工作量，又保证了作业批改的准确性。

在实际应用场景中，老师可以按照批改作业的习惯将待批改作业放置在便于自己审阅的位置，此时，图像采集装置的放置位置为能够采集到批改作业的图像的位置，这样，可以在不影响老师的批改习惯的基础上，实现对作业的自动批改。

老师在审阅作业时，可以对解题思路新颖的题目区域添加第一标记，比如五角星等。基于此，对于任一题目区域，在得到该题目区域的自动批改结果后，可以检测后续采集的与目标图像具有相同的待批改作业的图像(如果将前述目标图像记为主图像，可以将与目标图像具有相同的待批改作业的图像记为辅图像)中该题目区域是否具有第一标记，如果有，将辅图像中具有第一标记的题目区域内的题目提取为典型题目。比如，将辅图像中具有第一标记的题目区域内的图像提取出来存放到典型题题库中。

在一可选的实施例中，本申请实施例提供的作业批改方法还可以包括：

获取待批改作业的所有者(比如，学生)的识别标识。

将识别标识与目标图像相关联。

所有者的识别标识可以包括如下至少一项：姓名，学号等。

本申请实施例中，可以通过扫描二维码获得待批改作业的所有者的识别标识，或者，直接采集识别标识的图像，通过对该图像进行字符识别获得所有者的识别标识。

二维码或识别标识可以位于待批改作业的页面上，也可以位于其它位置，比如，在待批改作业是教辅书本的情况下，二维码或标识可以位于教辅书本的封面。

进一步的，在获得批改结果后，还可以获得目标图像中，具有第二标记的题目区域，第二标记为表征题目区域对应的文本关联的手写答案区域的文本对应的手写答案为错，即第二标记表征学生的答案是错误的。第二标记可以根据批改结果确定，比如，可以在批改结果表征手写答案错误时添加第二标记，且该第二标记与题目相关联。

统计各个所有者的识别标识关联的目标图像中具有第二标记的相同题目区域的数量。这里的相同题目区域是指具有相同或相近位置的题目区域。

将数量满足条件(比如，数量大于阈值)的具有所述第二标记的相同题目区域中的题干作为共性错题。

在确定共性错题后，可以显示该共性错题，以及做错该题的人数，以便于老师了解学生的答题情况。

此外，还可以将所有者关联的目标图像中具有第二标记的题目区域的题目发送给目标图像关联的所有者，以便目标图像关联的所有者进行错题整理。

在具体的应用场景中，在对待批改作业进行自动批改的同时，老师也可以对待批改作业进行批改，还可以在待批改作业的页面上添加批改痕迹，比如，对号“√”，或者，叉号“×”，或者，斜线“/”等。

在得到自动批改结果后，对于任意一个题目区域，还可以检测后续采集的辅图像中该题目区域是否有人工批改结果，如果有，将该题目区域的人工批改结果与自动批改结果进行比较，若二者不同，说明自动批改结果有误，此时，可以保存该题目区域的图像，该题目区域中的题干、题干对应的标准答案和解析。其中，题干可以以图像的形式进行存储，也可以以文本的方式进行存储。

所保存的题目区域的图像、题目区域中的题干、题干对应的标准答案和解析可以用于前述相关模型的优化训练，从而进一步提高机器批改的准确率。

与方法实施例相对应，本申请实施例还提供一种作业批改装置，本申请实施例提供的作业批改装置的一种结构示意图如图7所示，可以包括：

图像获取模块701，检测模块702，识别模块703，第一关联模块704和批改模块705；其中，

图像获取模块701用于获取目标图像，所述目标图像中包含待批改作业；

检测模块702用于对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

识别模块703用于对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

第一关联模块704用于对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

批改模块705用于根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域的文本关联的手写答案区域的文本对应的批改结果。

本申请实施例提供的作业批改装置，通过对包含待批改作业的图像进行区域检测和字符识别，确定出图像中的各题目和手写答案文本，然后对题目和手写答案文本进行关联，根据题目的题型，以及题目和关联的手写答案文本对手写答案文本进行处理，得到批改结果，实现了对待批改作业中的各个题目的自动批改，从而可以辅助老师提高作业批改效率。基于本申请实施例，作业批改者(即老师)在批改作业时，可以只需对各个题目进行审阅，而无需给出对或错的批改痕迹，或者，在发现机器批改错误的情况下，可以仅对机器批改错误的题目给出批改痕迹即可，从而大大降低了老师的工作量。

在一而可选的实施例中，所述检测模块702包括：

文本行检测模块，用于对所述目标图像进行文本行检测，以确定所述目标图像中的所有文本行；

分桶模块，用于对于每一文本行，基于该文本行的倾斜角度对该文本行进行分桶处理；

角度确定模块，用于根据文本行数量最多的桶中文本行的倾斜角度，确定所述目标图像的倾斜角度；

矫正模块，用于根据所述目标图像的倾斜角度对所述目标图像进行矫正，得到矫正后的图像；

目标检测模块，用于对所述矫正后的图像进行目标识别。

在一可选的实施例中，所述目标检测模块，包括：

特征提取模块，用于对所述矫正后的图像进行特征提取，得到图像特征；

第一处理模块，用于通过第一目标检测方法对所述图像特征进行第一类目标检测，得到第一类型的各个题目的题目区域，所述第一类型的各个题目的手写答案区域；

第二处理模块，用于通过第二目标检测方法对所述图像特征进行第二类目标检测，得到第二类型的各个题目的题目区域，所述第二类型的各个题目的手写答案区域；

第三处理模块，用于对应每一个题目区域，基于该题目区域进行题型识别，得到该题目区域对应的题型。

在一可选的实施例中，所述关联模块704包括：

判断模块，用于对于任意一个手写答案区域，判断该手写答案区域是否是该题目区域的子区域；

确定模块，用于如果该手写答案区域是该题目区域的子区域，将该手写答案区域的文本确定为与该题目区域的文本关联的手写答案区域的文本。

在一可选的实施例中，还包括：

顺序确定模块，用于如果与该题目区域的文本关联的手写答案区域的文本包括多个手写答案区域的文本，对于所述多个手写答案区域中的每个手写答案区域，根据该手写答案区域的视觉特征、该手写答案区域的文本的语义特征、该手写答案区域的位置信息，获得该手写答案区域的文本在所述多个手写答案区域的文本中的顺序；

排序模块，用于根据所述顺序对该题目区域关联的多个手写答案区域的文本进行排序。

在一可选的实施例中，所述批改模块705可以包括：

题干确定模块，用于根据该题目区域的文本，以及该题目区域的文本关联的手写答案区域的文本，确定该题目区域的题干；

检索模块，用于基于该题目区域对应的题型，在与所述题干对应的标准答案和解析中检索目标信息，所述目标信息为所述标准答案和解析中的至少一种；

结果确定模块，用于对该题目区域的文本关联的手写答案区域的文本，以及所述目标信息进行处理，得到该题目区域对应的批改结果。

在一可选的实施例中，所述图像获取模块701包括：

采集模块，用于对待批改作业所在区域进行图像采集；

判断模块，用于对于采集的每一帧图像，判断该帧图像是否为无效图像；所述无效图像为满足如下至少一个条件的图像：模糊、非教辅作业图像、作业页面被遮挡或页面折叠、与前一帧目标图像为相同的图像；

目标图像确定模块，用于若判断结果为否，确定该帧图像为目标图像。

在一可选的实施例中，还包括：

第一区域获得模块，用于获得具有第一标记的题目区域；所述第一标记表征题目区域对应的文本关联的手写答案区域的文本所体现的解题思路新颖；

典型题提取模块，用于将所述具有第一标记的题目区域内的题目提取为典型题目。

在一可选的实施例中，还包括：

标识获取模块，用于获取所述待批改作业的所有者的识别标识；

第二关联模块，用于将所述识别标识与所述目标图像相关联；

第二区域获得模块，用于获得具有第二标记的题目区域；所述第二标记表征题目区域对应的文本关联的手写答案区域的文本对应的批改结果为错；

统计模块，用于统计各个所有者的识别标识关联的目标图像中具有所述第二标记的相同题目区域的数量；

错题确定模块，用于将数量满足条件的具有所述第二标记的相同题目区域中的题干作为共性错题。

在一可选的实施例中，还包括：

发送模块，用于将所有者关联的目标图像中具有所述第二标记的题目区域的题目发送给所述所有者。

在一可选的实施例中，还包括：

人工批改结果提取模块，用于提取该题目区域中的人工批改结果；

保存模块，用于如果该题目区域的文本关联的手写答案区域的文本对应的批改结果，不不同于所述人工批改结果，保存该题目区域的图像，以及该题目区域中的题干，题干对应的标准答案和解析。

本申请实施例提供的作业批改装置可应用于作业批改设备，如PC终端、云平台、服务器及服务器集群等。可选的，图8示出了作业批改设备的硬件结构框图，参照图8，作业批改设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

获取目标图像，所述目标图像中包含待批改作业；

对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：

获取目标图像，所述目标图像中包含待批改作业；

对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种作业批改方法，其特征在于，包括：

获取目标图像，所述目标图像中包含待批改作业；

对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行目标识别，包括：

对所述目标图像进行文本行检测，以确定所述目标图像中的所有文本行；

对于每一文本行，基于该文本行的倾斜角度对该文本行进行分桶处理；

根据文本行数量最多的桶中文本行的倾斜角度，确定所述目标图像的倾斜角度；

根据所述目标图像的倾斜角度对所述目标图像进行矫正，得到矫正后的图像；

对所述矫正后的图像进行目标识别。

3.根据权利要求2所述的方法，其特征在于，所述对所述矫正后的图像进行目标识别，包括：

对所述矫正后的图像进行特征提取，得到图像特征；

通过第一目标检测方法对所述图像特征进行第一类目标检测，得到第一类型的各个题目的题目区域，所述第一类型的各个题目的手写答案区域；

通过第二目标检测方法对所述图像特征进行第二类目标检测，得到第二类型的各个题目的题目区域，所述第二类型的各个题目的手写答案区域；

对应每一个题目区域，基于该题目区域进行题型识别，得到该题目区域对应的题型。

4.根据权利要求1所述的方法，其特征在于，所述确定与该题目区域的文本关联的手写答案区域的文本，包括：

对于任意一个手写答案区域，判断该手写答案区域是否是该题目区域的子区域；

如果该手写答案区域是该题目区域的子区域，将该手写答案区域的文本确定为与该题目区域的文本关联的手写答案区域的文本。

5.根据权利要求4所述的方法，其特征在于，还包括：

如果与该题目区域的文本关联的手写答案区域的文本包括多个手写答案区域的文本，对于所述多个手写答案区域中的每个手写答案区域，根据该手写答案区域的视觉特征、该手写答案区域的文本的语义特征、该手写答案区域的位置信息，获得该手写答案区域的文本在所述多个手写答案区域的文本中的顺序；

根据所述顺序对该题目区域关联的多个手写答案区域的文本进行排序。

6.根据权利要求1所述的方法，其特征在于，所述根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域对应的批改结果，包括：

根据该题目区域的文本，以及该题目区域的文本关联的手写答案区域的文本，确定该题目区域的题干；

基于该题目区域对应的题型，在与所述题干对应的标准答案和解析中检索目标信息，所述目标信息为所述标准答案和解析中的至少一种；

对该题目区域的文本关联的手写答案区域的文本，以及所述目标信息进行处理，得到该题目区域对应的批改结果。

7.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：

对待批改作业所在区域进行图像采集；

对于采集的每一帧图像，判断该帧图像是否为无效图像；所述无效图像为满足如下至少一个条件的图像：模糊、非教辅作业图像、作业页面被遮挡或页面折叠、与前一帧目标图像为相同的图像；

若判断结果为否，确定该帧图像为目标图像。

8.根据权利要求1所述的方法，其特征在于，还包括：

获得具有第一标记的题目区域；所述第一标记表征题目区域对应的文本关联的手写答案区域的文本所体现的解题思路新颖；

将所述具有第一标记的题目区域内的题目提取为典型题目。

9.根据权利要求1所述的方法，其特征在于，还包括：

提取该题目区域中的人工批改结果；

如果该题目区域的文本关联的手写答案区域的文本对应的批改结果，不不同于所述人工批改结果，保存该题目区域的图像，以及该题目区域中的题干，题干对应的标准答案和解析。

10.一种作业批改装置，其特征在于，包括：

图像获取模块，用于获取目标图像，所述目标图像中包含待批改作业；

检测模块，用于对所述目标图像进行目标识别，以确定所述目标图像中的各个题目区域，各个手写答案区域，以及各个题目区域对应的题型；

识别模块，用于对各个题目区域和手写答案区域进行字符识别，确定各个题目区域和手写答案区域的文本；

关联模块，用于对应每一题目区域，确定与该题目区域的文本关联的手写答案区域的文本；

批改模块，用于根据该题目区域的文本，该题目区域的文本关联的手写答案区域的文本，以及该题目区域对应的题型，确定该题目区域的文本关联的手写答案区域的文本对应的批改结果。

11.一种作业批改设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1-9中任一项所述的作业批改方法的各个步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-9中任一项所述的作业批改方法的各个步骤。

Images