CN113255613B - 判题方法、装置及计算机存储介质 - Google Patents

Abstract

一种判题方法、装置及计算机存储介质，主要包括：根据待判试题的试题图像中的打印区域和手写区域，确定包含打印区域的打印检测框和包含手写区域的手写检测框；根据从打印检测框和手写检测框中识别出的各打印字符、各手写字符、各打印字符对应的各打印字符位置、各手写字符对应的各手写字符位置，获得待判试题的待判文本序列；并根据预设参考答案和待判文本序列中的各手写字符，获得待判试题的判题结果。借此，本申请可实现填空题的自动判题，并具有较高的判题结果准确性。

Description

判题方法、装置及计算机存储介质

技术领域

本发明实施例涉及文本识别处理技术，尤其涉及一种判题方法、装置和计算机存储介质。

背景技术

在小学数学题的智能批改场景中，最常见的题型为填空题。其中，填空题的形式多变，特别是填空位置丰富多样，例如表格填空、图画填空等等，都属于填空题的一种。

除此之外，一道填空题中可能存在有多个填空区域，在一些情况下，各填空区域的前后字符串的关系高度类似，导致各填空区域与各标注答案之间的对应匹配操作存在困难，此也为填空题的智能批改带来了较大的操作难度。

有鉴于此，如何实现填空题的智能批改，以提高判题处理效率，即为本申请待解决的技术课题。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种判题方法、装置及计算机存储介质，可实现填空题的智能批改，并具有较高的批改结果准确性。

根据本发明的第一方面，提供了一种判题方法，其包括根据待判试题的试题图像中的打印区域和手写区域，确定所述试题图像中的打印检测框和手写检测框；根据从所述打印检测框和所述手写检测框中识别出的各打印字符、各手写字符、各所述打印字符对应的各打印字符位置、各所述手写字符对应的各手写字符位置，获得所述待判试题的待判文本序列；以及根据预设参考答案、所述待判文本序列中的各所述手写字符，获得所述待判试题的判题结果。

根据本发明的第二方面，提供了一种计算机存储介质，所述计算机存储介质中存储有用于执行第一方面所述的判题方法的各步骤的指令。

根据本发明的第三方面，提供了一种判题装置，其包括检测框确定模块，用于根据待判试题的试题图像中的打印区域和手写区域，确定所述试题图像中的打印检测框和手写检测框；文本序列生成模块，用于根据从所述打印检测框和所述手写检测框中识别出的各打印字符、各手写字符、各所述打印字符对应的各打印字符位置、各所述手写字符对应的各手写字符位置，获得所述待判试题的待判文本序列；判题模块，用于根据预设参考答案、所述待判文本序列中的各所述手写字符，获得所述待判试题的判题结果。

由以上技术方案可见，本发明实施例提供的判题方法、装置及计算机存储介质，根据待判试题的试题图像中的打印区域和手写区域，确定打印检测框和手写检测框，并根据从打印检测框和手写检测框中识别出的各打印字符，各打印字符位置、各手写字符与各手写字符位置，获得待判试题的待判文本序列，再通过将待判文本序列中的手写字符与预设参考答辩进行匹配，即可获得待判试题的判题结果。据此，本申请可实现填空题的自动批改处理，且判题结果的准确率较高。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比值绘制的。附图中：

图1示出了本发明第一实施例的判题方法的流程示意图。

图2示出了本发明第二实施例的判题方法的流程示意图。

图3示出了本发明第三实施例的判题方法的流程示意图。

图4示出了本发明第四实施例的判题方法的流程示意图。

图5示出了本发明第五实施例的判题方法的流程示意图。

图6示出了本发明第六实施例的判题方法的流程示意图。

图7示出了本发明第七实施例的判题方法的流程示意图。

图8示出了本发明第九实施例的判题装置的架构示意图。

图9至图11示出了本发明的待判试题及其部分判题处理的示例性示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

诚如前述背景技术部分所述，由于填空题的形式多变，填空位置丰富多样，导致填空题的智能批改存在较大困难。

有鉴于此，本申请提出一种判题方法、装置及计算机存储介质，可实现填空题的自动批改。下面将结合本发明各实施例附图进一步说明本发明各实施例的具体实现。

第一实施例

图1示出了本发明第一实施例的判题方法的流程示意图。如图所示，本实施例的判题方法主要包括以下步骤：

步骤S102, 根据待判试题的试题图像中的打印区域和手写区域，确定试题图像中的打印检测框和手写检测框。

可选地，待判试题可以是试卷试题、作业试题等。

可选地，试题图像可以是执行试卷批阅时的试题图像，也可以是执行作业检查时的试题图像，本申请对此不作限制。

可选地，可通过拍摄、扫描等方式获得待判试题的试题图像。

于本实施例中，对于试题图像的文件格式没有具体限制。

可选地，一个试题图像中可包含一道待判试题，借以提高判题结果的准确性，但并不以此为限，一个试题图像中亦可同时包含多道待判试题。

于本实施例中，待判试题可包括填空题，其中，试题图像（待判试题）中的打印区域可对应于填空题中的题干部分，而手写区域可对应于填空题中的作答部分（即填空空格中的答案）。

可选地，可根据从试题图像中识别出的文本行针对试题图像进行划分，获得至少一个目标文本行，并基于各目标文本行中的打印区域和手写区域，获得对应于各目标文本行的各打印检测框与各手写检测框。

步骤S104，根据从打印检测框和手写检测框中识别出的各打印字符、各手写字符、各打印字符对应的各打印字符位置、各手写字符对应的各手写字符位置，获得待判试题的待判文本序列。

可选地，可识别各打印检测框，获得各打印检测框中包含的各打印字符，并基于各打印检测框，确定各打印字符对应的各打印字符位置。

可选地，可识别各手写检测框，获得各手写检测框中包含的各手写字符，并基于各手写检测框，确定各手写字符对应的各手写字符位置。

可选地，可根据各打印字符位置与各手写字符位置，顺序组合各打印字符与各手写字符，获得待判试题的待判文本序列。

于本实施例中，可基于各打印字符位置与各手写字符位置，生成由各打印字符与各手写字符所组成的自然正序的文本序列，以作为待判试题相应的文本识别结果。

步骤S106，根据预设参考答案、待判文本序列中的各手写字符，获得待判试题的判题结果。

于本实施例中，预设参考答案为对应于待判试题的具有标注字符串的参考文本序列。

可选地，预测参考答案也直接为文本格式文件也可为图像格式文件，其中，当预测参考答案为图像格式文件时，可针对预测参考答案进行图像识别，以将其转换为文本格式文件。

于本实施例中，可通过将参考文本序列中的标注字符串与待判文本序列中由手写字符构成的手写字符串进行匹配，获得待判试题的判题结果。

综上所述，本申请实施例的判题方法，通过检测待判试题的试题图像中的打印区域和手写区域，以获得对应于待判试题的题干部分的打印检测框以及对应于待判试题的作答部分的手写检测框，并通过识别打印检测框和手写检测框中包含的各字符及各字符位置，生成待判试题的待判文本序列，根据此待判文本序列，可供准确地识别待判文本序列中对应于各作答部分的各手写字符串、各手写字符串在待判文本序列中的所处位置、以及各手写字符串的前后字符串关系，据以实现手写字符串与预设参考答案之间的精确匹配，因此，本申请不仅可达到填空题自动批改的技术效果，更可获得较高的判题结果准确性。

第二实施例

图2示出了本申请第二实施例的判题方法的流程示意图，本步骤为上述步骤S102中生成打印检测框和手写检测框的示例性实施方案，如图所示，本实施例的判题方法主要包括以下步骤：

步骤S202，根据试题图像中的文本行划分试题图像，获得至少一个目标文本行。

于本实施例中，可针对试题图像中的横行执行检测，据以划分试题图像。

步骤S204，获取一个目标文本行以作为当前文本行。

于本实施例中，可根据各目标文本行在试题图像中的排列位置，依序针对各目标文本行执行检测。

步骤S206，根据当前文本行，确定当前文本行的打印检测框，并根据当前文本行中的手写区域，确定当前文本行的手写检测框。

于本实施例中，可根据当前文本行整体，确定一个与之对应的打印检测框。其中，打印检测框的长度与当前文本行（包含打印区域与手写区域）的实际长度相吻合。

于本实施例中，可根据从当前文本行中识别出的手写区域，确定当前文本行的手写检测框。

于本实施例中，手写检测框的生成数量与从当前文本行中所检测出的手写区域的数量相对应。例如，若当前文本行中包含有两个手写区域，则据以确定当前文本行中的两个手写检测框，其中，各手写检测框的长度与各手写区域的实际长度相吻合。

于本实施例中，打印检测框与手写检测框可呈矩形。

步骤S208，判断是否存在未检测的目标文本行，若存在则返回步骤S204，若不存在则结束本流程。

以下将列举说明本实施例的打印检测框与手写检测框的生成示例：

例如，假设待判试题的试题图像如图9所示，则根据试题图像中的三个目标文本行，可获得如图10所示对应于第一目标文本行的打印检测框1、对应于第二目标文本行的打印检测框2、对应于第三目标文本行的打印检测框3。

再者，由于第一目标文本行中未包含手写区域，故仅针对第二目标文本行和第三目标文本行中的两个手写区域，生成与之对应的两个手写检测框，亦即，如图11所示的包含手写字体“7”的手写检测框1和包含手写字体“23”的手写检测框2。

综上所述，本申请实施例根据试题图像中各目标文本行中的打印区域和手写区域，确定各目标文本行对应的各打印检测框和各手写检测框，借由此技术手段，可针对填空题中的题干部分（即打印区域）和作答部分（即手写区域）进行区分，以利于后续可精确针对填空题中的作答部分执行判题处理，从而实现填空题的智能批改。

第三实施例

图3示出了本申请第三实施例的判题方法的流程示意图。本实施例主要示出了上述步骤S104的示例性实施方案，如图所示，本实施例的判题方法主要包括以下步骤：

步骤S302，识别各打印检测框，获得各打印检测框中的各打印字符。

于本实施例中，可针对各打印检测框进行文本识别，获得各打印检测框对应的各打印字符串（即各打印字符）。

此外，如上所述，由于打印检测框为基于目标文本行所确定，因此，在打印检测框中可能存在手写区域，在此情况下，可利用预设占位符替换手写区域中的手写字符，具体请容后在第四实施例中详述。

步骤S304，基于各打印检测框，确定各打印字符对应的各打印字符位置。

于本实施例中，各打印字符位置可根据各打印字符在打印检测框中的位置以及各打印字符所属的打印检测框在试题图像中的位置来确定。

步骤S306，识别各手写检测框，获得各手写检测框中的各手写字符。

于本实施例中，可针对各手写检测框进行文本识别，获得各手写检测框对应的各手写字符串（即各手写字符）。

步骤S308，基于各手写检测框，确定各手写字符对应的各手写字符位置。

于本实施例中，各手写字符位置可根据各手写字符在其所属的手写检测框中的位置以及所属的手写检测框在试题图像中的位置来确定。

步骤S310，根据各打印字符位置与各手写字符位置，顺序组合各打印字符与各手写字符，获得待判试题的待判文本序列。

于本实施例中，可根据各打印字符位置与各手写字符位置，顺序组合各打印字符与各手写字符，获得自然正序的待判文本序列。

综上所述，本实施例通过识别打印检测框中的打印字符以及手写检测框中的手写字符，并基于打印检测框和手写检测框，确定各打印字符对应的各打印字符位置以及各手写字符对应的各手写字符位置，据以生成待判试题的待判文本序列，以供后续执行判题处理。

第四实施例

图4示出了本申请第四实施例的判题方法的流程示意图。本实施例的判题方法主要示出了上述步骤S304的具体实施方案，如图所示，本实施例的判题方法主要包括以下处理步骤：

步骤S402，获取一个打印检测框。

步骤S404，判断打印检测框中是否存在手写区域，若不存在，进行步骤S4051,若存在，进行步骤S4052。

具体地，判断打印检测框中是否存在有手写字符。

步骤S4051，根据打印检测框中的各打印字符，获得打印检测框的打印字符串。

具体地，根据从打印检测框中所识别出的按序排列的各打印字符，获得打印检测框的打印字符串。

步骤S4052，利用预设占位符，替换从打印检测框中识别出的手写字符，并根据打印检测框中的各打印字符与预设占位符，确定打印检测框的打印字符串。

具体地，当识别出打印检测框中存在手写字符（即，作答部分）时，可根据手写字符的数量，利用相应数量的预设占位符（例如“&”）针对各手写字符进行替换，并根据从打印检测框中识别出的按序排列的各打印字符与各预设占位符，确定打印检测框的打印字符串。

例如，针对图9至图11所示示例，根据上述步骤S4051和步骤S4052的处理结果，所获取的各打印检测框对应的各打印字符串结果如下：

打印检测框1的打印字符串为：3.某公司实行“朝九晚五”工作制，即每天上午9时上班，下午5时下班，照这样；

打印检测框2的打印字符串为：算，员工每天上班的时间为（&）小时。2020年二月，员工一共休息了6天；

打印检测框3的打印字符串为：这个月他们工作了（&）天。

其中，上述“&”即为用于替换手写字符（即作答区域）的占位符。

步骤S406，根据各打印字符在打印字符串中的位置，确定打印检测框中各打印字符对应的各空间位置。

具体地，可识别各打印字符在打印字符串中的排列顺序，借以确定各打印字符在打印检测框中的各空间位置。

步骤S408，根据打印检测框在试题图像中的位置，确定打印检测框的检测框位置。

于本实施例中，打印检测框可呈矩形，因此，打印检测框的检测框位置可包括打印检测框的四个顶点在试题图像中的各顶点坐标位置，其可表示为：

。

具体地，以图9至图11所示示例为例：

打印检测框1的检测框位置可表示为：(20,20,100,20,100,100,20,100) （样例数值）

打印检测框2的检测框位置可表示为：(20,40,100,40,100,120,20,120) （样例数值）

打印检测框3的检测框位置可表示为：(20,60,100,60,100,140,20,140) （样例数值）

可选地，由于不同待判试题的试题图像的大小各有不同，据此，本申请可进一步根据试题图像的宽度和高度，以针对上述检测框位置中的各顶点坐标位置执行正则化处理，借以达到统一的编码方式。

例如，可根据试题图像的宽度w和高度h，分别针对检测框位置中的各坐标位置进行归一化，得到新的检测框位置为：

。

需说明的是，步骤S406和步骤S408在执行顺序上并无严格的先后之分，可根据实际需求进行任意调整。

步骤S410，根据各空间位置与检测框位置，获得打印检测框中各打印字符对应的各打印字符位置。

于本实施例中，可将根据步骤S406所确定的各打印字符对应的各空间位置与根据步骤S408所确定的打印检测框的检测框位置进行组合，据以确定打印检测框中各打印字符对应的各打印字符位置。

步骤S412，判断是否所有的打印检测框均已识别完成，若是，则退出本流程，若否，则返回步骤S402，以获取下一个打印检测框并进行识别。

第五实施例

图5示出了本申请第五实施例的判题方法的流程示意图。本实施例的判题方法主要示出了上述步骤S308的具体实施方案，如图所示，本实施例的判题方法主要包括以下处理步骤：

步骤S502，获取一个手写检测框。

步骤S504，根据手写检测框中的各手写字符，确定手写检测框的手写字符串。

具体地，可根据从手写检测框中识别出的按序排列的至少一个手写字符，确定手写检测框的手写字符串。

例如，针对图9至图11所示示例，根据上述步骤S504的处理结果所获取的手写检测框的手写字符串结果如下：

手写检测框1的手写字符串为：7。

手写检测框2的手写字符串为：23。

步骤S506，根据各手写字符在手写字符串中的位置，确定手写检测框中各手写字符对应的各空间位置。

具体地，可识别各手写字符在手写字符串中的排列顺序，借以确定各手写字符在手写检测框中的各空间位置。

步骤S508，根据手写检测框在试题图像中的位置，确定手写检测框的检测框位置。

于本实施例中，手写检测框可呈矩形，因此，手写检测框的检测框位置可包括手写检测框的四个顶点在试题图像中的各顶点坐标位置（具体可参考上述第四实施例中关于打印检测框的检测框位置描述，在此不予赘述）。

具体地，以图9至图11所示示例为例：

手写检测框1的检测框位置可表示为：(20,60,100,60,100,100,20,100)（样例数值）

手写检测框2的检测框位置可表示为：(20,40,100,40,100,120,20,120)（样例数值）

可选地，由于不同待判试题的试题图像的大小各有不同，据此，本申请可进一步根据试题图像的宽度和高度，以针对上述检测框位置中的各顶点坐标位置执行正则化处理，借以达到统一的编码方式。关于正则化处理的具体描述请参考上述步骤S408，在此不予赘述。

步骤S510，根据各空间位置与检测框位置，确定手写检测框中各手写字符对应的各手写字符位置。

于本实施例中，可将根据步骤S506所确定的各手写字符对应的各空间位置与根据步骤S508所确定的手写检测框的检测框位置进行组合，据以确定手写检测框中各手写字符对应的各手写字符位置。

步骤S512，判断是否所有的手写检测框均已识别完成，若是，则退出本流程，若否，则返回步骤S502，以获取下一个手写检测框并进行识别。

第六实施例

图6示出了本申请第六实施例的判题方法的流程示意图。本实施例主要示出了上述步骤S310的具体实施方案，如图所示，本实施例的判题方法主要包括：

步骤S602，拼接各打印字符对应的各字符信息、各字符类别、各打印字符位置，获得各打印字符对应的各字符编码。

可选地，可针对各打印字符对应的各字符信息执行独热编码（one-hot）。

具体地，针对各打印字符中的每一个，可首先针对打印字符的字符内容进行独热编码，以将打印字符转换为的一位有效编码，并在独热编码的末尾拼接打印字符的打印字符位置（即打印字符的空间位置及其对应的打印检测框的检测框位置）以及字符类别（即打印字符类别或手写字符类别），据以生成打印字符的字符编码，亦即，字符编码=[独热编码，字符位置编码，字符类别编码]。

步骤S604，拼接各手写字符对应的各字符信息、各字符类别、各手写字符位置，获得各手写字符对应的各字符编码。

可选地，可针对各手写字符对应的各字符信息执行独热编码（one-hot）。

具体地，针对各手写字符中的每一个，可首先针对手写字符的字符内容进行独热编码，以将手写字符转换为的一位有效编码，并在独热编码的末尾拼接手写字符的手写字符位置（即手写字符的空间位置及其对应的手写检测框的检测框位置）以及字符类别（即打印字符类别或手写字符类别），据以生成手写字符的字符编码。

步骤S606，利用预设语言编码模型根据各字符编码执行语言编码处理，获得具有类别标签的待判文本序列。

可选地，预设语言编码模型例如为BERT模型、ELMo模型等，但并不以此为限，亦可采用其他语言编码模型，本申请对此不作限制。

具体地，可将上述步骤S602生成的各打印字符对应的各字符编码以及上述步骤S604生成的各手写字符对应的各字符编码以同步方式或异步方式输入预设语言编码模型中进行语言编码处理，借以输出具有类别标签的待判文本序列。

于本实施例中，待判文本序列可为一个自然正序的字符串，所述类别标签用于标识待判文本序列中各待判字符对应的各字符类别，亦即，用于标识各待判字符为手写字符还是打印字符。

例如，根据图9所示示例，所输出的待判文本序列可表示为：3.某公司实行“朝九晚五”工作制，即每天上午9时上班，下午5时下班，照这样计算，员工每天上班的时间为（7）小时。2020年二月，员工一共休息了6天，这个月他们工作了（23）天。

于上述待判文本序列中，具有下滑线的各待判字符表示待判试题中的手写字符（即填空题的作答部分），其余各待判字符表示待判试题中的打印字符（即填空题的题干部分）。

综上所述，根据本申请第四实施例至第六实施例所述的判题方法，可基于各打印检测框与各手写检测框，确定各打印字符与各手写字符的字符位置，并根据字符信息、字符位置以及字符类别，针对各打印字符与各手写字符逐字进行多模态编码，从而准确地输出与待判试题相对应的待判文本序列，以有助于提高后续判题结果的准确性。

第七实施例

图7示出了本申请第七实施例的判题方法的流程示意图，本实施例主要示出了上述步骤S106的具体实施方案，如图所示，本实施例的判题方法主要包括以下步骤：

步骤S702，根据类别标签，获得待判文本序列中由各手写字符构成的手写字符串。

具体地，可根据类别标签，识别出待判文本序列中的手写字符串，所述手写字符串即对应于待判填空题中的作答部分。

步骤S704，根据手写字符串和预设参考答案，获得待判试题的判题结果。

可选地，预设参考答案可为具有标注字符串的参考文本序列。

可选地，可通过针对标注字符串部分设置通配符（例如，通配符“$”），以供识别参考文本序列中的标注字符串。

例如，针对图9至图11所示示例，其对应的具有标注字符串的参考文本序列可表示为：3．某公司实行“朝九晚五”工作制，即每天上午9时上班，下午5时下班，照这样计算，员工每天上班的时间为（$8$）小时。2020年二月，员工一共休息了6天，这个月他们工作了（$10$）天。

可选地，可识别各手写字符串在待判文本序列中的位置和/或识别待判文本序列中由各打印字符构成的且相邻于手写字符串的打印字符串，据以从参考文本序列中获取对应于手写字符串的标注字符串并进行匹配，从而获得待判试题的判题结果。

例如，根据图9所示的判断试题，其对应输出的待判文本序列和参考文本序列分别表示如下：

待判文本序列：3.某公司实行“朝九晚五”工作制，即每天上午9时上班，下午5时下班，照这样计算，员工每天上班的时间为（7）小时。2020年二月，员工一共休息了6天，这个月他们工作了（23）天。

参考文本序列：3．某公司实行“朝九晚五”工作制，即每天上午9时上班，下午5时下班，照这样计算，员工每天上班的时间为（$8$）小时。2020年二月，员工一共休息了6天，这个月他们工作了（$10$）天

通过识别手写字符串“7”在待判文本序列中的位置和/或识别相邻于手写字符串“7”的打印字符串（例如“员工每天上班的时间为”、“小时”），可以找到参考文本序列中与之对应的标注字符串为“8”，通过将二者进行匹配，可以获得所述作答部分为错误的判题结果。

同理，根据待判文本序列中手写字符串“23”，可从参考文本序列中与之对应的标注字符串为“10”，通过将二者进行匹配，可以获得所述作答部分为错误的判题结果。

据此，本申请实施例的判题方法，根据类别标签从待判文本序列中识别出对应于各作答部分的各手写字符串，并将其分别与参考文本序列中的各标注字符串进行匹配，以自动针对填空题中的各填空空格进行逐空批改，借以实现填空题的自动化批改，并具有较高的批改结果准确性。

第八实施例

本发明第八实施例提供了一种计算机存储介质，于计算机存储介质中存储有用于执行上述第一至第七实施例中的判题方法的各步骤的指令。

第九实施例

图8示出了本发明第九实施例的判题装置的主要架构。如图所示，本实施例的判题装置主要包括：检测框确定模块802，文本识别模块804，判题模块806。

检测框确定模块802用于根据待判试题的试题图像中的打印区域和手写区域，确定所述试题图像中的打印检测框和手写检测框。

可选地，检测框确定模块802还包括根据所述试题图像中的文本行划分所述试题图像，获得至少一个目标文本行；针对所述至少一个目标文本行中的每一个，根据所述目标文本行，确定所述目标文本行的所述打印检测框，并根据所述目标文本行中的所述手写区域，确定所述目标文本行的所述手写检测框。

文本识别模块804用于根据从所述打印检测框和所述手写检测框中识别出的各打印字符、各手写字符、各所述打印字符对应的各打印字符位置、各所述手写字符对应的各手写字符位置，获得所述待判试题的待判文本序列。

可选地，文本识别模块804还包括识别各所述打印检测框，获得各所述打印检测框中的各所述打印字符，并基于各所述打印检测框，确定各所述打印字符对应的各所述打印字符位置；识别各所述手写检测框，获得各所述手写检测框中的各所述手写字符，并基于各所述手写检测框，确定各所述手写字符对应的各所述手写字符位置；根据各所述打印字符位置与各所述手写字符位置，顺序组合各所述打印字符与各所述手写字符，获得所述待判试题的所述待判文本序列。

可选地，文本识别模块804还包括针对各所述打印检测框中的每一个，若所述打印检测框中存在所述手写区域，利用相应数量的各预设占位符，替换从所述打印检测框中识别出的各所述手写字符，并根据所述打印检测框中的各所述打印字符与各所述预设占位符，确定所述打印检测框的打印字符串；根据各所述打印字符在所述打印字符串中的位置，确定所述打印检测框中各所述打印字符对应的各空间位置；根据所述打印检测框在所述试题图像中的位置，确定所述打印检测框的检测框位置；根据各所述空间位置与所述检测框位置，确定所述打印检测框中各所述打印字符对应的各所述打印字符位置。

可选地，文本识别模块804还包括针对各所述手写检测框中的每一个，根据所述手写检测框中的各所述手写字符，确定所述手写检测框的手写字符串；根据各所述手写字符在所述手写字符串中的位置，确定所述手写检测框中各所述手写字符对应的各空间位置；根据所述手写检测框中的各所述手写字符，确定所述手写检测框的手写字符串；根据所述手写检测框在所述试题图像中的位置，确定所述手写检测框的检测框位置；以及根据各所述空间位置与所述检测框位置，确定所述手写检测框中各所述手写字符对应的各所述手写字符位置。

可选地，所述打印检测框与所述手写检测框各自呈矩形，所述检测框位置包括所述打印检测框或所述手写检测框在所述试题图像中的各顶点坐标位置，文本识别模块804还包括根据所述试题图像的宽度和高度，针对所述检测框位置中的各所述顶点坐标位置执行正则化处理。

可选地，文本识别模块804还包括拼接各所述打印字符对应的各字符信息、各字符类别、各所述打印字符位置，获得各所述打印字符对应的各字符编码；拼接各所述手写字符对应的各字符信息、各字符类别、各所述手写字符位置，获得各所述手写字符对应的各字符编码；利用预设语言编码模型根据各所述字符编码执行语言编码处理，获得具有类别标签的所述待判文本序列；其中，所述类别标签用于标识所述待判文本序列中各待判字符对应的各所述字符类别。

可选地，所述预设语言编码模型包括BERT模型、ELMo模型中的一个。

可选地，文本识别模块804还包括针对各所述打印字符或各所述手写字符对应的各所述字符信息执行独热编码。

判题模块806用于根据预设参考答案、所述待判文本序列中的各所述手写字符，获得所述待判试题的判题结果。

可选地，判题模块806还包括根据所述类别标签，获得所述待判文本序列中由各所述手写字符构成的手写字符串；根据所述手写字符串和所述预设参考答案，获得所述待判试题的判题结果。

可选地，所述预设参考答案包括具有标注字符串的参考文本序列，判题模块806还包括识别所述手写字符串在所述待判文本序列中的位置和/或识别所述待判文本序列中由各所述打印字符构成的且相邻于所述手写字符串的打印字符串，据以从所述参考文本序列中获取对应于所述手写字符串的所述标注字符串；匹配所述手写字符串与所述标注字符串，获得所述待判试题的所述判题结果。

可选地，所述待判试题包括填空题，所述打印区域对应于所述填空题中的题干部分，所述手写区域对应于所述填空题中的作答部分。

此外，本发明实施例的判题装置800还可用于实现前述各判题方法实施例中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。

综上所述，本发明实施例提供的判题方法、装置及计算机存储介质，首先针对待判试题图像进行打印区域和手写区域的识别，再将识别出的各字符信息、字符位置和字符类别进行多模态的编码，据以生成待判试题的待判文本序列，然后针对待判文本序列中的手写作答部分与预设参考答案进行匹配，以获取待判试题的判题结果。据此，本申请尤其适用于填空题的自动判题处理，且判题结果的准确性较高，可以极大提升电子阅卷的处理效率。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的判题方法。此外，当通用计算机访问用于实现在此示出的判题方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的判题方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (14)

1.一种判题方法，其特征在于，所述方法包括：

根据待判试题的试题图像中的打印区域和手写区域，确定所述试题图像中的打印检测框和手写检测框；

识别所述打印检测框和所述手写检测框，获得各打印字符、各手写字符、各所述打印字符对应的各打印字符位置、各所述手写字符对应的各手写字符位置，拼接各所述打印字符对应的各字符信息、各字符类别、各所述打印字符位置，获得各所述打印字符对应的各字符编码，并拼接各所述手写字符对应的各字符信息、各字符类别、各所述手写字符位置，获得各所述手写字符对应的各字符编码，且根据各所述字符编码执行语言编码处理，获得所述待判试题的待判文本序列；以及

根据预设参考答案、所述待判文本序列中的各所述手写字符，获得所述待判试题的判题结果。

2.根据权利要求1所述的判题方法，其特征在于，所述根据待判试题的试题图像中的打印区域和手写区域，确定所述试题图像中的打印检测框和手写检测框包括：

根据所述试题图像中的文本行划分所述试题图像，获得至少一个目标文本行；

针对所述至少一个目标文本行中的每一个，根据所述目标文本行，确定所述目标文本行的所述打印检测框，并根据所述目标文本行中的所述手写区域，确定所述目标文本行的所述手写检测框。

3.根据权利要求1所述的判题方法，其特征在于，所述识别所述打印检测框和所述手写检测框，获得各打印字符、各手写字符、各所述打印字符对应的各打印字符位置、各所述手写字符对应的各手写字符位置包括：

识别各所述打印检测框，获得各所述打印检测框中的各所述打印字符，并基于各所述打印检测框，确定各所述打印字符对应的各所述打印字符位置；

识别各所述手写检测框，获得各所述手写检测框中的各所述手写字符，并基于各所述手写检测框，确定各所述手写字符对应的各所述手写字符位置。

4.根据权利要求3所述的判题方法，其特征在于，所述基于各所述打印检测框，确定各所述打印字符对应的各所述打印字符位置包括：

针对各所述打印检测框中的每一个，执行以下步骤：

响应所述打印检测框中存在有所述手写区域，利用预设占位符替换从所述打印检测框中识别出的各所述手写字符，并根据所述打印检测框中的各所述打印字符与所述预设占位符，确定所述打印检测框的打印字符串；

根据各所述打印字符在所述打印字符串中的位置，确定所述打印检测框中各所述打印字符对应的各空间位置；

根据所述打印检测框在所述试题图像中的位置，确定所述打印检测框的检测框位置；

根据各所述空间位置与所述检测框位置，确定所述打印检测框中各所述打印字符对应的各所述打印字符位置。

5.根据权利要求3所述的判题方法，其特征在于，所述基于各所述手写检测框，确定各所述手写字符对应的各所述手写字符位置包括：

针对各所述手写检测框中的每一个，执行以下步骤：

根据所述手写检测框中的各所述手写字符，确定所述手写检测框的手写字符串；

根据各所述手写字符在所述手写字符串中的位置，确定所述手写检测框中各所述手写字符对应的各空间位置；

根据所述手写检测框在所述试题图像中的位置，确定所述手写检测框的检测框位置；以及

根据各所述空间位置与所述检测框位置，确定所述手写检测框中各所述手写字符对应的各所述手写字符位置。

6.根据权利要求4或5所述的判题方法，其特征在于，所述打印检测框与所述手写检测框各自呈矩形，所述检测框位置包括所述打印检测框或所述手写检测框在所述试题图像中的各顶点坐标位置；所述方法还包括：

根据所述试题图像的宽度和高度，针对所述检测框位置中的各所述顶点坐标位置执行正则化处理。

7.根据权利要求1所述的判题方法，其特征在于，所述根据各所述字符编码执行语言编码处理，获得所述待判试题的待判文本序列包括：

利用预设语言编码模型根据各所述字符编码执行语言编码处理，获得具有类别标签的所述待判文本序列；其中，

所述类别标签用于标识所述待判文本序列中各待判字符对应的各所述字符类别。

8.根据权利要求7所述的判题方法，其特征在于，所述预设语言编码模型包括BERT模型、ELMo模型中的一个。

9.根据权利要求7所述的判题方法，其特征在于，所述方法还包括：

针对各所述打印字符或各所述手写字符对应的各所述字符信息执行独热编码。

10.根据权利要求7所述的判题方法，其特征在于，所述根据预设参考答案、所述待判文本序列中的各所述手写字符，获得所述待判试题的判题结果包括：

根据所述类别标签，获得所述待判文本序列中由各所述手写字符构成的手写字符串；

根据所述手写字符串和所述预设参考答案，获得所述待判试题的判题结果。

11.根据权利要求10所述的判题方法，其特征在于，所述预设参考答案包括具有标注字符串的参考文本序列，所述方法还包括：

识别所述手写字符串在所述待判文本序列中的位置和/或识别所述待判文本序列中由各所述打印字符构成的且相邻于所述手写字符串的打印字符串，据以从所述参考文本序列中获取对应于所述手写字符串的所述标注字符串；

匹配所述手写字符串与所述标注字符串，获得所述待判试题的所述判题结果。

12.根据权利要求1所述的判题方法，其特征在于，所述待判试题包括填空题，所述打印区域对应于所述填空题中的题干部分，所述手写区域对应于所述填空题中的作答部分。

13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行根据权利要求1至12中任一项所述的判题方法的各步骤的指令。

14.一种判题装置，其特征在于，包括：

检测框确定模块，用于根据待判试题的试题图像中的打印区域和手写区域，确定所述试题图像中的打印检测框和手写检测框；

文本识别模块，用于识别所述打印检测框和所述手写检测框，获得各打印字符、各手写字符、各所述打印字符对应的各打印字符位置、各所述手写字符对应的各手写字符位置，拼接各所述打印字符对应的各字符信息、各字符类别、各所述打印字符位置，获得各所述打印字符对应的各字符编码，并拼接各所述手写字符对应的各字符信息、各字符类别、各所述手写字符位置，获得各所述手写字符对应的各字符编码，且根据各所述字符编码执行语言编码处理，获得所述待判试题的待判文本序列；

判题模块，用于根据预设参考答案、所述待判文本序列中的各所述手写字符，获得所述待判试题的判题结果。

Images