CN115661836A - 一种自动批改方法、装置、系统及可读存储介质 - Google Patents

Abstract

一种自动批改方法、装置、系统及可读存储介质，应用于多模态技术领域。构建预训练数据集；基于预训练数据集，构建layoutlmv2预训练模型；基于预训练模型，构建批改模型；将批改模型的输出结果进行后处理。本申请构建批改模型，相比传统基于规则或纯文本的批改方案，将学生作答图像信息引入模型中，减小批改模型对OCR模块的依赖，可对OCR漏检或识别错误的样本根据图像信息进行批改容错，大大提升自动批改的准确率。并且，本申请还增添后处理环节，可较大程度减小模型因书写不规范导致误判错的样本，有效提升模型批改准确率。

Description

一种自动批改方法、装置、系统及可读存储介质

技术领域

本申请涉及多模态技术领域，特别是涉及一种自动批改方法、装置、系统及可读存储介质。

背景技术

随着互联网技术的不断发展，用户利用信息化手段自动批改作业，从而提高作业批改效率，逐渐成为技术趋势。其中，填空题的自动批改是根据学生作答的图片和标准答案或题干信息的文本，通过模型自动批改对错。

自动批改主要分为基于规则的方法和基于深度学习的方法。其中，基于规则的方法需要首先根据OCR识别出学生作答图片中文字内容，然后计算作答文字与标准答案间的编辑距离后设置阈值，根据编辑距离与阈值间的关系判断作答对错；基于深度学习的方法以题干信息、学生作答和标准答案为输入，通过训练深度神经网络，输出作答与标答间的相似度得分，从而实现填空题的自动批改。

然而，现有的自动批改方法当OCR漏检及错检时学生写字不规范时、当学生作答中包含涂改或换序符号修正时，都会导致识别出的学生的正确答案与标准答案不一致。并且，OCR识别无法识别书写错误的文字，只会输出与书写错字最接近的正确文字，会导致识别出的学生的错误答案与标准答案一致。因此，如何提高自动批改的准确率，成为亟待解决的技术问题。

发明内容

本申请提供了一种自动批改方法、装置、系统及可读存储介质，能够提高自动批改的准确率。

本申请公开了如下技术方案：

第一方面，本申请公开了一种自动批改方法，包括：

构建预训练数据集；

基于所述预训练数据集，预训练layoutlmv2模型；

基于所述layoutlmv2模型，构建自动批改模型；

将作答信息输入至所述自动批改模型，获取所述自动批改模型的输出结果。

优选地，所述预训练layoutlmv2模型，包括：

构建掩码语言模型预训练任务、文本-图像对齐预训练任务、文本-图像匹配预训练任务，预训练layoutlmv2模型。

优选地，该方法还包括：将所述自动批改模型的输出结果进行后处理。

优选地，所述构建自动批改模型，包括：

将所述layoutlmv2模型的模型输入修改为“学生作答图片+题干信息+学生作答文本+标准答案”，构建自动批改模型。

第二方面，本申请公开了一种自动批改装置，该装置包括第一构建模块、预训练模块、第二构建模块、自动批改模块；

所述第一构建模块，用于构建预训练数据集；

所述预训练模块，用于基于所述预训练数据集，预训练layoutlmv2模型；

所述第二构建模块，用于基于所述layoutlmv2模型，构建自动批改模型；

所述自动批改模块，用于将作答信息输入至所述自动批改模型，获取所述自动批改模型的输出结果。

优选地，所述预训练模块，具体用于：构建掩码语言模型预训练任务、文本-图像对齐预训练任务、文本-图像匹配预训练任务，预训练layoutlmv2模型。

优选地，所述装置还包括：后处理模块；

所述后处理模块，用于将所述自动批改模型的输出结果进行后处理。

优选地，所述第二构建模块，具体用于：将所述layoutlmv2模型的模型输入修改为“学生作答图片+题干信息+学生作答文本+标准答案”，构建自动批改模型。

第三方面，本申请公开了一种自动批改设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如第一方面所述的方法的各个步骤。

第四方面，本申请公开了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如第一方面所述的方法的各个步骤。

相较于现有技术，本申请具有以下有益效果：

本申请提供了一种自动批改方法、装置、系统及可读存储介质，相比传统基于规则或纯文本的批改方案，将学生作答图像信息引入模型中，减小批改模型对OCR模块的依赖，可对OCR漏检或识别错误的样本根据图像信息进行批改容错，大大提升自动批改的准确率。并且，本申请还增添后处理环节，可较大程度减小模型因书写不规范导致误判错的样本，有效提升模型批改准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的第一种自动批改方法缺陷的示意图；

图2为本申请实施例提供的第二种自动批改方法缺陷的示意图；

图3为本申请实施例提供的第三种自动批改方法缺陷的示意图；

图4为本申请实施例提供的第四种自动批改方法缺陷的示意图；

图5为本申请实施例提供的一种自动批改方法流程图；

图6为本申请实施例提供的一种纯文本批改与多模态批改效果对比图；

图7为本申请实施例提供的一种自动批改装置示意图。

具体实施方式

下面先对本申请所涉及的技术术语进行介绍。

多模态指的是多种模态的信息，包括：文本、图像、视频、音频等，多种异构模态数据协同推理。本申请中，多模态指的是输出为文本和图像两个模态，具体为学生作答结果与学生作答图片。

OCR(optical characterrecognition)识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程。即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。

自动批改主要分为基于规则的方法和基于深度学习的方法，然而现有的自动批改方法存在诸多缺陷。具体缺陷如下：

第一，现有技术的自动批改方法，即基于规则与基于深度学习的方法，对OCR检测强依赖，当OCR漏检或错检导致识别结果与标答不一致时，批改结果都会误判为错误。参见图1，该图为本申请实施例提供的第一种自动批改方法缺陷的示意图，OCR识别时漏检测“驾”字，识别结果为“一叶之扁舟”，与标准答案“驾一叶之扁舟”不同，但学生所写下的答案正是标准答案“驾一叶之扁舟”，即现有的自动批改方法准确率较低。

第二，现有技术的自动批改方法对OCR识别强依赖，OCR识别通常会将书写不规范的字误识别为与其相近的字，当OCR识别错误，批改结果误判为错误。参见图2，该图为本申请实施例提供的第二种自动批改方法缺陷的示意图，OCR识别将“典”识别为“共”，识别结果为“开过大共”，与标答“开国大典”不同，但学生所写下的答案正是标准答案“开国大典”，即现有的自动批改方法准确率较低。

第三，现有技术的自动批改方法对作答细节的错误容易误识别从而判对，即OCR识别无法对书写错误(即错字)的部分识别出，将会输出与书写错字最相近的正确文字，导致批改结果误判为正确。参加图3，该图为本申请实施例提供的第三种自动批改方法缺陷的示意图，OCR识别会将错字识别为“瀚”，学生所写下的答案是错别字，但OCR自动批改会将其批改为标准答案，即现有的自动批改方法准确率较低。

第四，现有技术的自动批改方法对作答顺序敏感。OCR识别结果的常规阅读顺序通常是按照从上到下、从左到右顺序返回，当作答中包含涂改或换序符号修正后，识别结果与标答不一致导致批改错误。参见图4，该图为本申请实施例提供的第四种自动批改方法缺陷的示意图，OCR识别结果为“已亦焉哉”，与标答“亦已焉哉”不同，但学生所写下的答案正是标准答案“亦已焉哉”，即现有的自动批改方法准确率较低。

针对上述缺陷，本申请提供了一种自动批改的方法、装置、系统及可读存储介质，构建批改模型，相比传统基于规则或纯文本的批改方案，将学生作答图像信息引入模型中，减小批改模型对OCR模块的依赖，可对OCR漏检或识别错误的样本根据图像信息进行批改容错，大大提升自动批改的准确率。并且，本申请还增添后处理环节，可较大程度减小模型因书写不规范导致误判错的样本，有效提升模型批改准确率。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图5，该图为本申请实施例提供的一种自动批改方法流程图。

S101：构建预训练数据集。

首先构建预训练数据集。其中，构建预训练数据集的过程为从多种试卷等题库中提取填空题及其答案的相关数据，去重并筛除无效数据的过程，从而构建填空题批改预训练数据集，用于后续的模型预训练。在一种实施例中，该试卷可以是语文试卷、数学试卷等，本申请不做限定。

由此可知，本申请针对教育领域设计相应预训练任务，即收集大量教育场景的填空题数据进行预训练，构建大规模的填空题数据库，将领域相关知识融入模型中，该数据大规模预训练可有效提升相关场景下游任务表现，通过“大规模预训练+下游任务微调”结合的方式有效提升批改准确率与召回率。

S102：基于预训练数据集，构建layoutlmv2预训练模型。

基于layoutlmv2模型，针对教育批改场景，即S101中构建的预训练数据集，构建三种预训练任务，对layoutlmv2模型进行预训练。预训练模型通过设计特定的任务和大规模领域相关的数据驱动，可以将知识隐含的存储在模型参数中，具有先验知识的模型可以有效提升下游任务的准确率。

第一种，Masked Visual-Language Model(MVLM)预训练任务，即掩码语言模型预训练任务。掩码语言模型随机覆盖文档中的一些文字，让预训练模型恢复这些被覆盖的词，通过跨模态线索让模型在语言侧更好地学习。

在一些可能的实施方式中，可以将学生作答的图片通过OCR识别得到作答文本，掩码语言模型将作答文本中的文字随机覆盖，让预训练模型输出层恢复被覆盖的词。其中，OCR(optical characterrecognition)识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程。即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。通过这种方式设计预训练任务，可以使构建出的预训练模型学习到更多语言信息。

第二种，Text-ImageAlignment(TIA)预训练任务，即文本-图像对齐预训练任务。文本-图像对齐预训练任务经OCR检测行后，按字符粒度对图像进行覆盖，预测语言侧对应字符处的图像是否被覆盖，用于图像侧与语言侧细粒度对齐。

在一些可能的实施方式中，文本-图像对齐预训练任务可以按照字级别进行覆盖。参见图6，该图为本申请实施例提供的一种自动批改方法的覆盖示意图。在“所以传道授业解惑也”中随机覆盖文字“业”后，在语言侧预测“业”字是否被覆盖，从而使构建出的预训练模型学习到更多语言信息。

第三种，Text-Image Matching(TIM)预训练任务，即文本-图像匹配预训练任务。文本-图像匹配预训练任务，即图文匹配，用以预测图片和文本是否对应。其中，文本-图像匹配预训练任务中的文档图片与对应的文字构成正样本对，文档中的文字与随即替换的图片构成负样本对，负样本相对正样本而言，正样本就是图片和对应的文字匹配的样本，负样本即随机替换后，图片和文字不匹配的样本。

在一些可能的实施方式中，模型通过二分类法预测图文是否匹配，二分类法中，0表示作答错误，1表示作答正确。还可以用其他分类方法预测图文是否匹配，本申请不做限定。

在一些可能的实施方式中，由于学生错误作答通常是小部分出错，因此负样本构造可以采取三种方式：第一，随机替换为其他作答图片；第二，删除或增加某些作答字；第三，维护一个替换字表，将某些作答字替换为形近字。在构建负样本后，在CLS处预测图文是否匹配。其中，CLS是放在输入开头用于分类的特殊标志符，即时钟信号。

由此可知，本申请相比传统基于规则或纯文本的批改方案，在纯文本批改的基础上，将题干信息和学生作答图像信息引入模型中，减小批改模型对OCR模块的依赖，可对OCR漏检或识别错误的样本根据图像信息进行批改容错，从而有效提升模型泛化性与批改准确率。具体的，模型输入中引入题干信息后，模型可在理解题干的基础上，辅助批改，有效提升批改准确率。并且，将学生作答图片编码，与编码后题干信息、学生作答文本、标答文本一同输入模型，通过融入图像特征，具有对部分OCR检测、识别的容错能力，减小OCR对后续批改模块错误的累积。

S103：基于所述预训练模型，构建自动批改模型。

在S102中构建预训练模型的基础上，在下游批改任务上进行微调。该批改模型的模型输入为“学生作答图片+题干信息+学生作答文本+标准答案”，即调整为能够评判学生作答图片中信息是否正确的模型。该批改模型的模型输出为[CLS]处的二分类，预测作答(1)或(0)，其中，二分类法中，0表示作答错误，1表示作答正确。

S104：将作答信息输入至自动批改模型，获取自动批改模型的输出结果。

S105：将自动批改模型的输出结果进行后处理。

在构建批改模型的基础上对学生的作答进行批改后，再进行后处理。对于模型批改结果为错误的作答，根据OCR识别返回每一个步骤的前几个预测结果，利用特定算法返回前几个候选识别结果，将前几个候选结果与标准答案通过字符串分别比对。如果有一个候选结果命中标准答案，则将批改结果修正为正确。在一些可能的实施方式中，前几个个预测结果可以是前五个、前六个等，特定算法可以是beam-search算法，本申请不做限定。

在一些可能的实施方式中，参见图2，该图为本申请实施例提供的第二种自动批改方法缺陷的示意图，学生所书写的答案即为正确答案“开国大典”，但OCR识别错误，将“开国大典”识别为“开国大共”，评判学生书写错误。但引入本申请的后处理环节后，可以根据OCR识别利用beam-search算法返回前五个预测结果，OCR识别返回的前5个识别结果按置信度从高到低分别为：“开国大共”、“开果大共”、“开国大典”、“开国太典”、“干国大典”，而这五个识别结果中，只要有其中一个识别结果命中“开国大典”，则算作答正确，即提高了批改模型对试卷评判的准确率。

在一些可能的实施方式中，中小学场景中，通常会出现学生作答书写潦草、不规范等情况，给OCR准确识别带来很大挑战。OCR识别在没有上下文信息的情况下，很难将一些文字识别正确，而是倾向于识别为其他形近字，导致批改错误，本发明在对模型预测结果为错的样本中，加入后处理模块，可较大程度减小模型因书写不规范导致误判错的样本，有效提升模型批改准确率，尽量保持与用户批改结果一致。

根据上述描述举例，参见图6，该图为本申请实施例提供的一种纯文本批改与多模态批改效果对比图。第一题中，学生作答为“所以传道授业解惑也”，倘若用户手动批改则能辨别出错别字，而倘若使用现有技术的文本OCR识别，文本OCR识别仅通过识别出的结果与标准答案送入模型得到两者间的语义相似度，这里仅有微小差别，语义层面模型判断相似度高，导致输出批改结果为正确。而使用多模态批改则会辨别出错别字，从而提高准确率。第二题中，学生本意想作答“枯藤老树昏鸦”，但是出现了错别字，倘若用户手动批改则能辨别出错别字，而倘若使用OCR识别进行纯文本批改，则会将其自动识别为正确的“鸦”，即评判错误，而使用多模态批改则会辨别出错别字，从而提高准确率。第三题相似地，学生本意想作答“八百里分麾下炙”，但是出现了错别字，倘若用户手动批改则能辨别出错别字，而倘若使用OCR识别进行纯文本批改，则会将其自动识别为正确的“炙”，即评判错误，而使用多模态批改则会辨别出错别字，从而提高准确率。

本申请提供了一种自动批改方法，相比传统基于规则或纯文本的批改方案，将学生作答图像信息引入模型中，减小批改模型对OCR模块的依赖，可对OCR漏检或识别错误的样本根据图像信息进行批改容错，大大提升自动批改的准确率。并且，本申请增添特定领域预训练环节，构建大规模填空题数据，将领域相关知识融入模型中，通过“大规模预训练+下游任务微调”结合的方式有效提升批改准确率与召回率。本申请还增添后处理环节，可较大程度减小模型因书写不规范导致误判错的样本，有效提升模型批改准确率。

本申请虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

参见图7，该图为本申请实施例提供的一种自动批改装置示意图。本申请公开了一种自动批改装置700，包括：第一构建模块701、预训练模块702、第二构建模块703、自动批改模块704。

第一构建模块701，用于构建预训练数据集；

预训练模块702，用于基于所述预训练数据集，预训练layoutlmv2模型；

第二构建模块703，用于基于所述layoutlmv2模型，构建自动批改模型；

自动批改模块704，用于将作答信息输入至所述自动批改模型，获取所述自动批改模型的输出结果。

在一些可能的实施方式中，预训练模块702，具体用于：构建掩码语言模型预训练任务、文本-图像对齐预训练任务、文本-图像匹配预训练任务，预训练layoutlmv2模型。

在一些可能的实施方式中，自动批改装置700还包括：后处理模块705，用于将自动批改模型的输出结果进行后处理。

本申请构建一种批改模型，相比传统基于规则或纯文本的批改方案，将学生作答图像信息引入模型中，减小批改模型对OCR模块的依赖，可对OCR漏检或识别错误的样本根据图像信息进行批改容错，大大提升自动批改的准确率。并且，本申请增添特定领域预训练环节，构建大规模填空题数据，将领域相关知识融入模型中，通过“大规模预训练+下游任务微调”结合的方式有效提升批改准确率与召回率。本申请还增添后处理环节，可较大程度减小模型因书写不规范导致误判错的样本，有效提升模型批改准确率。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一构建模块还可以被描述为“构建预训练数据集的模块”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

本申请实施例还提供了对应的生成设备以及计算机存储介质，用于实现本申请实施例提供的方案。

其中，设备包括存储器和处理器，存储器用于存储指令或代码，处理器用于执行指令或代码，以使设备执行本申请任一实施例的一种灯光控制方法。

计算机存储介质中存储有代码，当代码被运行时，运行代码的设备实现本申请任一实施例所述的方法。

本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种自动批改方法，其特征在于，包括：

构建预训练数据集；

基于所述预训练数据集，预训练layoutlmv2模型；

基于所述layoutlmv2模型，构建自动批改模型；

将作答信息输入至所述自动批改模型，获取所述自动批改模型的输出结果。

2.根据权利要求1所述的方法，其特征在于，所述预训练layoutlmv2模型，包括：

构建掩码语言模型预训练任务、文本-图像对齐预训练任务、文本-图像匹配预训练任务，预训练layoutlmv2模型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述自动批改模型的输出结果进行后处理。

4.根据权利要求1所述的方法，其特征在于，所述构建自动批改模型，包括：

将所述layoutlmv2模型的模型输入修改为“学生作答图片+题干信息+学生作答文本+标准答案”，构建自动批改模型。

5.一种自动批改装置，其特征在于，包括：第一构建模块、预训练模块、第二构建模块、自动批改模块；

所述第一构建模块，用于构建预训练数据集；

所述预训练模块，用于基于所述预训练数据集，预训练layoutlmv2模型；

所述第二构建模块，用于基于所述layoutlmv2模型，构建自动批改模型；

所述自动批改模块，用于将作答信息输入至所述自动批改模型，获取所述自动批改模型的输出结果。

6.根据权利要求5所述的装置，其特征在于，所述预训练模块，具体用于：构建掩码语言模型预训练任务、文本-图像对齐预训练任务、文本-图像匹配预训练任务，预训练layoutlmv2模型。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：后处理模块；

所述后处理模块，用于将所述自动批改模型的输出结果进行后处理。

8.根据权利要求5所述的装置，其特征在于，所述第二构建模块，具体用于：将所述layoutlmv2模型的模型输入修改为“学生作答图片+题干信息+学生作答文本+标准答案”，构建自动批改模型。

9.一种自动批改设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1至4中任一项所述的方法的各个步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至4中任一项所述的方法的各个步骤。

Images