CN112270295A - 学生作业场景下的框题方法及装置、终端设备及存储介质 - Google Patents

Abstract

本发明提供了一种学生作业场景下的框题方法及装置、终端设备及存储介质，其中，学生作业场景下的框题方法包括：获取包含待框选题目的目标图片；分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；根据框选范围标志对图片中的各个题目进行框选。该框题方法尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，保证框选的结果内容齐全，提升框题效率，对后续业务起到很好的支撑作用。

Description

学生作业场景下的框题方法及装置、终端设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤指一种学生作业场景下的框题方法及装置、终端设备及存储介质。

背景技术

目前，应用于学生作业场景下，帮助学生做题或批改的APP越来越受欢迎。为了更好地满足业务需求，如何对试卷、练习册、书本等拍摄图片中包含的题目区域进行精确定位成了整个技术链路关键的一环。

由于学生学习场景多变，拍摄时环境光线、摄像头与纸张的相对位置、纸张的凹凸程度等都会产生一定程度的变化，对于上述问题的解决形成了很大的挑战。当前方案商处理时一般会存在两大问题：1)框选的题目区域为矩形，对于拍摄目标出现倾斜或拱起时效果较差，容易出现多框或少框的情况；2)同一个完整的题目中可能包含多个不同级别题目序号的题目区域，造成题目框选结果不佳。

发明内容

本发明的目的是提供一种学生作业场景下的框题方法及装置、终端设备及存储介质，有效解决现有框题方法对于目标图片中题目出现倾斜/拱起，或目标图片中包含多个不同级别题目序号的题目区域时框选效果不佳的技术问题。

本发明提供的技术方案如下：

本发明提供了一种学生作业场景下的框题方法，包括：

获取包含待框选题目的目标图片；

分别对所述目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；

将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；

对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；

根据所述框选范围标志对图片中的各个题目进行框选。

在本技术方案中，分别对目标图片中的题目序号、各题目序号对应的题目区域及题目行区域进行检测，并融合得到各题目序号对应的最终题目区域范围，避免由于题目区域检测过程中出现错框、漏框影响区域检测的准确率，提高框题效率。另外，确定了各题目序号对应的最终题目区域范围之后，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，以此确定是框大题还是框小题，避免出现框选错误的情况。该框题方法尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，保证框选的结果内容齐全，对后续业务起到很好的支撑作用。

进一步优选地，所述分别对所述目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测包括并行执行以下步骤：

对目标图片中的各级题目序号进行定位并识别，得到各级题目序号；

将各级题目序号对应的题目区域作为一个整体并沿题目边沿进行分割，得到各题目序号对应的题目区域；

将题目中的每行文字作为一个整体进行分割，得到题目行区域。

进一步优选地，所述将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围包括：

将所述题目序号和题目行区域信息与所述题目区域信息进行匹配；

当出现不匹配信息，根据所述题目序号和/或题目行区域信息对所述题目区域进行调整，确定各题目序号对应的最终题目区域范围。

在本技术方案中，充分利用AI算法的提取特征能力，依次提取了题目序号、各题目序号对应的题目区域及题目行区域信息之后充分发挥信息融合的作用，使整个框题算法达到优秀的框题效果。

进一步优选地，所述对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志包括：

将包含最高一级题目序号对应的题目区域送入文字识别工具中进行文字识别；

对识别的文字进行语义分类，并根据分类结果计算语义间的关联度；

将计算得到的语义关联度与预设关联阈值进行比较；

根据比较结果输出题目的框选范围标志。

在本技术方案中，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，输出相应的框选范围标志，以此后续根据该框选范围标志对题目区域进行框选，极大程度上避免了错误框选的情况出现。尤其在处理题目中包含多级题目序号的情况，能够正确地框选出需要的题目区域。

进一步优选地，所述框选范围标志包括：框选包含最高一级题目序号对应题目区域的标志及框选不包含最高一级题目序号对应题目区域的标志；

当计算得到的语义关联度小于预设关联阈值，输出框选不包含最高一级题目序号对应题目区域的标志；

当计算得到的语义关联度大于等于预设关联阈值，输出框选包含最高一级题目序号对应题目区域的标志。

本发明还提供了一种学生作业场景下的框题装置，包括：

图片获取模块，用于获取包含待框选题目的目标图片；

检测模块，用于分别对所述图片获取模块获取的目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；

信息融合模块，用于将所述检测模块检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；

语义分析模块，用于分别对所述信息融合模块确定的包含最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；

题目框选模块，用于根据所述语义分析模块输出的框选范围标志对图片中的各个题目进行框选。

在本技术方案中，分别对目标图片中的题目序号、各题目序号对应的题目区域及题目行区域进行检测，并融合得到各题目序号对应的最终题目区域范围，避免由于题目区域检测过程中出现错框、漏框影响区域检测的准确率，提高框题效率。另外，确定了各题目序号对应的最终题目区域范围之后，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，以此确定是框大题还是框小题，避免出现框选错误的情况。该框题方法尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，保证框选的结果内容齐全，对后续业务起到很好的支撑作用。

进一步优选地，所述检测模块中包括：

题目序号检测单元，用于对目标图片中的各级题目序号进行定位并识别，得到各级题目序号；

题目区域检测单元，用于将各级题目序号对应的题目区域作为一个整体并沿题目边沿进行分割，得到各题目序号对应的题目区域；

题目行检测单元，用于将题目中的每行文字作为一个整体进行分割，得到题目行区域。

在本技术方案中，充分利用AI算法的提取特征能力，依次提取了题目序号、各题目序号对应的题目区域及题目行区域信息之后充分发挥信息融合的作用，使整个框题算法达到优秀的框题效果。

进一步优选地，所述信息融合模块中包括：

信息匹配单元，用于将所述题目序号和题目行区域信息与所述题目区域信息进行匹配；

区域调整单元，用于当出现不匹配信息，根据所述题目序号和/或题目行区域信息对所述题目区域进行调整，确定各题目序号对应的最终题目区域范围。

进一步优选地，所述语义分析模块中包括：

文字识别单元，用于将包含最高一级题目序号对应的题目区域送入文字识别工具中进行文字识别；

语义分类单元，用于对所述文字识别单元识别的文字进行语义分类，并根据分类结果计算语义间的关联度；

比较单元，用于将所述语义分类单元计算得到的语义关联度与预设关联阈值进行比较；

结果输出单元，用于根据所述比较单元的比较结果输出题目的框选范围标志。

在本技术方案中，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，输出相应的框选范围标志，以此后续根据该框选范围标志对题目区域进行框选，极大程度上避免了错误框选的情况出现。尤其在处理题目中包含多级题目序号的情况，能够正确地框选出需要的题目区域。

进一步优选地，所述框选范围标志包括：框选包含最高一级题目序号对应题目区域的标志及框选不包含最高一级题目序号对应题目区域的标志；

当所述比较单元判断语义关联度小于预设关联阈值，结果输出单元输出框选不包含最高一级题目序号对应题目区域的标志；

当所述比较单元判断语义关联度大于等于预设关联阈值，结果输出单元输出框选包含最高一级题目序号对应题目区域的标志。

本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述学生作业场景下的框题方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述学生作业场景下的框题方法的步骤。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施例，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明学生作业场景下的框题方法一实施例流程图；

图2为本发明一实例中题目区域检测结果图；

图3为本发明一实例中题目序号检测结果图；

图4为本发明一实例中题目行检测结果图；

图5为本发明一实例中送入文字识别工具的题目区域示意图；

图6为本发明一实例中据框选范围标志对图片中的各个题目进行框选示意图；

图7为本发明学生作业场景下的框题装置一实施例结构示意图；

图8为本发明中终端设备结构示意图。

附图标号说明：

框题装置100，110-图片获取模块，120-检测模块，130-信息融合模块，140-语义分析模块，150-题目框选模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施例。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施例。

本发明的第一实施例，如图1所示，一种学生作业场景下的框题方法，包括：

S10获取包含待框选题目的目标图片；

S20分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；

S30将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；

S40对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；

S50根据框选范围标志对图片中的各个题目进行框选。

在本实施例中，该学生作业场景下的框题方法适用于家教机、学习机、带有学习功能的手机或平板电脑等智能设备。目标图片可以通过用户输入得到也可以通过智能设备中配置的摄像装置拍摄得到，其中至少包含一道题目即可。当通过智能设备中配置的摄像装置拍摄得到时，启动智能设备中相应的APP进入拍摄场景或通过与外界电子设备通讯连接对相应的APP进行启动，目标拍摄物为书本、练习册、作业本、试卷、报刊等学习资料，摄像装置通过对目标拍摄物进行拍摄得到目标图片。拍摄时，对环境光线、摄像头与纸张之间的相对位置、纸张的凹凸程度均不做严格限制，可自由拍摄。对于智能设备中拍摄场景的开启可以根据实际情况进行设定，如用户在使用书本、练习册、作业本、试卷等学习资料时，通过手指、触控笔、铅笔、尺子、小棍等对着纸张双击触发等。对于输入步骤S20中进行检测的图片也可以手动或根据一定规则选取拍摄图片中的部分图像，可自由设定，只需满足输入步骤S20中进行的检测的目标图片中包含至少一道题目即可。

由于对目标图片拍摄的条件没有过多限制，使用传统的方法对目标图片的特征信息进行提取有一定的难度，为了解决这一问题，本实施例中，通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测，并通过融合的方式，即结合三方面的信息对各级题目序号对应的题目区域进行最终确定，避免题目区域检测过程中出现的错框、漏框的情况。

一般来说，学习资料中的题目都有对应的题目序号，每一题目序号可能又具有下一级的题目序号，甚至可能有3级、4级序号等。例如，可以采用4个类别题目序号的识别形式，包括：序号类别1：一、二、三、…十、十一、…；序号类别2：1、2、3、…10、11、…；序号类别3：(1)、(2)、(3)、…(10)、(11)、…；序号类别4：例、附加题。这里我们对题目序号的类别形式不做具体限定，可以根据实际应用情况进行调整，如，在其他实施例中还可以添加Ⅰ、Ⅱ、Ⅲ、…作为其他序号类别等。但是应当注意，在序号类别1、序号类别2和序号类别3这三个序号类别中，序号类别1表示最高一级题目序号，序号类别2表示序号类别1的下一级题目序号，序号类别3表示序号类别2的下一级题目序号，序号类别1对应的题目区域及其之后序号类别2/序号类别3对应的题目区域通常表示属于一个大题，而序号类别2/序号类别3对应的题目区域表示大题下面的小题。

确定了各题目序号对应的最终题目区域范围之后，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，以此确定是框大题还是框小题，避免出现框选出无意义的题目的情况。本实施例提供的能够保证框选的结果内容齐全，对后续业务起到很好的支撑作用，尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，很好的解决了现有题目框选方法中普遍存在的技术难题。

对上述实施例进行改进得到本实施例，本实施例步骤S20分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测中进一步包括：S21对目标图片中的各级题目序号进行定位并识别，得到各级题目序号；S22将各级题目序号对应的题目区域作为一个整体并沿题目边沿进行分割，得到各题目序号对应的题目区域；S23将题目中的每行文字作为一个整体进行分割，得到题目行区域。

在本实施例中，获得了目标图片之后，通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测。应当注意，这里对题目序号、各题目序号对应的题目区域及题目行区域的检测没有先后顺序，相互之间也没有依赖关系，采用不同的AI模型分别目标图片进行独立处理。

题目区域的检测方法、题目序号的检测方法及题目行的检测方法应能适用于可能存在倾斜、拱起等目标图片中的题目分布比较复杂的情况，如在实例中，采用MS-RCNN、PA-NET等AI模型对目标图片中的题目区域进行检测。采用faster-RCNN、yolo(You Only LookOnce:Unified,Real-Time Object Detection)等AI模型对目标图片中的题目序号进行定位并识别。采用TextSnake、PAN等AI模型对目标图片中的题目行进行检测。

通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测之后，随即通过融合的方式对各级题目序号对应的题目区域进行最终确定。确定了各题目序号对应的最终题目区域范围之后，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，以此确定是框大题还是框小题，避免出现框选出无意义的题目的情况。本实施例提供的能够保证框选的结果内容齐全，对后续业务起到很好的支撑作用，尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，很好的解决了现有题目框选方法中普遍存在的技术难题。

对上述实施例进行改进得到本实施例，在本实施例步骤S30将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围中进一步包括：S31将题目序号和题目行区域信息与题目区域信息进行匹配；S32当出现不匹配信息，根据题目序号和/或题目行区域信息对题目区域进行调整，确定各题目序号对应的最终题目区域范围。

由于题目序号、各题目序号对应的题目区域及题目行信息的特征是分开提取的，相互之间可能存在差异，而框题的目的在于框选出题目序号对应的题目区域，是以本实施例中，通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测之后，随即以题目区域为核心，利用题目序号和题目行信息对其进行补充，以最终确认题目区域，提升题目区域的检测准确率。以此，当检测的题目区域中出现题目区域不完整、误将其他题目中的信息框入等情况时，可以很好的根据题目序号和题目行区域信息对其进行调整，对检测的题目区域信息加以完善。

对于融合的算法这里不做具体限定，如可以采用fasttext、bert等AI模型实现。调整规则同样可以根据实际情况进行限定，如，当检测到的各级题目的序号与检测的题目区域信息出现匹配误差时，通过题目行区域信息进行进一步补充；又如，当检测到的题目行区域信息与检测的题目区域信息出现匹配误差时，通过各级题目的序号信息进行进一步补充；再如，当检测到的题目区域信息与检测的题目行区域信息及各级题目序号信息均匹配不上时，则以检测的题目区域信息为准进行确认等。如图2-4的实例中可以看出，相对于题目区域检测结果和题目序号检测结果来说，题目行检测结果范围更宽泛，是以对题目区域的调整过程中，不能将题目序号和题目行的检测结果都调整至题目区域的框选结果中，需要综合考虑。

对上述实施例进行改进得到本实施例，在本实施例步骤S40对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志中包括：S41将包含最高一级题目序号对应的题目区域送入文字识别工具中进行文字识别；S42对识别的文字进行语义分类，并根据分类结果计算语义间的关联度；S43将计算得到的语义关联度与预设关联阈值进行比较；S44根据比较结果输出题目的框选范围标志。

在本实施例中，步骤S30输出的包含各个级别题目序号的题目区域均单独框选，即针对每一级题目序号对应的题目区域进行单独框选，但是在实际应用中，通常只对需要解答的题目区域进行框选，是以还需要最终确认是否框选最高级题目序号对应的题目区域。如，对于选择题来说，最高一级的题目序号对应的题目区域通常只包括了“选择题”三个字，并非需要解答的题目内容，在框选题目的过程中，无需对其进行框选。是以，需要对是否将其一并进行框选做出判断。

具体，首先将最高一级题目序号的题目区域送如文字识别工具，如OCR中进行文字识别；之后将识别出的文字信息送AI模型进行语义分类，对该级题目序号对应题目区域中文字之间的关联度进行计算，进而根据关联度输出框选范围标志。这里对语义分析的算法同样不做具体限定，如使用fasttext等AI模型实现目的。

在本实施例中，框选范围标志包括：框选包含最高一级题目序号对应题目区域的标志及框选不包含最高一级题目序号对应题目区域的标志。具体，当计算得到的语义关联度小于预设关联阈值，判定该级题目序号对应题目区域中文字之间的语义关联度不高，即该题目区域中的内容实际上不是需要解答的题目内容，对于解题来说没有实质含义，则输出框选不包含最高一级题目序号对应题目区域的标志，后续根据该标志框选该题中除最高一级题目序号对应之外的其他级别题目序号的题目区域(将其他级别题目序号对应的题目区域作为一个整体进行框选)。当计算得到的语义关联度大于等于预设关联阈值，判定该级题目序号对应题目区域中文字之间的语义关联度较高，即该题目区域中的内容是需要解答的题目内容，则输出框选包含最高一级题目序号对应题目区域的标志，后续根据该标志框选该题中包含最高一级题目序号对应题目区域在内的题目区域(将该题中所有级别题目序号对应的题目区域作为一个整体进行框选)。关联阈值可以根据实际应用进行确定，如设定为0.5、0.6甚至更大。得到框选范围标志之后，随即对各级题目序号的题目区域进行删除或合并，呈现出最终的结果。

在一实例中，假定待框选的题目为填空题，对应一级标题序号1，该填空题中包含4个小题，分别对应二级标题序号1.1、1.2、1.3和1.4，经过文本识别和语义分类之后，计算得到语义关联度小于预设关联阈值0.5，则输出不包含最高一级题目序号对应题目区域的标志，后续根据该标志将该题中4个二级标题序号1.1、1.2、1.3和1.4对应的题目区域作为一个整体进行框选。

在本实施例中，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，输出相应的框选范围标志，以此后续根据该框选范围标志对题目区域进行框选，极大程度上避免了错误框选的情况出现。尤其在处理题目中包含多级题目序号的情况，能够正确地框选出需要的题目区域。

一实例中，针对目标图片的题目区域检测检测结果如图2所示，从图中可以看出，该目标图像中包括4个应用题，题目1的一级题目序号(用“1”表示)下包括3个二级题目序号(分别用“(1)”、“(2)”和“(3)”表示)，题目2和题目3的一级题目序号(分别用“2”和“3”表示)下均不包括二级题目序号，题目4的一级题目序号(用“4”表示)下包括2个二级题目序号(分别用“(1)”、和“(2)”)。这一过程针对各个级别题目序号的题目区域进行单独框选，即题干部分和各问题部分的题目区域分别框选，如题目1中，分别框选了一级题目序号和3个二级题目序号对应的题目区域。题目序号的检测结果如图3所示，识别出的题目序号12包括一级题目序号1、2、3和4，二级题目序号(1)、(2)和(3)。题目行检测结果如图4所示，针对题目中的每一行文字进行框选得到对应的题目行区域13。送入文字识别工具中的图片如图5所示，仅将最高最高一级题目序号(一级题目序号，图中仅示例性的给出了2个题目的区域)对应的题目区域14进行文字识别及语义分类。根据框选范围标志对图片中的各个题目进行框选的结果如图6所示，框选的均为大题，将包含高一级题目序号的题目区域和低一级题目区域的题目区域进行整体框选。

如图7所示，本发明还提供了一种学生作业场景下的框题装置100，包括：图片获取模块110，用于获取包含待框选题目的目标图片；检测模块120，用于分别对图片获取模块获取的目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；信息融合模块130，用于将检测模块检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；语义分析模块140，用于分别对信息融合模块确定的包含最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；题目框选模块150，用于根据语义分析模块输出的框选范围标志对图片中的各个题目进行框选。

在本实施例中，获得了目标图片之后，检测模块120通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测。应当注意，这里对题目序号、各题目序号对应的题目区域及题目行区域的检测没有先后顺序，相互之间也没有依赖关系，采用不同的AI模型分别目标图片进行独立处理。

题目区域的检测方法、题目序号的检测方法及题目行的检测方法应能适用于可能存在倾斜、拱起等目标图片中的题目分布比较复杂的情况，如在实例中，采用MS-RCNN、PA-NET等AI模型对目标图片中的题目区域进行检测。采用faster-RCNN、yolo(You Only LookOnce:Unified,Real-Time Object Detection)等AI模型对目标图片中的题目序号进行定位并识别。采用TextSnake、PAN等AI模型对目标图片中的题目行进行检测。

一实例中，针对目标图片的题目区域检测检测结果如图2所示，从图中可以看出，该目标图像中包括4个应用题，题目1的一级题目序号(用“1”表示)下包括3个二级题目序号(分别用“(1)”、“(2)”和“(3)”表示)，题目2和题目3的一级题目序号(分别用“2”和“3”表示)下均不包括二级题目序号，题目4的一级题目序号(用“4”表示)下包括2个二级题目序号(分别用“(1)”、和“(2)”)。这一过程针对各个级别题目序号的题目区域进行单独框选，即题干部分和各问题部分的题目区域分别框选，如题目1中，分别框选了一级题目序号和3个二级题目序号对应的题目区域。题目序号的检测结果如图3所示，识别出的题目序号12包括一级题目序号1、2、3和4，二级题目序号(1)、(2)和(3)。题目行检测结果如图4所示，从图中可以看出，针对题目中的每一行文字进行框选得到对应的题目行区域13。

检测模块120通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测之后，信息融合模块130随即通过融合的方式对各级题目序号对应的题目区域进行最终确定。确定了各题目序号对应的最终题目区域范围之后，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，以此确定是框大题还是框小题，避免出现框选出无意义的题目的情况。本实施例提供的能够保证框选的结果内容齐全，对后续业务起到很好的支撑作用，尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，很好的解决了现有题目框选方法中普遍存在的技术难题。

对上述实施例进行改进得到本实施例，检测模块120中包括：题目序号检测单元，用于对目标图片中的各级题目序号进行定位并识别，得到各级题目序号；题目区域检测单元，用于将各级题目序号对应的题目区域作为一个整体并沿题目边沿进行分割，得到各题目序号对应的题目区域；题目行检测单元，用于将题目中的每行文字作为一个整体进行分割，得到题目行区域。

在本实施例中，获得了目标图片之后，通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测。应当注意，这里对题目序号、各题目序号对应的题目区域及题目行区域的检测没有先后顺序，相互之间也没有依赖关系，采用不同的AI模型分别目标图片进行独立处理。

题目区域的检测方法、题目序号的检测方法及题目行的检测方法应能适用于可能存在倾斜、拱起等目标图片中的题目分布比较复杂的情况，如在实例中，采用MS-RCNN、PA-NET等AI模型对目标图片中的题目区域进行检测。采用faster-RCNN、yolo(You Only LookOnce:Unified,Real-Time Object Detection)等AI模型对目标图片中的题目序号进行定位并识别。采用TextSnake、PAN等AI模型对目标图片中的题目行进行检测。

通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测之后，随即通过融合的方式对各级题目序号对应的题目区域进行最终确定。确定了各题目序号对应的最终题目区域范围之后，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，以此确定是框大题还是框小题，避免出现框选出无意义的题目的情况。本实施例提供的能够保证框选的结果内容齐全，对后续业务起到很好的支撑作用，尤其适用于目标图片中试卷、练习册、书本等出现倾斜或拱起的情况，很好的解决了现有题目框选方法中普遍存在的技术难题。

对上述实施例进行改进得到本实施例，信息融合模块130中包括：信息匹配单元，用于将题目序号和题目行区域信息与题目区域信息进行匹配；区域调整单元，用于当出现不匹配信息，根据题目序号和/或题目行区域信息对题目区域进行调整，确定各题目序号对应的最终题目区域范围。

由于题目序号、各题目序号对应的题目区域及题目行信息的特征是分开提取的，相互之间可能存在差异，而框题的目的在于框选出题目序号对应的题目区域，是以本实施例中，通过创建不同的模型分别对目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测之后，随即以题目区域为核心，利用题目序号和题目行信息对其进行补充，以最终确认题目区域，提升题目区域的检测准确率。以此，当检测的题目区域中出现题目区域不完整、误将其他题目中的信息框入等情况时，可以很好的根据题目序号和题目行区域信息对其进行调整，对检测的题目区域信息加以完善。

对于融合的算法这里不做具体限定，如可以采用fasttext、bert等AI模型实现。调整规则同样可以根据实际情况进行限定，如，当检测到的各级题目的序号与检测的题目区域信息出现匹配误差时，通过题目行区域信息进行进一步补充；又如，当检测到的题目行区域信息与检测的题目区域信息出现匹配误差时，通过各级题目的序号信息进行进一步补充；再如，当检测到的题目区域信息与检测的题目行区域信息及各级题目序号信息均匹配不上时，则以检测的题目区域信息为准进行确认等。如图2-4的实例中可以看出，相对于题目区域检测结果和题目序号检测结果来说，题目行检测结果范围更宽泛，是以对题目区域的调整过程中，不能将题目序号和题目行的检测结果都调整至题目区域的框选结果中，需要综合考虑。

对上述实施例进行改进得到本实施例，语义分析模块140中包括文字识别单元，用于将包含最高一级题目序号对应的题目区域送入文字识别工具中进行文字识别；语义分类单元，用于对文字识别单元识别的文字进行语义分类，并根据分类结果计算语义间的关联度；比较单元，用于将语义分类单元计算得到的语义关联度与预设关联阈值进行比较；结果输出单元，用于根据比较单元的比较结果输出题目的框选范围标志。

在本实施例中，步骤S30输出的包含各个级别题目序号的题目区域均单独框选，即针对每一级题目序号对应的题目区域进行单独框选，但是在实际应用中，通常只对需要解答的题目区域进行框选，是以还需要最终确认是否框选最高级题目序号对应的题目区域。如，对于选择题来说，最高一级的题目序号对应的题目区域通常只包括了“选择题”三个字，并非需要解答的题目内容，在框选题目的过程中，无需对其进行框选。是以，需要对是否将其一并进行框选做出判断。

具体，首先将最高一级题目序号的题目区域送如文字识别工具，如OCR中进行文字识别；之后将识别出的文字信息送AI模型进行语义分类，对该级题目序号对应题目区域中文字之间的关联度进行计算，进而根据关联度输出框选范围标志。这里对语义分析的算法同样不做具体限定，如使用fasttext等AI模型实现目的。

在本实施例中，框选范围标志包括：框选包含最高一级题目序号对应题目区域的标志及框选不包含最高一级题目序号对应题目区域的标志。具体，当计算得到的语义关联度小于预设关联阈值，判定该级题目序号对应题目区域中文字之间的语义关联度不高，即该题目区域中的内容实际上不是需要解答的题目内容，对于解题来说没有实质含义，则输出框选不包含最高一级题目序号对应题目区域的标志。当计算得到的语义关联度大于等于预设关联阈值，判定该级题目序号对应题目区域中文字之间的语义关联度较高，即该题目区域中的内容是需要解答的题目内容，则输出框选包含最高一级题目序号对应题目区域的标志。关联阈值可以根据实际应用进行确定，如设定为0.5、0.6甚至更大。得到框选范围标志之后，随即对各级题目序号的题目区域进行删除或合并，呈现出最终的结果。

在本实施例中，通过对最高一级题目序号对应的题目区域进行文字识别和语义分类，输出相应的框选范围标志，以此后续根据该框选范围标志对题目区域进行框选，极大程度上避免了错误框选的情况出现。尤其在处理题目中包含多级题目序号的情况，能够正确地框选出需要的题目区域。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

图8是本发明一个实施例中提供的终端设备的结构示意图，如所示，该终端设备200包括：处理器220、存储器210以及存储在存储器210中并可在处理器220上运行的计算机程序211，例如：学生作业场景下的框题关联程序。处理器220执行计算机程序211时实现上述各个学生作业场景下的框题方法实施例中的步骤，或者，处理器220执行计算机程序211时实现上述学生作业场景下的框题装置实施例中各模块的功能。

终端设备200可以为家教机、学习机、带有学习功能的手机或平板电脑等智能设备。终端设备200可包括，但不仅限于处理器220、存储器210。本领域技术人员可以理解，图8仅仅是终端设备200的示例，并不构成对终端设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备200还可以包括输入输出设备、显示设备、网络接入设备、总线等。

处理器220可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器220可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器210可以是终端设备200的内部存储单元，例如：终端设备200的硬盘或内存。存储器210也可以是终端设备200的外部存储设备，例如：终端设备200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器210还可以既包括终端设备200的内部存储单元也包括外部存储设备。存储器210用于存储计算机程序211以及终端设备200所需要的其他程序和数据。存储器210还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序211发送指令给相关的硬件完成，的计算机程序211可存储于一计算机可读存储介质中，该计算机程序211在被处理器220执行时，可实现上述各个方法实施例的步骤。其中，计算机程序211包括：计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序211代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种学生作业场景下的框题方法，其特征在于，包括：

获取包含待框选题目的目标图片；

分别对所述目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；

将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；

对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；

根据所述框选范围标志对图片中的各个题目进行框选。

2.如权利要求1所述的框题方法，其特征在于，所述分别对所述目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测包括并行执行以下步骤：

对目标图片中的各级题目序号进行定位并识别，得到各级题目序号；

将各级题目序号对应的题目区域作为一个整体并沿题目边沿进行分割，得到各题目序号对应的题目区域；

将题目中的每行文字作为一个整体进行分割，得到题目行区域。

3.如权利要求1或2所述的框题方法，其特征在于，所述将检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围包括：

将所述题目序号和题目行区域信息与所述题目区域信息进行匹配；

当出现不匹配信息，根据所述题目序号和/或题目行区域信息对所述题目区域进行调整，确定各题目序号对应的最终题目区域范围。

4.如权利要求1或2所述的框题方法，其特征在于，所述对最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志包括：

将包含最高一级题目序号对应的题目区域送入文字识别工具中进行文字识别；

对识别的文字进行语义分类，并根据分类结果计算语义间的关联度；

将计算得到的语义关联度与预设关联阈值进行比较；

根据比较结果输出题目的框选范围标志。

5.如权利要求4所述的框题方法，其特征在于，所述框选范围标志包括：框选包含最高一级题目序号对应题目区域的标志及框选不包含最高一级题目序号对应题目区域的标志；

当计算得到的语义关联度小于预设关联阈值，输出框选不包含最高一级题目序号对应题目区域的标志；

当计算得到的语义关联度大于等于预设关联阈值，输出框选包含最高一级题目序号对应题目区域的标志。

6.一种学生作业场景下的框题装置，其特征在于，包括：

图片获取模块，用于获取包含待框选题目的目标图片；

检测模块，用于分别对所述图片获取模块获取的目标图片中的各级题目序号、各题目序号对应的题目区域及题目行区域进行检测；

信息融合模块，用于将所述检测模块检测得到的题目序号、各题目序号对应的题目区域及题目行区域信息进行融合，确定各题目序号对应的最终题目区域范围；

语义分析模块，用于分别对所述信息融合模块确定的包含最高一级题目序号对应的题目区域进行文字识别及语义分类，得到各题的框选范围标志；

题目框选模块，用于根据所述语义分析模块输出的框选范围标志对图片中的各个题目进行框选。

7.如权利要求6所述的框题装置，其特征在于，所述检测模块中包括：

题目序号检测单元，用于对目标图片中的各级题目序号进行定位并识别，得到各级题目序号；

题目区域检测单元，用于将各级题目序号对应的题目区域作为一个整体并沿题目边沿进行分割，得到各题目序号对应的题目区域；

题目行检测单元，用于将题目中的每行文字作为一个整体进行分割，得到题目行区域。

8.如权利要求6或7所述的框题装置，其特征在于，所述信息融合模块中包括：

信息匹配单元，用于将所述题目序号和题目行区域信息与所述题目区域信息进行匹配；

区域调整单元，用于当出现不匹配信息，根据所述题目序号和/或题目行区域信息对所述题目区域进行调整，确定各题目序号对应的最终题目区域范围。

9.如权利要求6或7所述的框题装置，其特征在于，所述语义分析模块中包括：

文字识别单元，用于将包含最高一级题目序号对应的题目区域送入文字识别工具中进行文字识别；

语义分类单元，用于对所述文字识别单元识别的文字进行语义分类，并根据分类结果计算语义间的关联度；

比较单元，用于将所述语义分类单元计算得到的语义关联度与预设关联阈值进行比较；

结果输出单元，用于根据所述比较单元的比较结果输出题目的框选范围标志。

10.如权利要求9所述的框题装置，其特征在于，所述框选范围标志包括：框选包含最高一级题目序号对应题目区域的标志及框选不包含最高一级题目序号对应题目区域的标志；

当所述比较单元判断语义关联度小于预设关联阈值，结果输出单元输出框选不包含最高一级题目序号对应题目区域的标志；

当所述比较单元判断语义关联度大于等于预设关联阈值，结果输出单元输出框选包含最高一级题目序号对应题目区域的标志。

11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求1-5中任一项所述学生作业场景下的框题方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述学生作业场景下的框题方法的步骤。

Images