CN114463770A - 一种用于普遍试卷题目的智能切题方法 - Google Patents

Abstract

本发明公开了一种用于普遍试卷题目的智能切题方法，包括以下步骤：拍摄图片,输入程序并对该图片进行特定的初步预处理操作；获取具有只剩试卷的部分且文字内容方向端正的二值图片；利用文本检测算法模型检测文本区域；对于检测到的文本区域利用文本识别算法快速识别出文本内容；分析文本区域位置信息是否符合题目开始和结束的特征，以及通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域；检测每一道题的区域，得到候选题目区域位置信息；通过计算两区域的交集得到高置信度的题目区域，此为最终的划分每一道题的区域。利用本方法可以精确识别出待识别目标各个题目并进行分割，用于后续批阅操作。

Description

一种用于普遍试卷题目的智能切题方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种用于普遍试卷题目的智能切题方法。

背景技术

对于日益成熟的人工智能技术应用，目前，智能阅卷技术也发展越来越好，对于传统的批阅方法是针对于使用扫描仪扫描试卷进行人工批改以及特定答题卡情况下的机器批改(答题卡下的选择题等)，这些方法都可以减轻人工成本。但是对于在学生平常的练习测试中，使用不到扫描仪此类高成本的设备，而且也并不现实。同时在使用特定答题卡的情况下，存在着不普遍性以及相对于不同科目、题型造成的不统一，所以这些方法也存在一定的局限性，同时制作特定答题卡花费时间成本更高，同时造成不必要的浪费，因此上诉传统的方法是不适应学生平常的练习测试的批阅情况的。所以，我们需要一种适用更加的广泛并低成本的针对对平常练习方法来提高阅卷效率。

(1)现有的电子阅卷方式需要制定特定的答题卡，不需要切题，制作成本高，确实提高了阅卷效率，但仅适合较大型的考试，无法在一些中小规模的考试或者是平常的练习中进行广泛推广使用。

(2)试卷内容进行数字化时需要使用扫描仪等贵重仪器，不利于广泛使用，不适应电子智能批阅的发展趋势。

(3)如果是使用基于人工的方法进行对题目进行分离，这明显是不现实的，而通过智能自动化的方法可以大大提高效率。

随着信息时代的到来，电子设备以及软件逐步取代繁复的人工操作，极大地提高了事务的处理效率。目前，同时手机成为我们日常生活的一部分，手机的硬件和软件发展迅速，让实现更多功能建立了结实的基础，因此解决普遍性问题，就需要使用手机作为媒介，通过手机实现自动扫描实现获取数字试卷，能够极大的提高智能阅卷的广泛性。其次针对平常练习的题目的多样性，结合目前的图像处理技术和机器视觉，实现对任一题目进行切题，以便进行对答案的识别，从而实现题目级的智能批阅。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种用于普遍试卷题目的智能切题方法，该方法对拍照设备拍摄到的试卷图片进行一系列图像处理、特征分析和内容分析结合机器视觉技术操作等，从而获取每一道题目目标的整体内容位置，利用本方法可以精确识别出待识别目标各个题目并进行分割，用于后续批阅操作。

为实现上述目的，本发明提供了一种用于普遍试卷题目的智能切题方法，包括以下步骤：

步骤1：使用拍摄设备拍取一张试卷或辅导资料的图片,输入程序并对该图片进行特定的初步预处理操作；

步骤2：通过对图片进行操作，获取具有只剩试卷的部分且文字内容方向端正的二值图片；

步骤3：利用文本检测算法模型检测文本区域，同时获取每一个文本区域在图像中位置信息；

步骤4：对于检测到的文本区域利用文本识别算法快速识别出文本内容；

步骤5：分析文本区域位置信息是否符合题目开始和结束的特征，以及通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域；

步骤6：使用题目检测模型，检测每一道题的区域，得到候选题目区域位置信息；

步骤7：结合步骤5和步骤6划分的区域位置信息，通过计算两区域的交集得到高置信度的题目区域，此为最终的划分每一道题的区域。

进一步的，所述步骤1输入程序并对该图片进行特定的初步预处理操作，具体为：

步骤1-1：将输入图片进行灰度化处理；

步骤1-2：通过锐化算法重新计算得到每个像素点的值，权重参数视实际情况而定；

步骤1-3：将图片压缩重新并调整图片大小到合适范围，提高后续操作速度。

进一步的，所述步骤2获取具有只剩试卷的部分且文字内容方向端正的二值图片，具体为：

步骤2-1：通过对步骤1处理得到的图片输入经过特定训练好的显著物体检测网络模型中，区分出背景区域和试卷区域；所述显著物体检测网络模型不限于UNet、U2Net、PSENet模型；

步骤2-2：对于经过显著物体检测网络模型得到的背景与试卷的二值图片，在没有任何干扰的情况下利用边缘检测算法，获取得到试卷区域的坐标信息,所记录信息为该区域；

步骤2-3：将所述试卷坐标信息作用于拍摄原图，对该区域进行仿射变换和透视变换，得到矫正后矩形的试卷区域；

步骤2-4：对上述得到的试卷区域图片进行二值化操作，即对于每一个像素点的二值化阈值，分别乘与一个相应系数得到新的二值化阈值；

步骤2-5：对所述二值化操作后的图片进行文本水平矫正，即通过反射算法矫正整体文字角度，对图片进行填充，得到所述具有只剩试卷的部分且文字内容方向端正的二值图片。

进一步的，所述步骤3的文本检测算法模型包括但不限于DBNet、SAST、EAST网络模型，通过文本检测算法模型预测得到每一个文本句词在图像中的区域位置信息，并使用坐标组形式表示该位置，坐标组形式不限于使用以下表示方法：矩形框的四角坐标(x0,y0)、左上角像素坐标(top_lx,top_ly)加右下角像素坐标(bottom_rx,bottom_ry)、左上角像素坐标(top_lx,top_ly)加水平方向框的长度(width)和垂直方向框的长度(height)、矩形框中心点像素坐标(center_x,center_y)加水平方向框的长度(width)和垂直方向框的长度(height)。

进一步的，所述步骤4的文本识别模型算法包括但不限于使用CRNN、STAR-Net、CharNet。

进一步的，所述步骤5题目开始和结束的特征的位置特征为：题目开始的文本区域位置矩形的左上角像素为最左端的敏感区域范围，同时其上下的多个文本区域位置矩形左上角像素位置仅次于最左端。

进一步的，所述步骤5分析文本区域位置信息是否符合题目开始和结束的特征分析方法为：

步骤5-1，遍历每一个文本区域位置矩形的左上角像素水平坐标xi；

步骤5-2，求得最左端的水平位置xmin；

步骤5-3，计算最左端敏感区域范围，所有文本区域位置矩形的左上角像素水平坐标处于该敏感区域范围内的则认为是候选题目的题干区域信息；

步骤5-4，遍历每一个文本区域位置矩形的左上角像素水平坐标yi，并从小到大排序，在步骤5.1.3 中得到候选题目的题干，判断其上下的多个文本区域位置矩形左上角像素位置仅次于最左端，符合条件的组成新的候选题目的题干区域信息。

进一步的，所述步骤5通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域，所述题号特征包括但不限于以下特征：阿拉伯数字1、2、3……、带括号的阿拉伯数字(1)、(2)、 (3)……、中文一、二、三……等形式的题号类型。

进一步的，所述步骤6使用题目检测模型，检测每一道题的区域，输入数据是步骤2得到的二值图片，输出预测值为候选题目区域位置信息que_area2，检测模型包括但不限于YOLO系列模型、R-CNN、Fast R-CNN检测模型。

进一步的，所述步骤7结合步骤5和步骤6划分的区域位置信息，通过计算两区域的交集得到高置信度的题目区域，此为最终的划分每一道题的区域，所述区域交集重合度为：

A设为步骤5得到的区域位置信息，B设为步骤6得到的区域位置信息。

本发明的有益效果是：

1.方法完整，使用的模型算法都能够进行快速预测，大大提高处理速度。

2.鲁棒性高，能应对许多情况下拍摄的图片进行处理，并拥有很高的精度。

3.针对平时的练习个人可以普遍使用，不需要特定的扫描仪器，不需要特定的试卷结构，节省成本。

4.对于普遍的试卷、辅导资料的题目，本切题后的识别数据还可以将真实试卷数字化，从而进行题目规范化存储与再利用。

5.自动智能批阅前一个步骤，可以大大提高自动智能批阅的准确率。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的方法流程图。

图2是本发明实施例中步骤2方法流程图。

图3是本发明实施例中步骤6的选择题模型结构特征图。

图4是本发明实施例中步骤6的填空题模型结构特征图。

具体实施方式

如图1所示，本发明提供了一种用于普遍试卷题目的智能切题方法，包括以下步骤：

步骤1：使用拍摄设备拍取一张试卷或辅导资料的图片,输入程序并对该图片进行特定的初步预处理操作；

步骤2：通过对图片进行操作，获取具有只剩试卷的部分且文字内容方向端正的二值图片；

步骤3：利用文本检测算法模型检测文本区域，同时获取每一个文本区域在图像中位置信息；

步骤4：对于检测到的文本区域利用文本识别算法快速识别出文本内容；

步骤5：分析文本区域位置信息是否符合题目开始和结束的特征，以及通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域；

步骤6：使用题目检测模型，检测每一道题的区域，得到候选题目区域位置信息；

步骤7：结合步骤5和步骤6划分的区域位置信息，通过计算两区域的交集得到高置信度的题目区域，此为最终的划分每一道题的区域。

以上各个步骤的具体实现方法及其原理是：

在步骤1中，所诉使用拍摄设备拍取一张试卷或辅导资料的图片，输入程序并对该图片进行特定的初步预处理操作。需要把用户拍摄图片不规范且不统一的图片进行规范化，同时进行使得试卷轮廓更加明显的加深噪点操作。

步骤1.1：将输入图片进行灰度化处理。

步骤1.2：通过锐化算法重新计算得到每个像素点的值，权重参数视实际情况而定。

步骤1.3：将图片压缩重新并调整图片大小到合适范围，提高后续操作速度。

在步骤2中，获取具有只剩试卷的部分且文字内容方向端正的二值图片(流程图如图二所示)：

2.1进一步的，通过对步骤1处理得到的图片输入经过特定训练好的显著物体检测网络模型中，区分出背景区域和试卷区域。本方法不同于以往的通过传统轮廓检测算法进行区分试卷区域和背景区域，使用更加广泛容错率更高的机器学习模型针对多样的情况。

显著物体检测网络模型不限于UNet、U2Net、PSENet等模型，模型训练数据集是经过数据合成并增强的图片集，数据合成与数据增强方法如下：

2.1.1准备全景的试卷图片集，准备任意内容空白的背景图片集。

2.1.2将随机试卷图片嵌入随机背景图片，

2.1.3嵌入时随机对一部分试卷图片进行一些适度旋转、透视操作得到更多样的数据。

针对本方法使用改进版的U2Net、可以从提高速度、应对我们的场景做一些调整。

2.2进一步地，对于经过显著物体检测模型得到的背景与试卷的二值图片，在没有任何干扰的情况下利用边缘检测算法，获取得到试卷区域的信息,所记录信息为该区域。

2.3进一步地，将该试卷坐标信息作用于拍摄原图，对该区域进行仿射变换和透视变换，得到矫正后矩形的试卷区域，由于一般情况下经过该操作还是会出现一些背景区域，加上试卷本身边缘四周没有文字的敏感信息，因此对该矫正后矩形的试卷区域图片去掉四周边缘的一部分：以图片中心点(x0,y0)为参考点，图片大小为(width,height)，去掉区域系数为wi，hi(系数经过实验而定)，操作选取图片区域四角坐标为:

top_left:(wi*width，hi*height)

top_right:(2x0-wi*width，hi*height)

bottom_left:(wi*width，2y0-hi*height)

bottom_right:(2x0-wi*width，2y0-hi*height)

图片大小为:(width-2*wi*width，height–2*hi*height)

2.4进一步地，对上述得到的试卷区域图片进行二值化操作，本方法使用本项目中改进后的自适应二值化算法，。对于每一个像素点的二值化阈值，分别乘与一个相应系数得到新的二值化阈值，经过多次实验结果，该系数为0.9时效果最佳(该系数不为固定值)，可以解决由于试卷的空白区域较多，试卷的背面会出现文字造成更多的噪点的问题。

2.5进一步地，对上诉二值化后的图片进行文本水平矫正算法，即反射算法，矫正整体文字角度，对图片进行填充。得到所诉步骤2中具有只剩试卷的部分且文字内容方向端正的二值图片.

在步骤3中，利用文字检测算法模型检测文本区域，同时获取每一个文本区域在图像中位置信息。上述文本检测模型不局限于使用DBNet、SAST、EAST等网络模型，通过文本检测模型预测得到每一个文本句词在图像中的区域位置信息(不局限于能够表达文本区域位置的记录方式)并使用坐标组形式表示该位置。坐标组形式不限于使用以下表示方法：矩形框的四角坐标(x₀,y₀)、左上角像素坐标(top_lx,top_ly)加右下角像素坐标(bottom_rx,bottom_ry)、左上角像素坐标(top_lx,top_ly)加水平方向框的长度(width) 和垂直方向框的长度(height)、矩形框中心点像素坐标(center_x,center_y)加水平方向框的长度(width) 和垂直方向框的长度(height)。

在步骤4中，对于检测到的文本区域利用文本识别模型算法快速识别出文本内容。文本识别模型算法不局限于使用CRNN、STAR-Net、CharNet等。将步骤3得到的每一文本区域位置信息在原图中获取该区域作为文本识别模型算法的输入，经过快速计算得到文本内容，即将图片信息转化成对应的文本信息。将文本内容和步骤3的文本区域信息相关联，用于后续操作。

在步骤5中，分析文本区域位置信息是否符合题目开始和结束的特征，题目开始和结束的特征的位置特征为：题目开始的文本区域位置矩形的左上角像素为最左端的敏感区域范围，同时其上下的多个文本区域位置矩形左上角像素位置仅次于最左端。

分析方法如下：

步骤5.1.1，遍历每一个文本区域位置矩形的左上角像素水平坐标x_i。

步骤5.1.2，求的最左端的水平位置x_min。

步骤5.1.3，计算最左端敏感区域范围，所有文本区域位置矩形的左上角像素水平坐标处于该敏感区域范围内的则认为是候选题目的题干区域信息。

步骤5.1.4，遍历每一个文本区域位置矩形的左上角像素水平坐标y_i并从小到大排序。在步骤5.1.3 中得到候题目的题干，判断其上下的多个文本区域位置矩形左上角像素位置仅次于最左端，符合条件的组成新的候选题目的题干区域信息。

进一步的，在步骤5中，通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域。题号特征包括但不限于以下特征：阿拉伯数字1、2、3……、带括号的阿拉伯数字(1)、(2)、 (3)……、中文一、二、三……等形式的题号类型。

进一步的，输入数据为上述5.1.4得到的候选题目的题干区域所对应的文本。考虑到同时对于一些题目中存在包含关系，配合符合上诉正则表达式匹配的文本。最终输出该步骤得到的候选题目区域位置信息组que_area1。

在步骤6中，使用题目检测模型，检测每一道题的区域。输入数据是步骤2得到的二值图片，输出预测值为候选题目区域位置信息que_area2。检测模型不限于YOLO系列模型、R-CNN、Fast R-CNN等检测模型，检测的通用内容结构特征如下所示：

1.选择题：题目题干信息顶格，选项项分为四个小块，如图3所示。

2.填空题：填空区域造成的文本短截，如图4所示。

3.主观题：文本段到文本段存在大量空白区域。

所检测的内容结构包括但不限于通用的题目结构特征，可以针对不同题目，不同科目来训练检测多样的题目结构特征。

在步骤7中，结合步骤5和步骤6划分的区域位置信息组que_area1，que_area2，通过计算两区域的交集重合度得到高置信度的题目区域，此为最终的划分每一道题的区域位置信息。

其中A设为步骤5得到的区域位置信息，B设为步骤6得到的区域位置信息。具体计算如下,得到接 iou即为区域交集重合度:

设位置信息表示为box:[top_lx,top_ly,bottom_rx,bottom_ry]

in_h＝min(box1[3],box2[3])-max(box1[1],box2[1])

in_w＝min(box1[2],box2[2])-max(box1[0],box2[0])

inter_area＝0 if in_h<0 or in_w<0 else in_h*in_w

union_area＝(box1[3]-box1[1])*(box1[2]-box1[0])+\

(box2[3]-box2[1])*(box2[2]-box2[0])-inter_area

iou＝inter_area/union_area

进一步的，得到高置信度的题目区域，作为最终的划分每一道题的区域。设重合度阈值contact_th (视实验结果而定)，当重合度小于contact_th时，则认为不匹配，保留步骤5的划分区域信息。当重合度大于contact_th时，则认为匹配，结合步骤6的区域信息修改步骤5的划分区域信息。修改规则如下将步骤5的划分区域信息的上下界改为步骤6的。得到最终的每一题目区域位置信息。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种用于普遍试卷题目的智能切题方法，其特征在于，包括以下步骤：

步骤1：使用拍摄设备拍取一张试卷或辅导资料的图片,输入程序并对该图片进行特定的初步预处理操作；

步骤2：通过对图片进行操作，获取具有只剩试卷的部分且文字内容方向端正的二值图片；

步骤3：利用文本检测算法模型检测文本区域，同时获取每一个文本区域在图像中位置信息；

步骤4：对于检测到的文本区域利用文本识别算法快速识别出文本内容；

步骤5：分析文本区域位置信息是否符合题目开始和结束的特征，以及通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域；

步骤6：使用题目检测模型，检测每一道题的区域，得到候选题目区域位置信息；

步骤7：结合步骤5和步骤6划分的区域位置信息，通过计算两区域的交集得到高置信度的题目区域，此为最终的划分每一道题的区域。

2.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于，所述步骤1输入程序并对该图片进行特定的初步预处理操作，具体为：

步骤1-1：将输入图片进行灰度化处理；

步骤1-2：通过锐化算法重新计算得到每个像素点的值，权重参数视实际情况而定；

步骤1-3：将图片压缩重新并调整图片大小到合适范围，提高后续操作速度。

3.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于，所述步骤2获取具有只剩试卷的部分且文字内容方向端正的二值图片，具体为：

步骤2-1：通过对步骤1处理得到的图片输入经过特定训练好的显著物体检测网络模型中，区分出背景区域和试卷区域；所述显著物体检测网络模型不限于UNet、U2Net、PSENet模型；

步骤2-2：对于经过显著物体检测网络模型得到的背景与试卷的二值图片，在没有任何干扰的情况下利用边缘检测算法，获取得到试卷区域的坐标信息,所记录信息为该区域；

步骤2-3：将所述试卷坐标信息作用于拍摄原图，对该区域进行仿射变换和透视变换，得到矫正后矩形的试卷区域；

步骤2-4：对上述得到的试卷区域图片进行二值化操作，即对于每一个像素点的二值化阈值，分别乘与一个相应系数得到新的二值化阈值；

步骤2-5：对所述二值化操作后的图片进行文本水平矫正，即通过反射算法矫正整体文字角度，对图片进行填充，得到所述具有只剩试卷的部分且文字内容方向端正的二值图片。

4.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤3的文本检测算法模型包括但不限于DBNet、SAST、EAST网络模型，通过文本检测算法模型预测得到每一个文本句词在图像中的区域位置信息，并使用坐标组形式表示该位置，坐标组形式不限于使用以下表示方法：矩形框的四角坐标(x0,y0)、左上角像素坐标(top_lx,top_ly)加右下角像素坐标(bottom_rx,bottom_ry)、左上角像素坐标(top_lx,top_ly)加水平方向框的长度(width)和垂直方向框的长度(height)、矩形框中心点像素坐标(center_x,center_y)加水平方向框的长度(width)和垂直方向框的长度(height)。

5.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤4的文本识别模型算法包括但不限于使用CRNN、STAR-Net、CharNet。

6.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤5题目开始和结束的特征的位置特征为：题目开始的文本区域位置矩形的左上角像素为最左端的敏感区域范围，同时其上下的多个文本区域位置矩形左上角像素位置仅次于最左端。

7.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤5分析文本区域位置信息是否符合题目开始和结束的特征分析方法为：

步骤5-1，遍历每一个文本区域位置矩形的左上角像素水平坐标xi；

步骤5-2，求得最左端的水平位置xmin；

步骤5-3，计算最左端敏感区域范围，所有文本区域位置矩形的左上角像素水平坐标处于该敏感区域范围内的则认为是候选题目的题干区域信息；

步骤5-4，遍历每一个文本区域位置矩形的左上角像素水平坐标yi，并从小到大排序，在步骤5.1.3中得到候选题目的题干，判断其上下的多个文本区域位置矩形左上角像素位置仅次于最左端，符合条件的组成新的候选题目的题干区域信息。

8.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤5通过正则表达式匹配文本开头为具有题号特征的文本区域，得到首次划分题目区域，所述题号特征包括但不限于以下特征：阿拉伯数字1、2、3……、带括号的阿拉伯数字(1)、(2)、(3)……、中文一、二、三……等形式的题号类型。

9.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤6使用题目检测模型，检测每一道题的区域，输入数据是步骤2得到的二值图片，输出预测值为候选题目区域位置信息que_area2，检测模型包括但不限于YOLO系列模型、R-CNN、FastR-CNN检测模型。

10.如权利要求1所述的一种用于普遍试卷题目的智能切题方法，其特征在于：所述步骤7结合步骤5和步骤6划分的区域位置信息，通过计算两区域的交集得到高置信度的题目区域，此为最终的划分每一道题的区域，所述区域交集重合度为：

A设为步骤5得到的区域位置信息，B设为步骤6得到的区域位置信息。

Images