CN110110714A - 一种纸质作业的线上自动批改方法及系统 - Google Patents

Abstract

本发明公开了一种纸质作业的线上自动批改方法，包括获取待批改纸质作业图片；对待批改纸质作业图片进行特征提取；基于特征提取得到的特征点信息在数据库中匹配与待批改纸质作业图片相匹配的参考图片，得到匹配信息；基于匹配信息对待批改纸质作业图片进行矫正；对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；提取题目图片中的答案区域；对答案区域进行识别和比对；将比对结果返回前端进行显示。本发明能够实现整页纸质作业的线上自动批改，并将批改结果返回给用户进行查阅和进一步学习，批改效率高，批改结果准确。本发明还公开了一种纸质作业的线上自动批改系统，同样能够实现上述技术效果。

Description

一种纸质作业的线上自动批改方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种纸质作业的线上自动批改方法及系统。

背景技术

学生纸质作业的批改一直都很花时间，家长、学生和老师在批改或检查作业上都会花费大量的时间，而且效果也不理想。家长在检查作业上会存在时间冲突，知识欠缺等特点；而老师在检查作业上会存在大量的重复劳动。目前，市面上已经出现多款搜索题目类的软件，但大部分软件都只能一次搜索一题，而且不能进行线上自动批改。

因此，如何实现学生纸质作业的整页自动批改，是目前亟待解决的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种纸质作业的线上自动批改方法及系统，有效解决了现有技术中题目搜索软件一次只能搜索一题，而且不能进行线上自动批改的问题。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种纸质作业的线上自动批改方法，所述方法包括如下步骤：

S1，获取待批改纸质作业图片；

S2，对所述待批改纸质作业图片进行特征提取；

S3，基于特征提取得到的特征点信息在数据库中匹配与所述待批改纸质作业图片相匹配的参考图片，得到匹配信息；

S4，基于匹配信息对所述待批改纸质作业图片进行矫正；

S5，对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；

S6，提取所述题目图片中的答案区域；

S7，对所述答案区域进行识别和比对；

S8，将比对结果返回前端进行显示。

优选地，所述步骤S1包括：

S11，获取用户通过安装有相应的作业批改APP的智能终端拍摄的待批改纸质作业图片；

S12，对所述待批改纸质作业图片进行质量检查；

S13，将质量检查合格的所述待批改纸质作业图片进行上传。

优选地，所述步骤S3包括：

S31，通过广播方式将所述待批改纸质作业图片的特征点信息发送到服务器集群中的每一台粗筛服务器；

S32，每一台粗筛服务器同时并行将所述待批改纸质作业图片的特征点信息与所述数据库中各自被预先分配的参考图片的特征点数据进行初步匹配，得到与所述待批改纸质作业图片的特征点的匹配度TopM的粗匹配参考图片，其中，M为正整数；

S33，每一台粗筛服务器上报初步匹配结果；

S34，将所有粗筛服务器上报的初步匹配结果进行汇总得到与所述待批改纸质作业图片的特征点的匹配度TopN的粗匹配参考图片并返回汇总结果，其中，N为正整数，且N>M；

S35，将所述待批改纸质作业图片的特征点信息发送到服务器集群中的每一台细筛服务器，同时将所述汇总结果中TopN的粗匹配参考图片按照预设的分配规则发送到服务器集群中的每一台细筛服务器；

S36，每一台细筛服务器并行计算所述TopN的粗匹配参考图片中的每一张粗匹配参考图片与所述待批改纸质作业图片之间的特征点有效匹配的个数并进行评分，其中，特征点的匹配采用欧氏距离进行计算；

S37，基于每一张粗匹配参考图片的分值与预设分值阈值判断每一张粗匹配参考图片是否正确匹配。

优选地，所述步骤S37中，预设分值阈值设置为1000，当所述粗匹配参考图片的评分分值大于1000时，则判断该粗匹配看考图片与所述待批改纸质作业图片匹配正确，否则判断为匹配失败。

优选地，所述步骤S4包括：

S41，基于所述匹配信息提取所述待批改纸质作业图片与所述参考图片中匹配正确的特征点，基于所述匹配正确的特征点创建初始匹配点对集；

S42，基于所述初始匹配点对集中的特征点的匹配关系，计算最佳单应矩阵；

S43，基于所述最佳单应矩阵将所述待批改纸质作业图片进行矫正。

优选地，所述步骤S42包括：

基于所述初始匹配点对集中的特征点的匹配关系，采用RANSAC算法估计待矫正图片与参考图片之间的最佳单应矩阵，其中，所述最佳单应矩阵的估算步骤如下：

Sa，从初始匹配点对集中随机选取4n对特征点作为内点集，估计初始单应矩阵，其中，n为正整数；

Sb，用初始单应矩阵去测试初始匹配点对集中所有剩余的匹配点对，如果某个点对的投影误差小于预设的投影误差阈值，则将该点对加入内点集；

Sc，如果内点集中的内点数量小于预设的内点数量阈值，则转到步骤Sa重新选择样本估计初始单应矩阵，否则用内点集重新估计初始单应矩阵，并通过投影误差来评估初始单应矩阵；

Sd，重复步骤Sa~Sc，直到迭代次数大于预设的迭代次数阈值，得到所述最佳单应矩阵。

优选地，所述步骤S5包括：

S51，获取所述数据库中与所述待批改纸质作业图片相匹配的参考图片的切割位置信息；

S52，基于所述切割位置信息对校正后的待批改纸质作业图片中存在的题目区域进行切割，生成相应的题目图片。

优选地，所述步骤S2中特征提取过程采用SURF特征提取算法结合硬件加速技术实现。

根据本发明的一个方面，本发明还提供了一种纸质作业的线上自动批改系统，所述系统包括：

图片获取模块，用于获取待批改纸质作业图片；

特征提取模块，用于对所述待批改纸质作业图片进行特征提取；

图片匹配模块，用于基于特征提取得到的特征点信息在数据库中匹配与所述待批改纸质作业图片相匹配的参考图片，得到匹配信息；

图片矫正模块，用于基于匹配信息对所述待批改纸质作业图片进行矫正；

图片切割模块，用于对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；

答案提取模块，用于提取所述题目图片中的答案区域；

答案处理模块，对所述答案区域进行识别和比对；

结果返回模块，用于将比对结果返回前端进行显示。

优选地，所述图片获取模块包括：

图片获取单元，用于获取用户通过安装有相应的作业批改APP的智能终端拍摄的待批改纸质作业图片；

图片检查单元，用于对所述待批改纸质作业图片进行质量检查；

图片上传单元，用于将质量检查合格的所述待批改纸质作业图片进行上传。

由以上方案可知，本发明提供了一种纸质作业的线上自动批改方法及系统，方法包括获取待批改纸质作业图片；对所述待批改纸质作业图片进行特征提取；基于特征提取得到的特征点信息在数据库中匹配与所述待批改纸质作业图片相匹配的参考图片，得到匹配信息；基于匹配信息对所述待批改纸质作业图片进行矫正；对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；提取所述题目图片中的答案区域；对所述答案区域进行识别和比对；将比对结果返回前端进行显示。本发明能够实现整页纸质作业的线上自动批改，并将批改结果返回给用户进行查阅和进一步学习，批改效率高，批改结果准确，改变了现有一次只能搜索一题的，搜索效率低的问题，且解决了现有搜索只能给出近似答案，不能对纸质作业进行线上批改的问题。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中纸质作业的线上自动批改方法的流程示意图；

图2是本发明一种优选实施方式中纸质作业的线上自动批改系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

根据本发明的一个方面，本发明提供了一种纸质作业的线上自动批改方法，如图1所示，所述方法包括如下步骤：

S1，获取待批改纸质作业图片；

在对纸质作业进行线上批改时，首先首要获取到待批改纸质作业图片。该待批改纸质作业图片具体已经做好需要进行批改的纸质作业的某一页的照片。可以通过对纸质作业进行拍照得到。

S2，对待批改纸质作业图片进行特征提取；

获取到待批改纸质作业图片后，需要通过特征提取算法提取该图片的特征点。

在本实施例中，特征提取算法的程序有一部分代码是使用CUDA实现，有一部分代码是使用OpenCL实现。在处理流程中，图片的前期处理，如旋转，二值化操作是使用OpenCV+CUDA实现，为了加速计算，OpenCV中可以使用CUDA加速计算，使用的是Transparent API，直接将加速计算底层调用封装，程序改动较小。在提取特征操作中，使用OpenCL，编写C++和OpenCL代码，提取相应特征点。通过使用硬件加速技术进行图片特征点的提取，可以将整个特征点提取计算时间控制在50毫秒以内，如果不使用硬件加速计算（一般使用CPU）则大概会在1－2秒。在具体实施时，每一张图的特征点的个数控制在5000个左右，因为太少会影响匹配的准确率，太多会影响匹配的速度，为了控制在5000个左右，设置了对应的参数值，如SURF特征提取时，其中一个重要的参数为hessian阈值，这个值设置为1000。实验证明，通过上述设置有效提高了图片特征点的提取速度以及后续的特征点匹配的准确率。

具体通过现有的特征提取算法对待矫正图片进行特征点的提取。例如ORB（Oriented FAST and Rotated BRIEF）特征提取算法，它采用改进的FAST关键点检测方法，使其具有方向性，并采用具有旋转不变性的BRIEF特征描述子。FAST和BRIEF都是非常快速的特征计算方法，因此ORB具有非同一般的性能优势。又如SURF（Speeded Up RobustFeatures）特征提取算法。SURF在光照变化和视角变化不变性方面的性能接近SIFT算法，尤其对图像严重模糊和旋转处理得非常好。且标准的SURF算子比SIFT算子快好几倍，SURF算法最大的特征在于采用了harr特征以及积分图像的概念，这大大加快了程序的运行速度。通过现有的特征提取算法提取图片的特征点属于现有技术，在此不再赘述。

S3，基于特征提取得到的特征点信息在数据库中匹配与待批改纸质作业图片相匹配的参考图片，得到匹配信息；

提取到待批改纸质作业图片的特征点后，则根据该特征点信息在数据库中找到与该待批改纸质作业图片相匹配的参考图片，从而确定两者之间的匹配信息。

在本实施例中，数据库中预先存储有海量的作业书本的未作答的页面扫描件，同时也存储有通过一定规则编写好的与上述海量的作业书本内的题目相对应参考答案以及对应答题区域的坐标信息。上述与待批改纸质作业图片相匹配的参考图片是指该待批改纸质作业图片所在页面的未作答的扫描件。

S4，基于匹配信息对待批改纸质作业图片进行矫正；

获取到待批改纸质作业图片和与其相匹配的参考图片的匹配信息后，根据该匹配信息以各个题目信息在参考图片中的位置为矫正的参照标准，对待批改纸质作业图片进行矫正。

由于用户拍摄的纸质作业的图片会存在表面变形、分辨率过低、光照不均等情况，因此需要对获取到的待批改纸质作业图片进行矫正，从而保证后续的图片切割和识别的准确性。

S5，对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；

待批改纸质作业图片被矫正后，需要对该图片进行以单个题目为单位进行图片切割。便于对待批改纸质作业图片上的每一个题目进行单独识别（包括题目识别和答案识别）和答案比对（即批改）。

S6，提取题目图片中的答案区域；

将待批改纸质作业图片分割成一张张单个题目的图片后，则需要通过预设的答案提取规则对每道题目中用户做的答案提取出来，便于后续的答案识别和比对。

具体地，提取答案区域的规则为根据题目中答案区域的信息，针对不同类型的答案区域，使用不同的提取方案，保证答案区域提取为最优，尽量不包含其它干扰区域。

具体地，不同类型的答案区域主要包括以下几种：括号、横线、矩形框、圆形、表格，针对这几种类型的答案区域，做了不同处理，具体处理方法如下：

括号：提取括号内的区域，以左右为边界，以一个(20,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域；

横线：使用houghlines算法找出最下边的那条直线， 去掉直线后以左右为边界，以一个(20,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域；

圆形：使用houghcircle算法找出圆， 去掉圆后以左右上下为边界，以一个(5,5)为核做一个膨胀操作，然后在圆心区域取一个最大的连通域；

矩形框：使用houghlines算法找出最四条直线，去掉直线后以左右上下为边界，以一个(5,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域；

表格：使用houghlines算法找出表格直线，根据直线找到对应的交叉点，取四个交叉点内的区域为边界，以一个(5,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域。

其它答案区域的处理方法在此不在一一叙述。

大量试验证明，通过上述处理方法提取的题目图片中的答案区域精度高，效果好，能够有效保证后续的答案识别和比对的准确性。

S7，对答案区域进行识别和比对；

提取到每道题的答案区域后，则对提取的答案区域的信息进行识别，同时将识别出来的答案与数据库中预先存储的对应题目的答案进行比对，生成比对结果，实现纸质作业的在线批改。

具体地，对提取出来的答案区域，采用基于深度学习的识别系统，对其中常见的数学符号、数字、字母等进行识别，对题目进行批改。

答案区域识别使用的是深度学习中的CNN（卷积神经网络）模型，具体使用的是ResNet-18(即使用的18层的残差网络)，CNN模型由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC，深度学习的核心是卷积和池化。

在本实施方式中，深度学习的识别系统yolo v3这个物体识别框架， 使用的是keras框架实现的yolo v3，在准确率和速度上都有很大的提升，对一张100*200像素的图片，识别准确率大于99%，识别速度小于10ms。

S8，将比对结果返回前端进行显示。

最后需要将比对结果（即作业的批改结果）返回到安装有相应APP手机智能终端上进行显示。用户在APP上根据识别结果可以对本次作业进行相应评估，并可以将认为重要的题目进行收集。

在本实施方式中，步骤S1包括：

S11，获取用户通过安装有相应的作业批改APP的智能终端拍摄的待批改纸质作业图片；

用户在需要进行作业线上批改时，首先需要通过安装有相应的作业批改APP的智能终端拍摄待批改纸质作业图片。

具体地，用户拍照时，会提示用户拍照的方式，尽量水平拍摄，一次拍摄整页；拍照前会自动调手机的自动对焦功能，当用户点选区域后，会强制进行对焦。

S12，对待批改纸质作业图片进行质量检查；

由于拍摄的图片效果可能存在质量问题，因此需要对用户拍摄的照片进行质量检查，对质量不合格（如模糊）的图片提示重新拍摄。照片的质量检查具体使用opencv中的akaze特征点检测，当特征点小于50个时，即判断为模糊不合格。

S13，将质量检查合格的待批改纸质作业图片进行上传。

将检查合格的待批改纸质作业图片上传至服务器。具体使用使用阿里云的OSS上传开发包进行上传，提升上传速度。

在本实施方式中，步骤S3包括：

S31，通过广播方式将待批改纸质作业图片的特征点信息发送到服务器集群中的每一台粗筛服务器；

S32，每一台粗筛服务器同时并行将待批改纸质作业图片的特征点信息与数据库中各自被预先分配的参考图片的特征点数据进行初步匹配，得到与待批改纸质作业图片的特征点的匹配度TopM的粗匹配参考图片，其中，M为正整数；

S33，每一台粗筛服务器上报初步匹配结果；

S34，将所有粗筛服务器上报的初步匹配结果进行汇总得到与待批改纸质作业图片的特征点的匹配度TopN的粗匹配参考图片并返回汇总结果，其中，N为正整数，且N>M；

S35，将待批改纸质作业图片的特征点信息发送到服务器集群中的每一台细筛服务器，同时将汇总结果中TopN的粗匹配参考图片按照预设的分配规则发送到服务器集群中的每一台细筛服务器；

上述预设的分配规则具体可以是将TopN的匹配样本图片平均分配到每一台细筛服务器进行精确匹配，或者可以是将TopN的匹配样本图片按照每一台细筛服务器的数据处理性能的高低不均匀地分配到每一台细筛服务器进行精确匹配。

S36，每一台细筛服务器并行计算TopN的粗匹配参考图片中的每一张粗匹配参考图片与待批改纸质作业图片之间的特征点有效匹配的个数并进行评分，其中，特征点的匹配采用欧氏距离进行计算；

S37，基于每一张粗匹配参考图片的分值与预设分值阈值判断每一张粗匹配参考图片是否正确匹配。

在本实施方式中，服务集群中采用N/M台粗筛服务器，将粗筛匹配计算平均分配到每一台服务器上运行，有效提升匹配速度。具体地，N取值可以为20，如果使用4台粗筛服务器进行粗筛匹配，则M取值为5，即每台粗筛服务器的粗筛匹配取匹配度排前5的参考图片，总共取前匹配度排前20的参考图片进行后续的精确匹配。当然M和N的取值可以根据实际情况进行其它不同的设置。为了解决集群传输问题，集成了基于SOCKET通信的传输库，将传输速度趋近于物理最大传输速度。服务器集群调度流程采用先广播到每一台服务器上，每一台服务器运行完成后，再将数据汇报到调度服务器。具体地，粗筛采用CPU处理，细筛采用GPU进行硬件加速处理。通过上述设置，细筛匹配过程能够控制在300ms以内，主要通过硬件加速和控制细筛匹配的图片总数（即N的值），通过大量实验测到N在20以内时，匹配精度和匹配时间能够达到一个最优的平衡状态。

在本实施方式中，步骤S37中，预设分值阈值设置为1000，当粗匹配参考图片的评分分值大于1000时，则判断该粗匹配看考图片与待批改纸质作业图片匹配正确，否则判断为匹配失败。

在本实施方式中，步骤S4包括：

S41，基于匹配信息提取待批改纸质作业图片与参考图片中匹配正确的特征点，基于匹配正确的特征点创建初始匹配点对集；

S42，基于初始匹配点对集中的特征点的匹配关系，计算最佳单应矩阵；

S43，基于最佳单应矩阵将待批改纸质作业图片进行矫正。

在本实施方式中，步骤S42包括：

基于初始匹配点对集中的特征点的匹配关系，采用RANSAC算法估计待矫正图片与参考图片之间的最佳单应矩阵，其中，最佳单应矩阵的估算步骤如下：

Sa，从初始匹配点对集中随机选取4n对特征点作为内点集，估计初始单应矩阵，其中，n为正整数；

Sb，用初始单应矩阵去测试初始匹配点对集中所有剩余的匹配点对，如果某个点对的投影误差小于预设的投影误差阈值，则将该点对加入内点集；

Sc，如果内点集中的内点数量小于预设的内点数量阈值，则转到步骤Sa重新选择样本估计初始单应矩阵，否则用内点集重新估计初始单应矩阵，并通过投影误差来评估初始单应矩阵；

Sd，重复步骤Sa~Sc，直到迭代次数大于预设的迭代次数阈值，得到最佳单应矩阵。

在本实施方式总，步骤S5包括：

S51，获取数据库中与待批改纸质作业图片相匹配的参考图片的切割位置信息；

S52，基于切割位置信息对校正后的待批改纸质作业图片中存在的题目区域进行切割，生成相应的题目图片。

在本实施方式中，步骤S2中特征提取过程采用SURF特征提取算法结合硬件加速技术实现。

由以上方案可知，本发明提供了一种纸质作业的线上自动批改方法，首先获取待批改纸质作业图片；对待批改纸质作业图片进行特征提取；然后基于特征提取得到的特征点信息在数据库中匹配与待批改纸质作业图片相匹配的参考图片，得到匹配信息；接着基于匹配信息对待批改纸质作业图片进行矫正；对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；接着提取题目图片中的答案区域；进而对答案区域进行识别和比对；最后将比对结果返回前端进行显示。本发明能够实现整页纸质作业的线上自动批改，并将批改结果返回给用户进行查阅和进一步学习，批改效率高，批改结果准确，改变了现有一次只能搜索一题的，搜索效率低的问题，且解决了现有搜索只能给出近似答案，不能对纸质作业进行线上批改的问题。

根据本发明的一个方面，本发明提供了一种纸质作业的线上自动批改系统，如图2所示，所述系统包括：

图片获取模块201，用于获取待批改纸质作业图片；

在对纸质作业进行线上批改时，首先首要获取到待批改纸质作业图片。该待批改纸质作业图片具体已经做好需要进行批改的纸质作业的某一页的照片。可以通过对纸质作业进行拍照得到。

特征提取模块202，用于对待批改纸质作业图片进行特征提取；

获取到待批改纸质作业图片后，需要通过特征提取算法提取该图片的特征点。

在本实施例中，特征提取算法的程序有一部分代码是使用CUDA实现，有一部分代码是使用OpenCL实现。在处理流程中，图片的前期处理，如旋转，二值化操作是使用OpenCV+CUDA实现，为了加速计算，OpenCV中可以使用CUDA加速计算，使用的是Transparent API，直接将加速计算底层调用封装，程序改动较小。在提取特征操作中，使用OpenCL，编写C++和OpenCL代码，提取相应特征点。通过使用硬件加速技术进行图片特征点的提取，可以将整个特征点提取计算时间控制在50毫秒以内，如果不使用硬件加速计算（一般使用CPU）则大概会在1－2秒。在具体实施时，每一张图的特征点的个数控制在5000个左右，因为太少会影响匹配的准确率，太多会影响匹配的速度，为了控制在5000个左右，设置了对应的参数值，如SURF特征提取时，其中一个重要的参数为hessian阈值，这个值设置为1000。实验证明，通过上述设置有效提高了图片特征点的提取速度以及后续的特征点匹配的准确率。

具体通过现有的特征提取算法对待矫正图片进行特征点的提取。例如ORB（Oriented FAST and Rotated BRIEF）特征提取算法，它采用改进的FAST关键点检测方法，使其具有方向性，并采用具有旋转不变性的BRIEF特征描述子。FAST和BRIEF都是非常快速的特征计算方法，因此ORB具有非同一般的性能优势。又如SURF（Speeded Up RobustFeatures）特征提取算法。SURF在光照变化和视角变化不变性方面的性能接近SIFT算法，尤其对图像严重模糊和旋转处理得非常好。且标准的SURF算子比SIFT算子快好几倍，SURF算法最大的特征在于采用了harr特征以及积分图像的概念，这大大加快了程序的运行速度。通过现有的特征提取算法提取图片的特征点属于现有技术，在此不再赘述。

图片匹配模块203，用于基于特征提取得到的特征点信息在数据库中匹配与待批改纸质作业图片相匹配的参考图片，得到匹配信息；

提取到待批改纸质作业图片的特征点后，则根据该特征点信息在数据库中找到与该待批改纸质作业图片相匹配的参考图片，从而确定两者之间的匹配信息。

在本实施例中，数据库中预先存储有海量的作业书本的未作答的页面扫描件，同时也存储有通过一定规则编写好的与上述海量的作业书本内的题目相对应参考答案。上述与待批改纸质作业图片相匹配的参考图片是指该待批改纸质作业图片所在页面的未作答的扫描件。

图片矫正模块204，用于基于匹配信息对待批改纸质作业图片进行矫正；

获取到待批改纸质作业图片和与其相匹配的参考图片的匹配信息后，根据该匹配信息以各个题目信息在参考图片中的位置为矫正的参照标准，对待批改纸质作业图片进行矫正。

由于用户拍摄的纸质作业的图片会存在表面变形、分辨率过低、光照不均等情况，因此需要对获取到的待批改纸质作业图片进行矫正，从而保证后续的图片切割和识别的准确性。

图片切割模块205，用于对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；

待批改纸质作业图片被矫正后，需要对该图片进行以单个题目为单位进行图片切割。便于对待批改纸质作业图片上的每一个题目进行单独识别（包括题目识别和答案识别）和答案比对（即批改）。

答案提取模块206，用于提取题目图片中的答案区域；

将待批改纸质作业图片分割成一张张单个题目的图片后，则需要通过预设的答案提取规则对每道题目中用户做的答案提取出来，便于后续的答案识别和比对。

具体地，提取答案区域的规则为根据题目中答案区域的信息，针对不同类型的答案区域，使用不同的提取方案，保证答案区域提取为最优，尽量不包含其它干扰区域。

具体地，不同类型的答案区域主要包括以下几种：括号、横线、矩形框、圆形、表格，针对这几种类型的答案区域，做了不同处理，具体处理方法如下：

括号：提取括号内的区域，以左右为边界，以一个(20,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域；

横线：使用houghlines算法找出最下边的那条直线， 去掉直线后以左右为边界，以一个(20,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域；

圆形：使用houghcircle算法找出圆， 去掉圆后以左右上下为边界，以一个(5,5)为核做一个膨胀操作，然后在圆心区域取一个最大的连通域；

矩形框：使用houghlines算法找出最四条直线，去掉直线后以左右上下为边界，以一个(5,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域；

表格：使用houghlines算法找出表格直线，根据直线找到对应的交叉点，取四个交叉点内的区域为边界，以一个(5,5)为核做一个膨胀操作，然后在中心区域取一个最大的连通域。

其它答案区域的处理方法在此不在一一叙述。

大量试验证明，通过上述处理方法提取的题目图片中的答案区域精度高，效果好，能够有效保证后续的答案识别和比对的准确性。

答案处理模块207，对答案区域进行识别和比对；

提取到每道题的答案区域后，则对提取的答案区域的信息进行识别，同时将识别出来的答案与数据库中预先存储的对应题目的答案进行比对，生成比对结果，实现纸质作业的在线批改。

具体地，对提取出来的答案区域，采用基于深度学习的识别系统，对其中常见的数学符号、数字、字母等进行识别，对题目进行批改。

答案区域识别使用的是深度学习中的CNN（卷积神经网络）模型，具体使用的是ResNet-18(即使用的18层的残差网络)，CNN模型由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC，深度学习的核心是卷积和池化。

在本实施方式中，深度学习的识别系统yolo v3这个物体识别框架， 使用的是keras框架实现的yolo v3，在准确率和速度上都有很大的提升，对一张100*200像素的图片，识别准确率大于99%，识别速度小于10ms。

结果返回模块208，用于将比对结果返回前端进行显示。

最后需要将比对结果（即作业的批改结果）返回到安装有相应APP手机智能终端上进行显示。用户在APP上根据识别结果可以对本次作业进行相应评估，并可以将认为重要的题目进行收集。

在本实施方式中，图片获取模块201包括：

图片获取单元，用于获取用户通过安装有相应的作业批改APP的智能终端拍摄的待批改纸质作业图片；

用户在需要进行作业线上批改时，首先需要通过安装有相应的作业批改APP的智能终端拍摄待批改纸质作业图片。

具体地，用户拍照时，会提示用户拍照的方式，尽量水平拍摄，一次拍摄整页；拍照前会自动调手机的自动对焦功能，当用户点选区域后，会强制进行对焦。

图片检查单元，用于对待批改纸质作业图片进行质量检查；

由于拍摄的图片效果可能存在质量问题，因此需要对用户拍摄的照片进行质量检查，对质量不合格（如模糊）的图片提示重新拍摄。照片的质量检查具体使用opencv中的akaze特征点检测，当特征点小于50个时，即判断为模糊不合格。

图片上传单元，用于将质量检查合格的待批改纸质作业图片进行上传。

将检查合格的待批改纸质作业图片上传至服务器。具体使用使用阿里云的OSS上传开发包进行上传，提升上传速度。

由以上方案可知，本发明提供了一种纸质作业的线上自动批改系统，首先通过图片获取模块201获取待批改纸质作业图片；通过特征提取模块202对待批改纸质作业图片进行特征提取；然后通过图片匹配模块203基于特征提取得到的特征点信息在数据库中匹配与待批改纸质作业图片相匹配的参考图片，得到匹配信息；接着通过图片矫正模块204基于匹配信息对待批改纸质作业图片进行矫正；接着图片切割模块205对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；通过答案提取模块206提取题目图片中的答案区域；通过答案处理模块207对答案区域进行识别和比对；最后通过结果返回模块208将比对结果返回前端进行显示。本发明能够实现整页纸质作业的线上自动批改，并将批改结果返回给用户进行查阅和进一步学习，批改效率高，批改结果准确，改变了现有一次只能搜索一题的，搜索效率低的问题，且解决了现有搜索只能给出近似答案，不能对纸质作业进行线上批改的问题。

本发明实施例提供的纸质作业的线上自动批改系统，在具体实施时，可以集成于用于数据处理的智能客户端等产品中。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图片匹配的装置和图片的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种纸质作业的线上自动批改方法，其特征在于，包括如下步骤：

S1，获取待批改纸质作业图片；

S2，对所述待批改纸质作业图片进行特征提取；

S3，基于特征提取得到的特征点信息在数据库中匹配与所述待批改纸质作业图片相匹配的参考图片，得到匹配信息；

S4，基于匹配信息对所述待批改纸质作业图片进行矫正；

S5，对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；

S6，提取所述题目图片中的答案区域；

S7，对所述答案区域进行识别和比对；

S8，将比对结果返回前端进行显示。

2.根据权利要求1所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S1包括：

S11，获取用户通过安装有相应的作业批改APP的智能终端拍摄的待批改纸质作业图片；

S12，对所述待批改纸质作业图片进行质量检查；

S13，将质量检查合格的所述待批改纸质作业图片进行上传。

3.根据权利要求1所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S3包括：

S31，通过广播方式将所述待批改纸质作业图片的特征点信息发送到服务器集群中的每一台粗筛服务器；

S32，每一台粗筛服务器同时并行将所述待批改纸质作业图片的特征点信息与所述数据库中各自被预先分配的参考图片的特征点数据进行初步匹配，得到与所述待批改纸质作业图片的特征点的匹配度TopM的粗匹配参考图片，其中，M为正整数；

S33，每一台粗筛服务器上报初步匹配结果；

S34，将所有粗筛服务器上报的初步匹配结果进行汇总得到与所述待批改纸质作业图片的特征点的匹配度TopN的粗匹配参考图片并返回汇总结果，其中，N为正整数，且N>M；

S35，将所述待批改纸质作业图片的特征点信息发送到服务器集群中的每一台细筛服务器，同时将所述汇总结果中TopN的粗匹配参考图片按照预设的分配规则发送到服务器集群中的每一台细筛服务器；

S36，每一台细筛服务器并行计算所述TopN的粗匹配参考图片中的每一张粗匹配参考图片与所述待批改纸质作业图片之间的特征点有效匹配的个数并进行评分，其中，特征点的匹配采用欧氏距离进行计算；

S37，基于每一张粗匹配参考图片的分值与预设分值阈值判断每一张粗匹配参考图片是否正确匹配。

4.根据权利要求3所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S37中，预设分值阈值设置为1000，当所述粗匹配参考图片的评分分值大于1000时，则判断该粗匹配看考图片与所述待批改纸质作业图片匹配正确，否则判断为匹配失败。

5.根据权利要求1所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S4包括：

S41，基于所述匹配信息提取所述待批改纸质作业图片与所述参考图片中匹配正确的特征点，基于所述匹配正确的特征点创建初始匹配点对集；

S42，基于所述初始匹配点对集中的特征点的匹配关系，计算最佳单应矩阵；

S43，基于所述最佳单应矩阵将所述待批改纸质作业图片进行矫正。

6.根据权利要求5所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S42包括：

基于所述初始匹配点对集中的特征点的匹配关系，采用RANSAC算法估计待矫正图片与参考图片之间的最佳单应矩阵，其中，所述最佳单应矩阵的估算步骤如下：

Sa，从初始匹配点对集中随机选取4n对特征点作为内点集，估计初始单应矩阵，其中，n为正整数；

Sb，用初始单应矩阵去测试初始匹配点对集中所有剩余的匹配点对，如果某个点对的投影误差小于预设的投影误差阈值，则将该点对加入内点集；

Sc，如果内点集中的内点数量小于预设的内点数量阈值，则转到步骤Sa重新选择样本估计初始单应矩阵，否则用内点集重新估计初始单应矩阵，并通过投影误差来评估初始单应矩阵；

Sd，重复步骤Sa~Sc，直到迭代次数大于预设的迭代次数阈值，得到所述最佳单应矩阵。

7.根据权利要求1所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S5包括：

S51，获取所述数据库中与所述待批改纸质作业图片相匹配的参考图片的切割位置信息；

S52，基于所述切割位置信息对校正后的待批改纸质作业图片中存在的题目区域进行切割，生成相应的题目图片。

8.根据权利要求1所述的一种纸质作业的线上自动批改方法，其特征在于，所述步骤S2中特征提取过程采用SURF特征提取算法结合硬件加速技术实现。

9.一种应用权利要求1-8中任意一项所述的方法进行纸质作业的线上自动批改系统，其特征在于，包括：

图片获取模块，用于获取待批改纸质作业图片；

特征提取模块，用于对所述待批改纸质作业图片进行特征提取；

图片匹配模块，用于基于特征提取得到的特征点信息在数据库中匹配与所述待批改纸质作业图片相匹配的参考图片，得到匹配信息；

图片矫正模块，用于基于匹配信息对所述待批改纸质作业图片进行矫正；

图片切割模块，用于对矫正后的待批改纸质作业图片进行切割，生成相应的题目图片；

答案提取模块，用于提取所述题目图片中的答案区域；

答案处理模块，对所述答案区域进行识别和比对；

结果返回模块，用于将比对结果返回前端进行显示。

10.根据权利要求9所述的纸质作业的线上自动批改系统，其特征在于，所述图片获取模块包括：

图片获取单元，用于获取用户通过安装有相应的作业批改APP的智能终端拍摄的待批改纸质作业图片；

图片检查单元，用于对所述待批改纸质作业图片进行质量检查；

图片上传单元，用于将质量检查合格的所述待批改纸质作业图片进行上传。