CN104134072A

CN104134072A - 一种答题卡识别方法

Info

Publication number: CN104134072A
Application number: CN201410317803.XA
Authority: CN
Inventors: 杨朝辉; 梁锋; 李大鹏
Original assignee: BEIJING XUEXIN SUDA TECHNOLOGY Co Ltd
Current assignee: BEIJING XUEXIN SUDA TECHNOLOGY Co Ltd
Priority date: 2014-07-04
Filing date: 2014-07-04
Publication date: 2014-11-05

Abstract

本发明涉及一种答题卡识别方法，所述方法包括如下步骤：动态过滤获取答题卡彩色图像；图像灰度化处理；判断灰度图像是否为“黑色”图像的处理；局部阈值二值化处理；在二值图像上找面积最大且大于一定阈值、四个内角近似直角的凸四边形处理；倾斜和透视变形矫正处理；截取矩形区域、归一化图像处理；学号识别；试卷号识别；答案识别。由于移动终端的便携性，使用移动终端摄像头扫描答题卡并使用相关算法进行识别的研究，变得非常有意义，能明显提高教师工作效率，能对教学工作提供很大的帮助。答题卡识别方法还可以被借鉴应用于调查问卷、投票等信息卡的识别统计处理，具有相当广泛的应用价值。

Description

一种答题卡识别方法

技术领域

本发明涉及一种答题卡识别方法，需要用到移动智能终端调用摄像头扫描技术、数字图像处理以及模式识别技术。

背景技术

根据答题卡图像输入设备的不同，一般有摄像头阅卷系统、扫描仪阅卷系统和数码相机阅卷系统三种类型。

数码相机阅卷系统操作不方便，相关文献报道较少。实用的扫描仪阅卷系统一般使用带自动进纸器的高档扫描仪，但是个人购买这种高价扫描仪并不是个人首选。文献报道的摄像头阅卷系统一般不用智能移动终端摄像头作为答题卡图像的输入设备，携带不方便。

目前，使用移动终端摄像头作为答题卡图像的输入设备的技术报道很少；而且，其中一些方法要求使用黑色签字笔填涂，不允许使用2B铅笔，限制了方法的实用。

发明内容

智能移动终端摄像头扫描识别答题卡方法需要解决四个技术问题：

(1)对学号和试卷号的填涂要求：如果学号和试卷号有一位未填涂或多选填涂的话，要有拒绝继续进行识别的机制。必须保证识别出来的学号和试卷号每一位都被单选填涂。

(2)对倾斜透视变形图像的处理：使用移动终端摄像头得到的答题卡图像不仅会发生倾斜，还会发生透视变形。

(3)对光照不均的处理：答题卡识别方法必须适应各种光照条件的变化。

(4)图像大小不一的处理：由于拍摄距离不固定，使用移动终端摄像头扫描答题卡获得的图像大小不一。

本发明对这四个技术问题给出了较好的解决方案，具备一定的实用性。

本发明涉及一种答题卡识别方法，所述方法包括如下步骤：动态过滤获取答题卡彩色图像；图像灰度化处理；判断灰度图像是否为“黑色”图像的处理；局部阈值二值化处理；在二值图像上找面积最大且大于一定阈值、四个内角近似直角的凸四边形处理；倾斜和透视变形矫正处理；截取矩形区域、归一化图像处理；学号识别；试卷号识别；答案识别。

本发明技术方案带来的有益效果如下：

目前的智能移动终端都配有摄像头，而且其分辨率和成像能力都较强，不亚于一般的数码相机。由于移动终端的便携性，使用移动终端摄像头扫描答题卡并使用相关算法进行识别的研究，变得非常有意义，能明显提高教师工作效率，能对教学工作提供很大的帮助。

答题卡识别方法还可以被借鉴应用于调查问卷、投票等信息卡的识别统计处理，具有相当广泛的应用价值。

附图说明

通过参照附图更详细地描述本发明的示例性实施例，本发明的以上和其它方面及优点将变得更加易于清楚，在附图中：

图1为本发明的一种答题卡识别方法的整体流程图；

图2为本发明的一种答题卡识别方法的图像灰度化流程图；

图3为本发明的一种答题卡识别方法的判断灰度图像是否为“黑色”图像流程图；

图4为本发明的一种答题卡识别方法的二值化处理流程图；

图5为本发明的一种答题卡识别方法的在二值图像上找面积最大且大于一定阈值、四个内角近似直角的凸四边形的流程图；

图6为答题卡上学号区域示意图；

图7为答题卡上试卷号区域示意图；

图8为答题卡上答案填涂区域示意图；

图9为本发明所采用的硬件结构图；

图10为应用本发明取得的实际效果示意图之原始图；

图11为应用本发明取得的实际效果示意图之二值图像；

图12为应用本发明取得的实际效果示意图之截图归一化二值图像；

图13为应用本发明取得的实际效果示意图之截图归一化二值图像填涂点定位；

图14为应用本发明取得的实际效果示意图之前30道题识别结果。

具体实施方式

在下文中，现在将参照附图更充分地描述本发明，在附图中示出了各种实施例。然而，本发明可以以许多不同的形式来实施，且不应该解释为局限于在此阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完全的，并将本发明的范围充分地传达给本领域技术人员。

在下文中，将参照附图更详细地描述本发明的示例性实施例。

本发明实施例公开了一种答题卡识别方法，涉及了图像处理和模式识别领域，使用带有摄像头的智能移动终端动态过滤获取答题卡图像，然后进行学号、试卷号和答案等填涂信息的识别。本发明的方法包括：动态过滤获取答题卡彩色图像；图像灰度化处理；判断灰度图像是否为“黑色”图像的处理；局部阈值二值化处理；在二值图像上找面积最大且大于一定阈值、四个内角近似直角的凸四边形处理；倾斜和透视变形矫正处理；截取矩形区域、归一化图像处理；学号识别；试卷号识别；答案识别。本发明实施例主要用于带有摄像头智能移动终端对答题卡填涂信息进行识别的过程中。

方法整体流程图见图1。

使用智能移动终端摄像头扫描答题卡，可以获得一帧真彩色图像。对这幅真彩色图像有如下几个处理：

(1)、图像灰度化；

(2)、判断灰度图像是否为“黑色”图像；

(3)、二值化处理；

(4)、在二值图像上找面积最大且大于一定阈值、四个内角近似直角的凸四边形；

(5)、倾斜和透视变形矫正；

(6)、截取、归一化图像；

(7)、学号识别；

(8)、试卷号识别；

(9)、答案识别。

处理(2)、(4)、(7)和(8)是过滤处理，如果返回假，将继续使用智能移动终端摄像头对答题卡进行扫描，获得下一帧彩色图像依次进行(1)至(9)的处理，直至对某帧图像进行处理时4个过滤处理都返回真为止，随后会输出学号、试卷号和答案的识别结果。(1)至(9)的处理流程详述如下。

(1)、图像灰度化流程图如图2所示。

(2)、判断灰度图像是否为“黑色”图像流程图如图3所示。

(3)、二值化处理流程图如图4所示。

(4)、在二值图像上找面积最大且大于一定阈值、四个内角近似直角的凸四边形的流程图如图5所示。

在二值图像上找到面积最大且大于一定阈值、四个内角近似直角的凸四边形ConvexQuadrilateral后，计算这个凸四边形ConvexQuadrilateral的质心centroid的坐标。凸四边形四个顶点按次序表示后，四个顶点的次序是：第1个顶点在质心centroid的左上，第2个顶点在质心centroid的右上，第3个顶点在质心centroid的左下，第4个顶点在质心centroid的右下。

(5)、倾斜和透视变形矫正：

输入：①二值图像binaryimage

②凸四边形ConvexQuadrilateral的4个有序顶点坐标p₁、p₂、p₃、p₄

输出：变形矫正后的二值图像binaryimagepiepie

步骤1：凸四边形ConvexQuadrilateral的最小外接矩形

步骤2：计算最小外接矩形与水平线的逆时针夹角sita

步骤3：对二值图像顺时针旋转sita得到二值图像binaryimagepie

步骤4：计算4个顶点的倾斜矫正后的坐标p′₁、p′₂、p′₃、p′₄

步骤5：计算点p′₁、p′₂、p′₃、p′₄横坐标的最小值AbscissaMin和最大值AbscissaMax

步骤6：计算点p′₁、p′₂、p′₃、p′₄纵坐标的最小值OrdinateMin和最大值OrdinateMax

步骤7：坐标点(AbscissaMin，OrdinateMin)作为透视变形矫正后矩形Rectangle的左上顶点，坐标点(AbscissaMax，OrdinateMax)作为透视变形矫正后矩形Rectangle的右下顶点

步骤8：根据4个点p′₁、p′₂、p′₃、p′₄的坐标和矩形Rectangle的4个顶点p″₁、p″₂、p″₃、p″₄(p″₁、p″₂、p″₃、p″₄分别位于矩形Rectangle的质心左上、右上、左下、右下的位置)的坐标计算透视变形矫正矩阵PerspectiveTransformMatrix

步骤9：对二值图像binaryimagepie根据透视变形矫正矩阵PerspectiveTransformMatrix通过计算获得二值图像binaryimagepiepie

(6)、截取、归一化图像：

输入：①图像畸变矫正后的二值图像binaryimagepiepie

②凸四边形ConvexQuadrilateral4个顶点经过倾斜和透视变形矫正后的点坐标p″₁、p″₂、p″₃、p″₄

输出：归一化的答题卡矩形区域二值图像

步骤1：根据点坐标p″₁、p″₂、p″₃、p″₄，对图像畸变矫正后的二值图像binaryimagepiepie进行截取

步骤2：按照预设模板的大小对截取的二值图像进行缩放处理，得到归一化的答题卡矩形区域二值图像

(7)、学号识别：图6是从答题卡上截取的学号区域。

可见学号的每一位都有10个可供填涂的矩形区域(被中括号限制)，要求每一位只有1个矩形区域被填涂，对于每一位来说不能10个填涂区都不涂或2(含)个以上的填涂区被填涂。

学号的识别就是识别每一位的10个填涂矩形区域哪个被填涂了。描述识别学号某一位10个填涂矩形区域哪个被填涂了的算法如下：

输入：①归一化的答题卡区域二值图像；

②int FillingCoordinates[m][10][4]，其中学号有m位，FillingCoordinates[i][j][0]表示学号第i位第j个填涂矩形区的左上顶点的横坐标，FillingCoordinates[i][j][1]表示学号第i位第j个填涂矩形区的左上顶点的纵坐标，FillingCoordinates[i][j][2]表示学号第i位第j个填涂矩形区的右下顶点的横坐标，FillingCoordinates[i][j][3]表示学号第i位第j个填涂矩形区的右下顶点的纵坐标；

③学号第i位；

④面积阈值AreaThreshold；

输出：①返回真或假；

②字符；

步骤1：初始化-char CharacterArray[10]＝{’0’，’1’，’2’，’3’，’4’，’5’，’6’，’7’，’8’，’9’}；

float AreaArray[10]；

int j＝0；

步骤2：如果j＜10，则执行步骤3；否则跳转到步骤6；

步骤3：获得学号第i位第j个填涂矩形区的左上顶点和右下顶点的坐标；

步骤4：计算在学号第i位第j个填涂矩形区内连通区域的面积最大值Area，并令AreaArray[j]＝Area；

步骤5：j＝j+1，跳转到步骤2；

步骤6：计算数组AreaArray中的最大值MaxArea，及其在数组中对应的下标subscript；

步骤7：如果MaxArea〈AreaThreshold，那么返回假，输出字符’！’；否则返回真，输出字符CharacterArray[subscript]；

如果返回假，继续使用智能移动终端摄像头对答题卡进行扫描过滤，直至学号的所有位上的数字都被单选地识别出来为止。

(8)、试卷号识别：图7是从答题卡上截取的试卷号区域。

试卷号的填涂要求和学号的填涂要求一样。试卷号和学号的不同之处在于它们的位数可能不同。对于某一特定位填涂情况的识别，试卷号和学号的识别方法完全一样。此时的输入是：

输入：①归一化的答题卡区域二值图像

②int FillingCoordinates[n][10][4]，其中试卷号有n位，FillingCoordinates[i][j][0]表示试卷号第i位第j个填涂矩形区的左上顶点的横坐标，FillingCoordinates[i][j][1]表示试卷号第i位第j个填涂矩形区的左上顶点的纵坐标，FillingCoordinates[i][j][2]表示试卷号第i位第j个填涂矩形区的右下顶点的横坐标，FillingCoordinates[i][j][3]表示试卷号第i位第j个填涂矩形区的右下顶点的纵坐标

③试卷号第i位

④面积阈值AreaThreshold

值得说明的是，如果试卷号某一位识别结果返回假，则继续使用智能移动终端摄像头对答题卡进行扫描过滤，直至试卷号的所有位上的数字都被单选地识别出来为止。

(9)、答案识别：下图8是从答题卡上截取的前40道题的答案填涂区域。

可见每道题都有A、B、C、D4个可供填涂的矩形区域(被中括号限制)。多数情况下都是4个填涂选项。答案的识别就是识别每道题的4个填涂矩形区域哪个或哪几个被填涂了。某一道题填涂答案识别算法描述如下：

输入：①归一化的答题卡区域二值图像

②int FillingCoordinates[qn][4][4]，其中qn表示题目数，FillingCoordinates[i][j][0]表示第i题第j个填涂矩形区的左上顶点的横坐标，FillingCoordinates[i][j][1]表示第i题第j个填涂矩形区的左上顶点的纵坐标，FillingCoordinates[i][j][2]表示第i题第j个填涂矩形区的右下顶点的横坐标，FillingCoordinates[i][j][3]表示第i题第j个填涂矩形区的右下顶点的纵坐标

③第i题

④面积阈值AreaThreshold

输出：答案数组std：：vector<char>&CharacterVector

步骤1：初始化-int j＝0

步骤2：如果j＜4，则执行步骤3；否则跳转到步骤7

步骤3：获得第i道题第j个填涂矩形区的左上顶点和右下顶点的坐标

步骤4：计算第i道题第j个填涂矩形区内连通区域的面积最大值Area

步骤5：if(Area＞AreaThreshold)

CharacterVector.push_back(j+0x41)；

步骤6：j＝j+1，跳转到步骤2

步骤7：输出CharacterVector

本发明扫描的图像大小是高640个像素，宽480个像素，数据量相对小；在二值图像上寻找面积大于某一阈值，内角近似直角的凸四边形时，使用遍历轮廓快速获得最大面积轮廓点的方法，使得运行速度快，识别一张答题卡在1秒以内。

图像灰度特征对反光敏感，本发明使用局部阈值二值化方法获得二值图像，然后提取了填涂点的面积形状特征进行识别，克服了反光问题。

对500张答题卡图像进行识别，识别准确率为99.81％。识别失败的样本主要有：填涂方法不规范；多次涂改(至少7次以上)造成橡皮涂搽痕迹明显；答题卡页面不整洁；答题卡页面扭曲弯折等。对于这些情况，要求学生规范填涂，保持答题卡页面平整、干净即可避免。

本发明的技术关键点和欲保护点是：

①学号和试卷号的过滤识别：

根据先验知识对学号和试卷号的某一位10个矩形填涂区进行定位。

根据定位信息分别获取这10个矩形填涂区在二值图像上连通区域的最大像素面积。

计算这10个面积值中的最大值。

如果这个最大值大于某一个阈值，则认为这个最大值对应的矩形填涂区被答题者使用2B铅笔填涂了，否则认为学号或试卷号的这一位未被填涂，返回假。

如果返回假继续使用智能移动终端摄像头对答题卡进行扫描过滤，直至学号和试卷号的所有位上的数字都被单选地识别出来为止。

②二值化形状过滤处理：

通过智能移动终端摄像头获得一幅答题卡图像，对其灰度化后得到答题卡灰度图像。

采用局部平均阈值的方法对答题卡灰度图像进行二值化处理获得二值图像。

在这个二值图像必须找到一个面积最大且大于一定阈值、四个内角近似直角的凸四边形，否则放弃此次摄像头捕获的答题卡图像。

③倾斜和透视变形矫正：

通过二值化形状过滤处理可以得到一个凸四边形。

计算这个凸四边形的最小外接矩形。

计算这个最小外接矩形与水平线的逆时针夹角，然后根据这个夹角通过旋转操作进行倾斜变形矫正，获得倾斜变形矫正后的二值图像。

计算凸四边形4个顶点倾斜变形矫正后的坐标，分别记为p′₁、p′₂、p′₃和p′₄。

计算点p′₁、p′₂、p′₃、p′₄横坐标的最小值AbscissaMin和最大值AbscissaMax。

计算点p′₁、p′₂、p′₃、p′₄纵坐标的最小值OrdinateMin和最大值OrdinateMax。

坐标点(AbscissaMin，OrdinateMin)作为透视变形矫正后矩形Rectangle的左上顶点，坐标点(AbscissaMax，OrdinateMax)作为透视变形矫正后矩形Rectangle的右下顶点。

根据4个点p′₁、p′₂、p′₃、p′₄的坐标和矩形Rectangle的4个顶点p″₁、p″₂、p″₃、p″₄(p″₁、p″₂、p″₃、p″₄分别位于矩形Rectangle的质心左上、右上、左下、右下的位置)的坐标计算透视变形矫正矩阵。

对倾斜变形矫正后的二值图像根据透视变形矫正矩阵计算倾斜和透视变形矫正后的二值图像。

④截取、归一化图像：

根据倾斜和透视变形矫正处理得到的矩形4个顶点p″₁、p″₂、p″₃、p″₄，对二值图像进行截取。

按照预设模板的大小对截取的二值图像进行缩放处理。

本发明的硬件结构图如图9所示。

图10-14是应用本发明取得的实际效果示意图。

以上所述仅为本发明的实施例而已，并不用于限制本发明。本发明可以有各种合适的更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种答题卡识别方法，其特征在于所述方法包括如下步骤：

(1)、图像灰度化；

(2)、判断灰度图像是否为“黑色”图像；

(3)、二值化处理；

(5)、倾斜和透视变形矫正；

(6)、截取、归一化图像；

(7)、学号识别；

(8)、试卷号识别；

(9)、答案识别；

处理(2)、(4)、(7)和(8)是过滤处理，如果返回假，将继续使用智能移动终端摄像头对答题卡进行扫描，获得下一帧彩色图像依次进行(1)至(9)的处理，直至对某帧图像进行处理时4个过滤处理都返回真为止，随后会输出学号、试卷号和答案的识别结果。

2.如权利要求1所述的一种答题卡识别方法，其特征在于：

在步骤(4)中，在二值图像上找到面积最大且大于一定阈值、四个内角近似直角的凸四边形后，计算这个凸四边形的质心的坐标。凸四边形四个顶点按次序表示后，四个顶点的次序是：第1个顶点在质心的左上，第2个顶点在质心的右上，第3个顶点在质心的左下，第4个顶点在质心的右下。

3.如权利要求1所述的一种答题卡识别方法，其特征在于：

步骤(5)的具体步骤如下：

输入：①二值图像；

②凸四边形的4个有序顶点坐标p₁、p₂、p₃、p₄；

输出：变形矫正后的二值图像；

步骤1：凸四边形的最小外接矩形；

步骤2：计算最小外接矩形与水平线的逆时针夹角；

步骤3：对二值图像顺时针旋转得到二值图像；

步骤4：计算4个顶点的倾斜矫正后的坐标p′₁、p′₂、p′₃、p′₄；

步骤5：计算点p′₁、p′₂、p′₃、p′₄横坐标的最小值和最大值；

步骤6：计算点p′₁、p′₂、p′₃、p′₄纵坐标的最小值和最大值；

步骤7：坐标点作为透视变形矫正后矩形的左上顶点，坐标点作为透视变形矫正后矩形Rectangle的右下顶点；

步骤8：根据4个点p′₁、p′₂、p′₃、p′₄的坐标和矩形的4个顶点p″₁、p″₂、p″₃、p″₄(p″₁、p″₂、p″₃、p″₄分别位于矩形的质心左上、右上、左下、右下的位置)的坐标计算透视变形矫正矩阵；

步骤9：对二值图像根据透视变形矫正矩阵通过计算获得二值图像。

4.如权利要求1所述的一种答题卡识别方法，其特征在于：

步骤(6)的具体步骤如下：

输入：①图像畸变矫正后的二值图像；

②凸四边形4个顶点经过倾斜和透视变形矫正后的点坐标p″₁、p″₂、p″₃、p″₄；

输出：归一化的答题卡矩形区域二值图像；

步骤1：根据点坐标p″₁、p″₂、p″₃、p″₄，对图像畸变矫正后的二值图像进行截取；

步骤2：按照预设模板的大小对截取的二值图像进行缩放处理，得到归一化的答题卡矩形区域二值图像。

5.如权利要求1所述的一种答题卡识别方法，其特征在于：

步骤(7)的具体步骤如下：

学号的识别就是识别每一位的10个填涂矩形区域哪个被填涂了；描述识别学号某一位10个填涂矩形区域哪个被填涂了的算法如下：

输入：①归一化的答题卡区域二值图像；

③学号第i位；

④面积阈值AreaThreshold；

输出：①返回真或假；

②字符；

float AreaArray[10]

int j＝0

步骤2：如果j＜10，则执行步骤3；否则跳转到步骤6；

步骤5：j＝j+1，跳转到步骤2；

步骤6：计算数组AreaArray中的最大值MaxArea，及其在数组中对应的下标subscript

6.如权利要求1所述的一种答题卡识别方法，其特征在于：

步骤(8)的具体步骤如下：

输入：①归一化的答题卡区域二值图像；

②int FillingCoordinates[n][10][4]，其中试卷号有n位，FillingCoordinates[i][j][0]表示试卷号第i位第j个填涂矩形区的左上顶点的横坐标，FillingCoordinates[i][j][1]表示试卷号第i位第j个填涂矩形区的左上顶点的纵坐标，FillingCoordinates[i][j][2]表示试卷号第i位第j个填涂矩形区的右下顶点的横坐标，FillingCoordinates[i][j][3]表示试卷号第i位第j个填涂矩形区的右下顶点的纵坐标；

③试卷号第i位；

④面积阈值AreaThreshold；

如果试卷号某一位识别结果返回假，则继续使用智能移动终端摄像头对答题卡进行扫描过滤，直至试卷号的所有位上的数字都被单选地识别出来为止。

7.如权利要求1所述的一种答题卡识别方法，其特征在于：

步骤(9)的具体步骤如下：

答案的识别就是识别每道题的4个填涂矩形区域哪个或哪几个被填涂了；某一道题填涂答案识别算法描述如下：

输入：①归一化的答题卡区域二值图像；

②intFillingCoordinates[qn][4][4]，其中qn表示题目数，FillingCoordinates[i][j][0]表示第i题第j个填涂矩形区的左上顶点的横坐标，FillingCoordinates[i][j][1]表示第i题第j个填涂矩形区的左上顶点的纵坐标，FillingCoordinates[i][j][2]表示第i题第j个填涂矩形区的右下顶点的横坐标，FillingCoordinates[i][j][3]表示第i题第j个填涂矩形区的右下顶点的纵坐标；

③第i题；

④面积阈值AreaThreshold；

输出：答案数组std：：vector<char>&CharacterVector；

步骤1：初始化-int j＝0；

步骤2：如果j＜4，则执行步骤3；否则跳转到步骤7；

步骤3：获得第i道题第j个填涂矩形区的左上顶点和右下顶点的坐标；

步骤4：计算第i道题第j个填涂矩形区内连通区域的面积最大值Area；

步骤5：if(Area〉AreaThreshold)；

CharacterVector.push_back(j+0x41)；

步骤6：j＝j+1，跳转到步骤2；

步骤7：输出CharacterVector。