CN105740857A - 一种基于ocr的快速纸笔投票结果自动采集与识别系统 - Google Patents

Abstract

本发明提供一种基于OCR的快速纸笔投票结果自动采集与识别系统。系统包括高速图像采集模块、图像处理与识别模块、结果校验模块、数据统计及存储模块等。本发明不仅可以快速地完成纸笔投票结果的图像采集与存储，还能够对每张投票后的表决票图像中的手写符号、表决票标识码进行快速、高精度地定位与识别。为了保证计票结果的准确性，结果校验模块还可以方便地进行自动识别结果的人工校对。数据统计及存储模块可以完成投票结果的统计分析，并能够将统计结果自动导出为excel电子表格文档，方便投票结果的打印与存档。该系统具有处理速度快、成本较低、鲁棒性好、自动化程度高等特点，可广泛应用于会议表决等投票场合。

Description

一种基于OCR的快速纸笔投票结果自动采集与识别系统

技术领域

本发明属于模式识别与人工智能技术领域，特别是涉及一种纸笔投票结果的自动采集与识别系统。

背景技术

基于OCR的纸笔投票结果自动识别技术是指通过计算机等设备，利用OCR技术（光学字符识别）将纸笔投票中的表决票结果符号，例如同意（○）、反对（×）和弃权（不填）等符号自动提取和识别出来，并进行投票结果的统计分析。它是实现计票自动化的关键技术之一。传统的投票统计系统一般有以下几种方式：

1、答题卡形式的计票方式。该方式先将表决票以问卷的形式打印出来，投票人根据问卷在事先做好的答题卡上填涂。计票系统对答题卡进行扫描和识别，从而统计投票结果。该方式的不足之处在于存在着由问卷到答题卡的切换过程，给投票者（尤其是年纪比较大的老人）带来不便，可能会因此造成误填，如果答题项数量比较多，也不便于检查校对。另外，答题卡上填涂也不符合人们常用的投票习惯，使用不方便。

2、基于软件平台的计票方式。该计票方式相比于答题卡形式的不同之处在于不需要制作问卷和答题卡，投票人只需在平板电脑或个人电脑上进行投票，投票结果通过网络传送到服务器上进行统计。该投票方式的缺点在于需要专用的投票电子设备，成本比较高，不是每个会议都能配备足够多的设备供投票人使用。

3、人工计票方式。该方式先将表决票打印出来，投票人利用普通书写笔在表决票上勾选投票，然后，由工作人员人工统计投票结果。该方式的不足之处是需要耗费较多的人力资源成本，而且结果统计的耗时也较长，很容易出现统计错误。

上述计票方式由于存在使用不方便、成本较高的、人工计票耗时等方面的不足，并不能灵活应用于各种会议投票场合。尤其是在中小型会议的投票表决上，这种会议的人数大约几十到几百人左右，工作人员没有足够的时间和精力去制作问卷和答题卡，也没有足够的成本购置硬件设备和开发专门的计票软件。如果用人工方式来计票则会花较多时间，而且很容易出现统计错误。

发明内容

本发明的目的在于克服上述投票系统的不足，提供一种灵活、成本低廉的计票解决方案。它可以实现灵活、快速的制票过程，自动定位并识别投票人在表决票上手写的投票符号，快速地完成投票结果的统计工作，以满足中小型会议中投票表决及结果统计分析这一应用需求。本系统的特点包含以下几个方面：

1、表决票制作流程简单。制票只需在excel电子表格文档上编辑完成投票表格并打印出来即可。投票人利用普通手写笔在表格内做记号进行投票。

2、不改变投票人的投票习惯。人们习惯于在问卷上面打钩打叉，这是最自然的一种方式。然而这种投票习惯给计票统计带来较多不便，人工统计费时费力。现有的手写投票计票系统一般基于答题卡的形式，问卷和答题卡是分开的，并且需要在划定区域内进行填涂，这不符合人们的使用习惯。另一方面，计算机一旦识别错误也很难被发现和纠正。本系统可以对投票表格内的钩、圈和叉等投票符号进行自动定位与识别，不会影响投票人的投票习惯。

3、价格低廉。本系统利用普通打印机打印表决票及投票统计结果，用高速扫描仪对表决票进行图像采集，在高性能电脑上完成表决票图像的自动定位与识别，并进行投票结果统计。这些硬件设备都是常用的办公设备，使用本系统时不需要增添额外的硬件设备。

4、方便快捷的人工校对功能。本系统的识别算法已达到比较高的准确率，但并不能保证百分百正确率。另外当投票人填写不规范，表决票中出现计算机无法识别的符号时，也需要以人工方式进行投票结果的检查与校对。本系统包含结果校验模块，可以方便地完成人工校对。该功能将识别结果采用不同颜色进行集中显示，可以方便快捷地发现识别结果中的错误，并进行修正或将异常表决票作为废票处理。

5、自动的数据统计及存储功能。本系统在识别结果校对的基础上，可以自动地完成投票结果的数据统计分析，并可以导出为excel电子表格文档，进行归档存储或打印。

另外，表决票在放入高速扫描仪时，无需按票号顺序放置，表决票甚至可以倒置而不会影响投票结果的识别与统计。

本发明采用的技术方案如下。

一种基于OCR的快速纸笔投票结果自动采集与识别系统，包括高速图像采集模块、基于最大类间方差方法的图像二值化模块、基于两级检测的快速图像倾斜检测和校正模块、投票区域及表决票标识码定位模块、基于投影分析的字符提取模块、基于多方向梯度特征与距离分类器的字符识别模块、基于多线程的结果校验模块、投票结果统计分析与存储模块；图像处理模块接收到表决票图像后，系统将依次对图像进行二值化处理、图像的倾斜检测和矫正、投票区域及标识码的定位、基于投影分析的符号提取和基于多方向梯度特征与距离分类器的字符识别。

进一步地，还包括高速扫描仪，实现表决票的快速图像采集，并将图像传输到高性能电脑保存；用户只需将投票后的表决票放置到扫描仪中，并触发扫描，就可以将表决票图像保存到电脑的指定目录。

进一步地，所述高速图像采集模块负责对高速扫描仪进行控制，并将采集的表决票灰度图像传输到高性能电脑进行存储。

进一步地，所述基于最大类间方差方法的图像二值化模块对扫描图像进行二值化，采用基于最大类间方差方法进行图像二值化；首先利用最大类间方差方法确定分割图像前景与背景的阈值T，然后计算图像的最大和最小灰度值；若最大与最小灰度值差超过预先设定的值，则利用阈值T进行二值化，否则图像二值化为全背景，并标识该表决票为空白票或废票。

进一步地，基于两级检测的快速图像倾斜检测和校正模块对二值化图像进行倾斜角度检测和图像倾斜校正，采用基于投影轮廓分析的倾斜角度检测方法；检测策略则采取两级检测的方法，首先采取较大的角度间隔，每隔一个角度间隔计算其投影轮廓方差，取最大方差对应的角度为估计的倾斜角度；然后，对估计的倾斜角度中设定范围内的角度，以较小的角度间隔计算其投影轮廓方差，取最大方差对应的角度为图像精确倾斜角度。

进一步地，投票区域及表决票标识码定位模块通过水平投影和竖直投影分别计算倾斜校正后的二值化图像的水平和竖直投影轮廓，找出投影轮廓的峰值从而确定投票表格的横线和竖线，最终定位出表决票的投票区域，并利用表决票的几何布局特性定位表决票的标识码区域；若定位失败，则标识该票为废票。

进一步地，所述基于投影分析的字符提取模块采用水平和竖直投影的方法在得到的投票区域及标识码区域内计算投影轮廓，找出投影轮廓的谷值从而提取出投票标记符号图像，以及表决票标识码中的字符图像。

进一步地，所述基于多方向梯度特征与距离分类器的字符识别模块首先将待识别字符图像进行基于笔画间隔的非线性归一化，归一化后的图像大小为，然后提取512维的8方向梯度特征，字符分类则采用基于欧式距离度量的分类方法；

对表决票的标识码进行识别，根据表决票标识码对投票识别结果进行统计，并将投票识别结果与标识码识别结果与表决票图像进行关联；除了对标识码进行识别外，该模块还对标识码进行检查，若识别的标识码超出给定范围，则将对应的表决票标识为废票。

进一步地，基于多线程的结果校验模块，包括投票符号的人工校对和表决票标识码的人工校对；该模块采用多线程的方式进行实现，与投票结果识别过程同步进行；投票符号的校对功能将每张表决票的投票区域截取出来，并根据投票定位结果将投票区域背景设置为不同颜色，以便于人工辨识；校验人可以通过鼠标双击改变背景颜色从而修改投票结果；表决票标识码校对功能将标识码按从小到大的顺序排列显示，校验人能方便地对识别错误的表决票标识码进行辨识并修改。

进一步地，投票结果统计分析与存储模块对校正完成的投票结果进行统计，并将统计结果自动导出到excel电子表格文档中；导出的excel电子表格文档具有自动打印功能，能方便地进行打印归档与存储。

本发明与已有的技术及现有的计票系统相比，具有如下优点：

（1）与答题卡形式的投票形式相比，本系统具有制票过程简单，可灵活改动的优点。与基于电子设备的投票方式相比，本系统不需要采购大量硬件设备，且本系统所采用的硬件设备均为常见的办公设备，因此成本低廉。与人工计票方式相比，本系统则可以大大节约人力成本，处理速度快。

（2）由于采用了快速图像处理算法和快速识别算法，配合本系统的高速扫描仪，本系统可以在无人干预的情况下，高速度、高精确度地提取和识别表决票中的投票符号和表决票标识码。对于具有30条选项的表决票，处理速度可以达到260张表决票/分钟，从而较好地解决了中小型会议中的投票统计问题。

（3）本系统在自动识别表决票的基础之上，加入了方便快捷的人工校验模块，使得投票结果的统计过程不仅可以快速完成，且统计结果也具有较高的可靠度。本系统采集的投票结果图像可以方便地进行归档和保存，若投票结果存在异议，可以方便地进行查询和核验。

附图说明

图1是本计票系统的处理流程示意图。

图2是本计票系统的图像处理与识别模块的流程图。

具体实施方式

下面结合附图对本发明作进一步具体地描述，但本发明的实施方式不限于此。

本系统完成计票工作所需的硬件设备，包括打印机、扫描仪和PC机。本实例采用的表决票由办公软件excel进行编辑，然后用普通A4纸打印出来。其中“专家意见”一列为投票区，投票人在投票区内手写投票符号（如打“○”或打“×”）进行投票。右上角的一串数字为表决票标识码。本系统的目的就是自动识别投票区内的符号，以及表决票标识码，并完成投票结果的统计工作。若在会议期间需要临时修改投票方案，比如增加或删除某一行，这种做票方式可以灵活应对，只需要在excel电子表格文档中增加或删除对应行，重新打印一套即可。同时，本系统能够自动识别候选人个数，然后依据人数进行投票结果的统计，以及结果的导出与归档。

本实例的系统包括包括高速图像采集模块、基于最大类间方差方法的图像二值化模块、基于两级检测的快速图像倾斜检测和校正模块、投票区域及表决票标识码定位模块、基于投影分析的字符提取模块、基于多方向梯度特征与距离分类器的字符识别模块、基于多线程的结果校验模块、投票结果统计分析与存储模块。

所述基于最大类间方差方法的图像二值化模块对扫描图像进行二值化，采用基于最大类间方差方法进行图像二值化；首先利用最大类间方差方法确定分割图像前景与背景的阈值T，然后计算图像的最大和最小灰度值；若最大与最小灰度值差超过预先设定的值，则利用阈值T进行二值化，否则图像二值化为全背景，并标识该表决票为空白票或废票。

基于两级检测的快速图像倾斜检测和校正模块对二值化图像进行倾斜角度检测和图像倾斜校正，采用基于投影轮廓分析的倾斜角度检测方法；检测策略则采取两级检测的方法，首先采取较大的角度间隔，每隔一个角度间隔计算其投影轮廓方差，取最大方差对应的角度为估计的倾斜角度；然后，对估计的倾斜角度中设定范围内的角度，以较小的角度间隔计算其投影轮廓方差，取最大方差对应的角度为图像精确倾斜角度。

投票区域及表决票标识码定位模块通过水平投影和竖直投影分别计算倾斜校正后的二值化图像的水平和竖直投影轮廓，找出投影轮廓的峰值从而确定投票表格的横线和竖线，最终定位出表决票的投票区域，并利用表决票的几何布局特性定位表决票的标识码区域；若定位失败，则标识该票为废票。

所述基于投影分析的字符提取模块采用水平和竖直投影的方法在得到的投票区域及标识码区域内计算投影轮廓，找出投影轮廓的谷值从而提取出投票标记符号图像，以及表决票标识码中的字符图像。

所述基于多方向梯度特征与距离分类器的字符识别模块首先将待识别字符图像进行基于笔画间隔的非线性归一化，归一化后的图像大小为，然后提取512维的8方向梯度特征，字符分类则采用基于欧式距离度量的分类方法；

对表决票的标识码进行识别，根据表决票标识码对投票识别结果进行统计，并将投票识别结果与标识码识别结果与表决票图像进行关联；除了对标识码进行识别外，该模块还对标识码进行检查，若识别的标识码超出给定范围，则将对应的表决票标识为废票。

基于多线程的结果校验模块，包括投票符号的人工校对和表决票标识码的人工校对；该模块采用多线程的方式进行实现，与投票结果识别过程同步进行；投票符号的校对功能将每张表决票的投票区域截取出来，并根据投票定位结果将投票区域背景设置为不同颜色，以便于人工辨识；校验人可以通过鼠标双击改变背景颜色从而修改投票结果；表决票标识码校对功能将标识码按从小到大的顺序排列显示，校验人能方便地对识别错误的表决票标识码进行辨识并修改。

投票结果统计分析与存储模块对校正完成的投票结果进行统计，并将统计结果自动导出到excel电子表格文档中；导出的excel电子表格文档具有自动打印功能，能方便地进行打印归档与存储。

图1为本系统的处理流程示意图。由图1可知，系统的处理流程为：打印表决票，投票人在表决票上进行投票。投票完成后，使用者收集表决票，使用高速扫描仪对表决票进行扫描，图像自动保存到PC机中。其中收集的表决票不需要按顺序叠放，表决票倒置放置不影响识别处理结果。打开PC机中的本系统计票软件，对表决票进行自动识别，并将投票识别结果与标识码识别结果与表决票图像进行关联。在识别过程中，识别完成的表决票会及时地显示在软件界面中，计票人不需要等待所有表决票都识别完成后再进行人工校对，检查校对可以与投票结果的识别过程同步进行。当所有表决票都识别处理完成，并校对无误后，使用本软件对投票结果进行统计，并将结果导出到excel电子表格文档。excel电子表格文档具有自动打印功能，使用者可以方便地将统计结果打印出来，进行签字盖章等，最后将结果以纸张或者电子文档的方式进行存档。

图2为本计票系统的图像处理与识别模块的流程图。由图2可知，图像处理与识别模块的流程图为：本系统的图像处理模块接收到表决票图像后，将依次对图像进行二值化处理、图像的倾斜检测和矫正、投票区域及标识码的定位、基于投影分析的符号提取和基于多方向梯度特征与距离分类器的字符识别。

本系统可以在软件界面中同时展示多张表决票的投票区。比如每一张表决票含有多个小格子，每个小格子或填写“○”、或填写“×”、又或空白，其背景色表示识别结果，分别为绿色（代表“○”）、红色（代表“×”）、白色（代表空白）。单击某一表决票，该表决票就会被红色框所包围以示选中。双击可修改该表决票中的投票结果，表现为格子背景色的切换。

本系统可以在软件界面中同时展示多张表决票的页号及其识别结果。每个格子对应一张表决票，格子中上方图片为从表决票图像截取的页号图像，下方数字为识别结果，数字按从小到大进行排列，相邻大小不同的数字用黄色方框进行隔开，方便校对人辨识与修正。单击格子，该格子就会被红色框所包围以示选中。双击则弹出编辑框，可以进行识别结果的修改。

所述基于OCR的快速纸笔投票结果自动采集与识别过程，首先打印表决票，投票人在表决票上进行投票。投票完成后，使用者收集表决票，使用高速扫描仪对表决票进行扫描，图像自动保存到高性能电脑中。其中收集的表决票不需要按顺序叠放，表决票倒置放置不影响识别处理结果。打开高性能电脑中的本系统计票软件，对表决票进行自动识别，并将投票识别结果与标识码识别结果与表决票图像进行关联。在识别过程中，识别完成的表决票会及时地显示在软件界面中，计票人不需要等待所有表决票都识别完成后再进行人工校对，检查校对可以与投票结果的识别过程同步进行。当所有表决票都识别处理完成，并校对无误后，使用本软件对投票结果进行统计，并将结果导出到excel电子表格文档。excel电子表格文档具有自动打印功能，使用者可以方便地将统计结果打印出来，进行签字盖章等，最后将结果以纸张或者电子文档的方式进行存档。

所述基于OCR的快速纸笔投票结果自动采集与识别方法及装置的图像处理与识别模块的技术方案为，图像处理模块接收到表决票图像后，将依次对图像进行基于最大类间方差方法的图像二值化处理、图像的倾斜检测和矫正、投票区域及标识码的定位、基于投影分析的符号提取和基于多方向梯度特征与距离分类器的字符识别。识别内容包括投票结果和表决票标识码。投票识别结果与标识码识别结果将与表决票图像进行关联，以备后续的检查校对和数据统计与查询。

本系统可以自动地完成表决票的投票字符与标识码的识别，并完成识别结果与表决票图像的关联。对于具有30条选项的表决票，处理速度可以达到260张表决票/分钟。可以与识别过程同步进行投票符号及表决票标识码识别结果的人工校对；可以对校正完成的投票结果进行统计，并将统计结果自动导出到excel电子表格文档中；导出的excel电子表格文档具有自动打印功能，可以自动打印表决票各页的投票统计结果。

上述实施例为本发明较佳的实施例子，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神与技术下所作的改变、修饰或替代，均应为等效的置换，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于包括高速图像采集模块、基于最大类间方差方法的图像二值化模块、基于两级检测的快速图像倾斜检测和校正模块、投票区域及表决票标识码定位模块、基于投影分析的字符提取模块、基于多方向梯度特征与距离分类器的字符识别模块、基于多线程的结果校验模块、投票结果统计分析与存储模块；图像处理模块接收到表决票图像后，系统将依次对图像进行二值化处理、图像的倾斜检测和矫正、投票区域及标识码的定位、基于投影分析的符号提取和基于多方向梯度特征与距离分类器的字符识别。

2.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：

还包括高速扫描仪，实现表决票的快速图像采集，并将图像传输到高性能电脑保存；用户只需将投票后的表决票放置到扫描仪中，并触发扫描，就可以将表决票图像保存到电脑的指定目录。

3.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：所述高速图像采集模块负责对高速扫描仪进行控制，并将采集的表决票灰度图像传输到高性能电脑进行存储。

4.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：所述基于最大类间方差方法的图像二值化模块对扫描图像进行二值化，采用基于最大类间方差方法进行图像二值化；首先利用最大类间方差方法确定分割图像前景与背景的阈值T，然后计算图像的最大和最小灰度值；若最大与最小灰度值差超过预先设定的值，则利用阈值T进行二值化，否则图像二值化为全背景，并标识该表决票为空白票或废票。

5.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：基于两级检测的快速图像倾斜检测和校正模块对二值化图像进行倾斜角度检测和图像倾斜校正，采用基于投影轮廓分析的倾斜角度检测方法；检测策略则采取两级检测的方法，首先采取较大的角度间隔，每隔一个角度间隔计算其投影轮廓方差，取最大方差对应的角度为估计的倾斜角度；然后，对估计的倾斜角度中设定范围内的角度，以较小的角度间隔计算其投影轮廓方差，取最大方差对应的角度为图像精确倾斜角度。

6.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：投票区域及表决票标识码定位模块通过水平投影和竖直投影分别计算倾斜校正后的二值化图像的水平和竖直投影轮廓，找出投影轮廓的峰值从而确定投票表格的横线和竖线，最终定位出表决票的投票区域，并利用表决票的几何布局特性定位表决票的标识码区域；若定位失败，则标识该票为废票。

7.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：所述基于投影分析的字符提取模块采用水平和竖直投影的方法在得到的投票区域及标识码区域内计算投影轮廓，找出投影轮廓的谷值从而提取出投票标记符号图像，以及表决票标识码中的字符图像。

8.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：所述基于多方向梯度特征与距离分类器的字符识别模块首先将待识别字符图像进行基于笔画间隔的非线性归一化，归一化后的图像大小为，然后提取512维的8方向梯度特征，字符分类则采用基于欧式距离度量的分类方法；

对表决票的标识码进行识别，根据表决票标识码对投票识别结果进行统计，并将投票识别结果与标识码识别结果与表决票图像进行关联；除了对标识码进行识别外，该模块还对标识码进行检查，若识别的标识码超出给定范围，则将对应的表决票标识为废票。

9.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：基于多线程的结果校验模块，包括投票符号的人工校对和表决票标识码的人工校对；该模块采用多线程的方式进行实现，与投票结果识别过程同步进行；投票符号的校对功能将每张表决票的投票区域截取出来，并根据投票定位结果将投票区域背景设置为不同颜色，以便于人工辨识；校验人可以通过鼠标双击改变背景颜色从而修改投票结果；表决票标识码校对功能将标识码按从小到大的顺序排列显示，校验人能方便地对识别错误的表决票标识码进行辨识并修改。

10.根据权利要求1所述的基于OCR的快速纸笔投票结果自动采集与识别系统，其特征在于：投票结果统计分析与存储模块对校正完成的投票结果进行统计，并将统计结果自动导出到excel电子表格文档中；导出的excel电子表格文档具有自动打印功能，能方便地进行打印归档与存储。