CN103886319A - 一种基于机器视觉的举牌智能识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的举牌智能识别方法。本方法为：1）将每一类别的选票保存为一模板图像；2）对采集的包含选票文本的场景图像进行去噪处理；所述场景图像之间不重叠；3）从去噪处理后的场景图像中提取包含多个选票信息的文本候选区域的二值图像；4）对所述文本候选区域的二值图像进行分割，得到只包含单个选票的矩形候选区域图像块；5）将所述候选区域图像块与每一所述模板图像进行匹配，得到每一候选区域图像块对应的选票类别。本发明能在复杂场景和可变光照条件下，对大规模群众举牌方式投票达到90%以上的票数检测率和100%对于不同票的识别率，处理时间快。

Description

一种基于机器视觉的举牌智能识别方法

技术领域：

本发明属于图像处理与模式识别技术领域，具体涉及一种基于机器视觉的举牌智能识别方法；通过基于灰度图像的图像噪声去除方法，复杂背景和可变光照条件下自然场景中文本识别方法，以及人机交互系统界面和交互方式的设计实现。

背景技术：

图像处理与模式识别是一门交叉学科，近几十年来，图像处理与模式识别技术取得了显著的进步，已开始从实验室慢慢走向市场。随着图像处理与模式识别研究工作的不断发展，针对不同性质图像和不同模式的识别系统，其识别精度已经很高了，足以满足市场用户的需求，已经在工业、家电、通信、汽车电子、医疗、家庭服务和消费电子类产品等领域得以应用。但在计票系统领域，图像处理与模式识别技术没有得到充分利用。

针对大规模人群的计票系统有人工计票，计票机计票两大种方式。人工计票准确度高，但是需要大量的人力成本；计票机计票效率高，但是存在计票机械成本高，安装调试不便捷等问题；特别是针对临时会议场，并且组织人员有限，参加投票人数众多的场景，这两种方法都有明显局限性。

目前，市场上出现了电子智能票箱，即采用智能票箱（俗称：电子票箱）的方式，彻底取代传统人工唱票计票的模式，真正实现“投票即计票”的目标，以OCR为识别核心，以先进的图像处理识别技术为依托，可以实现联网或单机运行，代表将选票投入投票箱的同时，智能票箱就进行了识别和处理，大大提高了计票效率。这类系统的局限性在于需要投票人依次将选票投入箱内，该过程也相对耗时，并且选民对最终的结果没有直观性的认识。

发明内容：

针对现有技术存在的技术问题，本发明的目的是提供一种基于机器视觉的举牌智能识别方法；本发明将传统的计票问题转换为图像处理问题，并利用成熟的模式识别技术手段实现选票的识别，从而提高计票系统的便捷化，提高计票系统的直观性，在不降低计票系统的准确性基础上大大降低计票过程所需时间。与人工计票相比，降低人力成本；与现有电子计票系统相比，降低计票设备购买成本。

本发明的技术内容：

1.图像降噪方法、

基于空间域的中值滤波器是一种常用的非线性平滑滤波器，基本原理是把数字图像或数字序列中一点的值用该点邻域内各点的中值代换。设f(x，y)表示数字图像像素点(x，y)的灰度值，滤波窗口为A的中值滤波器可以定义为：

$\hat{f}(x,y)=\mathrm{MED}\{f(x,y),(x,y)\∈A\}$

n为滤波窗口内的图像像素点个数，当n为奇数时，n个数x1，x2，…xn的中值就是按数值大小顺序处于中间的数；当n为偶数时，我们定义两个中间数平均值为中值。

2.基于MSER的显著性文本区域提取MSER（参考文献：J.Matas,O.Chum,M.Urban,and T.Pajdla.Robust wide baseline stereo

from maximally stable extremal regions.In BMVC,2002）即为最大稳定极值区域。极值区域是通过分析图像像素点灰度值关系，构造出来的四连通图像区域。该类区域仅取决于区域内部与边界像素点间的灰度值关系，使得区域内部的像素点灰度值都比区域边界像素点灰度值大（极大值区域），或区域内部的像素点灰度值都比区域边界像素点灰度值小（极小值区域）。通常一幅图像的极值区域是很多的，J.Matas提出一个稳定性判定条件，以获取指定阈值范围内的最大稳定极值区域。通过这种方法构造的区域不受图像连续性几何形变的影响，能在不同图像上重复可靠提取到相同内容的图像区域。

目前业界认为是性能最好的仿射不变区域，MSER是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域，特点：

a.对于图像灰度的仿射变化具有不变性

b.稳定性，区域的支持集相对灰度变化稳定

c.可以检测不同精细程度的区域

MSER提取过程：

a.使用一系列灰度阈值对图像进行二值化处理

b.对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域

c.在比较宽的灰度阈值范围内保持形状稳定的区域就是MSERs

d.评判标准：dA/dt A:二值图像区域面积，t:灰度阈值

3.基于模板匹配的选票识别方法

模板匹配是在图像中寻找目标的方法之一。模板匹配的工作方式跟直方图的反向投影基本一样，大致过程是这样的：通过在输入图像上滑动图像块对实际的图像块和输入图像进行匹配。假设我们有一张100x100的输入图像，有一张10x10的模板图像，查找的过程是这样的：

a.从输入图像的左上角(0,0)开始，切割一块(0,0)至(10,10)的临时图像；

b.用临时图像和模板图像进行对比，对比结果记为c；

c.切割输入图像从(0,1)至(10,11)的临时图像，对比，并记录到结果图像；

d.重复a～d步直到输入图像的右下角。

e.结果图像中位置（i，j)处像素值等于所有覆盖（i，j）点的临时图像对应的结果c中的最大值。

与现有技术相比，本发明的技术效果：

本发明能在复杂场景和可变光照条件下，对大规模群众（实测场景300人左右）举牌方式（分别举牌ABCD四种选票）投票达到90%以上的票数检测率和100%对于不同票的识别率，处理时间7～10秒。加上人工（1人）干预部分，票数统计正确率100%，票数分类正确率100%，人工干预时间2～5分钟。

附图说明：

下面结合附图，对本发明做出详细描述。

图1总体框架图；

图2（a）～（d）为四种类别选票示意图；

具体实施方式：

参考图1，本发明流程图的具体设计如下：

1、输入包含选票文本的场景图像：

本发明应用场景中票数种类分为ABCD四大类，一张A4纸上打印一个字母，即代表相应类别的一张票，参考图2所示。每个选民发四张选票，投票时用手持选票两侧，水平举过头顶。用普通数码摄像机水平拍摄选民，得到包含选票文本的场景图像，如果场景太大，可以拍摄多张图片，但需要注意的是图片之间计票区间不能有交叠部分。

2、图像去噪：

将输入图像通过中值滤波器，去除图像中一些明显的噪声点，为下一步文本候选区域的选取等做好准备。实际选用时，可以使用其他更复杂的滤波器。本发明为考虑时间代价，选取简单的中值滤波。

3、MSER提取文本候选区域：

由于需要提取的文本，即“ABCD”是黑体字，而选票本身（即A4纸）是白色的，因此使用MSER提取候选区域时，只需要找出待处理图像中最稳定的“暗区域”。实际操作时，直接调用vlfeat库中的MSER区域提取函数，即可由上步中去噪后的彩色输入图像得到包含多个选票信息的文本候选区域的二值图像，二值图像中黑色部分即为候选区域。

4、连通域分割：

输入包含文本候选区域的二值图像，利用开源计算机视觉数据库（opencv）中自带的连通域提取函数得到一个个只包含单个选票的矩形候选区域图像块。步骤包括：

a.利用Harris边缘检测算子，得到二值图像的边缘图。

b.提取边缘图中所有边缘轮廓线闭合的区域，得出其外接矩形

c.从原图中截取外接矩形对应位置的图像块并保存

5、宽高比占空比过滤：

先测量四种选票中字母“ABCD”外接矩形的宽高比设定宽高比上限Hd和下限Ld，再利用设计的选票宽高比一定的特点，去除宽高比大于设定阈值Hd或者小于设定阈值Ld的矩形候选区域图像块。对于设计的选票来说，外接字母“ABCD”的矩形块中只有书写字母处为黑色，其他为白色，两者颜色所占比例的比值一定，该比值称为占空比，设定“ABCD”矩形块图像的占空比上限Ho和下限Lo。利用占空比一定的特点，去除占空比大于设定阈值Ho或者小于设定阈值Lo的矩形候选区域图像块。

6、基于模板匹配的选票文本识别

a.设计时使用的字母“A”、“B”、“C”、“D”分别保存为模板图像。

b.将矩形候选区域图像块几何归一化，使其与模板图像大小一致。

c.将矩形候选区域图像块分别与模板图像作相关匹配操作，取模板匹配相似度最大的作为矩形候选区域图像块的类别。

7、最终票数统计

选票文本检测率为90%，检测出来的矩形候选区域图像块标注在原图中。对于漏检的10%左右，通过人工查找统计分别属于哪一类。最终的票数统计结果为人工查找票数和机器统计票数分类求和。

本发明人机交互界面使用步骤如下：

a.点击读入按钮，在图片显示区域显示待处理图片

b.点击机器计票，通过图1算法得出机器统计结果，但此时并不显示统计结果，只是将待处理图片更新为显示矩形候选区域图像块的检测后图片。

c.对照检测后图片，人工统计漏检的选票，将结果填入人工输入区域。

d.点击最终结果按钮，统计结果直方图区域显示最终选票分布直方图。

Claims (10)

1.一种基于机器视觉的举牌智能识别方法，其步骤为：

1）将每一类别的选票保存为一模板图像；

2）对采集的包含选票文本的场景图像进行去噪处理；所述场景图像之间不重叠；

3）从去噪处理后的场景图像中提取包含多个选票信息的文本候选区域二值图像；

4）对所述文本候选区域二值图像进行分割，得到只包含单个选票的矩形候选区域图像块；

5）将所述候选区域图像块与每一所述模板图像进行匹配，得到每一候选区域图像块对应的选票类别。

2.如权利要求1所述的方法，其特征在于统计每一类别的选票并将匹配出选票类别的候选区域图像块标注在所述场景图像中。

3.如权利要求1或2所述的方法，其特征在于计算每一模板图像的宽高比，利用所述宽高比对所述候选图像块进行过滤，然后进行步骤5）。

4.如权利要求3所述的方法，其特征在于利用所述宽高比对所述候选图像块进行过滤的方法为：根据模板图像的宽高比，设定一宽高比上限Hd和下限Ld，滤除宽高比大于设定阈值Hd或者小于设定阈值Ld的候选区域图像块。

5.如权利要求1或2所述的方法，其特征在于计算每一模板图像的占空比，利用所述占空比对所述候选图像块进行过滤，然后进行步骤5）。

6.如权利要求5所述的方法，其特征在于利用所述占空比对所述候选图像块进行过滤的方法为：根据模板图像的占空比，设定一占空比上限Ho和下限Lo，滤除占空比大于设定阈值Ho或者小于设定阈值Lo的候选区域图像块。

7.如权利要求1所述的方法，其特征在于采用MSER方法提取包含多个选票信息的文本候选区域二值图像。

8.如权利要求1所述的方法，其特征在于所述模板图像为矩形图像，所述候选区域图像块为矩形候选区域图像块；采用开源计算机视觉数据库中的连通域对所述文本候选区域二值图像进行分割，得到只包含单个选票的矩形候选区域图像块。

9.如权利要求8所述的方法，其特征在于提取所述矩形候选区域图像块的方法为：首先利用Harris边缘检测算子，得到二值图像的边缘图；然后提取该边缘图中所有边缘轮廓线闭合的区域，得出其外接矩形；然后从所述二值图像中截取该外接矩形区域的图像块，得到所述矩形候选区域图像块。

10.如权利要求1所述的方法，其特征在于所述步骤5）中，首先将所述候选区域图像块几何归一化，使其与模板图像大小一致。

Images