CN110377640A - 一种基于深度学习投票统计方法 - Google Patents

Abstract

本发明属于数字图像处理领域，涉及一种基于深度学习的投票统计方法，所述的统计方法包括以下步骤：第一步，票型设计。第二步，图像预处理：对采集的得到的选票图片进行预处理。第三步，表格检测：检测图片中表格最外侧的两条直线，检测图片中表格的四个角点；检测图片中表格内部的线段，包括垂直方向与水平方向的线段，检测结果为线段两端的坐标。第四步，根据第三步得到的表格线段信息对表格单元格进行分割。第五步，标记分类。第六步，投票统计。本发明实施简单、操作难度低，能够实时处理投票数据，大大节约计票时间，准确率高，识别率高达99.99％，结果可信度高，能够应对多种颜色的选票背景以及多种票型，算法具有普适性。

Description

一种基于深度学习投票统计方法

技术领域

本发明属于数字图像处理领域，涉及一种基于深度学习的投票统计方法。

背景技术

目前投票是一种常用的群体决策方法，常出现在选举工作中。

但随着候选人数的增多以及投票数的增多，使得人工计票这一环节的时间成本急剧增长。此外由于生理因素的影响，大量的人工计票工作也会带来统计的误差。

随着深度学习方法的不断发展，其在目标分类、检测和分割领域的表现越来越突出。基于深度学习的分类检测算法准确率高，适应性好，在某些分类任务上的能力甚至超过人类本身。

发明内容

为了解决现有技术问题，本发明提供一种基于深度学习的投票统计方法，用计算机来代替人工，以人工计票费时费力和准确率得不到保证的问题。

一种基于深度学习投票统计方法，包括以下步骤：

第一步，选票票型设计：为了提升投票的处理速度以及系统的稳定性，本发明采用表格样式的选票票型设计方案，票样如图1所示。表格样式的票型设计要求如下：

1.1表格样式：采用二维表格，即不允许表中嵌表，以此降低算法复杂度以及检测难度。候选人信息按照一定格式罗列在表格中。

1.2标记：在表格中做出可分辨标记；可采用〇表示选中改候选人，空白、 X、不做标记涂改视作不选。

第二步，图像预处理：对采集的得到的选票图片进行预处理，预处理的步骤包括：

2.1将选票图片进行灰度化处理：考虑到选票会使用到不同颜色作为背景(常用的有粉色、青绿色、蓝色等)。使用灰度化可以解决选票颜色背景不统一的问题。

2.2使用大津算法OSTU对灰度化处理后的图片进行图像二值化处理。由于 OSTU通过统计整个图像的直方图特性来实现全局阈值的选取，可以避免手工选取阈值，因此可以很好的应对不同颜色选票灰度化结果差异的问题。由于表格线条以及投票标记均用黑色记号，因此在使用OSTU后对像素点进行反转操作。

2.3对二值化处理后的图片进行膨胀：由于选票在发放、填写、扫描过程中造成的表格像素点的丢失，这会导致接下来的表格检测的不稳定性。使用形态学膨胀方法可以带来加粗线条的作用，在一定程度上可以降低表格线像素点丢失的问题。

第三步，表格检测：由于简单二维表格构造特性，对膨胀处理后的图片采用投影法与区域增长法来进行表格检测，检测结果的输出为一系列直线(直线用两点式表示)。

3.1检测图片中表格最外侧的两条直线，具体的采用滑动窗体的形式检测垂直线段的边缘，由此得到两条竖直方向的线。

3.2检测图片中表格的四个角点，具体做法为以直线两点式的进行区域增长，最终可以得到表格框的四个角点，这四个点用于确定表格最外侧的四条线段。

3.3检测图片中表格内部的线段，包括垂直方向与水平方向的线段，检测结果为线段两端的坐标。具体做法为基于区域增长的投影方法，以及K-Mean聚类算法。选票在打印与扫描过程中会出现一定角度的旋转以及表格内包含的文字信息，如果采用直接投影的方法会导致检测失败。由于在上一步骤种已经检测到表格的四个角点，因此能得到水平与垂直方向的线段的斜率，根据对应的斜率进行区域增长，然后再投影就能得到表格线段的端点。

第四步，标记提取：

根据第三步得到的表格线段信息对表格单元格进行分割，根据表格信息摆放的先验知识可以提取标记所在的单元格。

选票表格信息摆放的先验知识，包括标记所在的列或行、标记与候选人的对应关系、最多投票数(统计废票用)、候选人的数量(统计额外候选人用)，表格主体在纸张中的大体位置。

第五步，标记分类：

由于选票标记特征相对简单，本发明使用改进的VGG16作为标记的分类器， VGG16架构能够很好的应对复杂的标记信息如涂改、模糊等。本发明的采用改进的VGG16主体架构不变，将VGG16网络的通道数从[64,128,256,512,512] 降至[4,8,32,64,128]。这样做保留了VGG16的特征提取能力的同时极大的加速了分类运行的速度并且降低算法运行的硬件资源需求。

第六步，投票统计：

对于每一张选票统计其中的选票信息，最终输出每个候选人的得票数、废票张数、以及详细的识别结果。

本发明的有益效果：

本发明实施简单、操作难度低，能够实时处理投票数据，大大节约计票时间，准确率高，识别率高达99.99％，结果可信度高，能够应对多种颜色的选票背景以及多种票型，算法具有普适性。

附图说明

图1为本发明实施例公开的一种投票统计方法流程图。

图2为本发明实施例公开的一种纸质选票票样一。

图3为本发明实施例公开的一种纸质选票票样二。

图4为本发明实例公开的一种表格检测方法流程图。

图5为本发明实例公开的VGG16架构图。

具体实施方式

下面将结合本发明实例中的附图，对本发明实例中的技术方案进行清楚完整地描述，本实例描述的仅是本发明的一部分实例不是全部的实例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

一种基于深度学习投票统计方法，计票流程图如图1所示，包括：

步骤1，选票的设定；

为了降低计票流程的复杂度，本发明对选票样式进行了一定程度的限制。本发明的两种选票票样如图2和图3所示。首先选票表格的为简单的二维表格，候选人信息按照一定格式罗列在表格中。本投票系统需要选票的先验知识，包括标记所在的列(或行)、标记与候选人的对应关系、最多投票数(统计废票用)、候选人的数量(统计额外候选人用)，表格主体在纸张中的大体位置。

步骤2，图像预处理；

选票的自动统计需要电子扫描版的选票，格式为jpg。如本例使用A4纸作打印选票，电子扫描的长边与短边的长度分别为(3500，2560)。

选票图像的预处理步骤包括灰度化、OSTU二值化和形态学膨胀操作。

步骤2，表格的检测。

表格检测的步骤如图4所示。该步骤需要的先验知识为表格在A4纸上的大致位置比例(用百分比表示)、表格竖直方向线段数量以及表格水平方向线段数量，利用这些先验知识可以帮助快速定位表格。

首先使用累加滑动窗算子定位表格两侧的垂线段。该滑动窗算子为一维列向量长度为N，用于检测垂线段。如检测表格左侧线段，将该算子从左至右滑动，滑动过程中将算子与窗口中的列向量进行或运算，然后将得到的结果保留在算子中，接着求和算子并将结果除以N，得到百分比β，若β大于一定的阈值 (设为thresh)则认定检测到垂直线段上的一个点(一般的设N＝50，thresh＝0.95)。用同样的方法可以检测到线段上的另一个点，由此便确定了一条垂线段。例如图2所示票样，若表格垂直方向3500像素点，垂直方向所占区间为[1300,2560]，那么该表格垂直区间为[0.37,0.73]。为了应对打印扫描过程中表格移位与倾斜的情况，将算子的竖直方向滑动起点设置在0.45与0.65处。这样便可检测到表格左侧的线段上的两个点，同样的方法可以检测到表格右侧的线段上的两个点。

然后利用区域增长法来检测表格的四个角点。根据直线方程对上一步中得到的点进行区域增长，由此可以得到表格的四个角点。

最后检测表格内部的线段。如果表格单元格是均匀划分，那么利用上一步骤得到表格的四个角点就可以方便的划分出表格的内部线段(如表格单元格水平方向线段)。对于非均匀划分的情况(如表格单元格垂直方向线段)可以根据先验知识来进行划分，例如事先得到各个单元格的偏移量。这种方法速度快，但是需要先验输入较多，很难适应票样的变化。本发明采用投影+区域增长+K 均值聚类的方法来解决单元格划分。利用表格的四个角点和简单表格内部线段平行的特性，可以实施以直线方程为策略的区域增长算法。例如用此方法可以求出表格顶部水平线段与表格上所有垂直的线段的交点。为了消除表格中文字与断点对于交点检测的干扰，区域增长到一定步长无法在继续增长后便停止增长。用此方法可以得到表格最外围的交点坐标，这些交点坐标确定了该表格的线段。

步骤3，标记提取与分类；

步骤2得到的表格信息加上标记所在列的信息，便可以将标记提取出来。为了方便分类网络分类，在提取标记单元格时保留单元格的边框线。提取示例如图1步骤4所示。提取的过程中保留与相应候选人的对应关系。截取后的单元格统一归一化到64x64像素大小。

标记的分类网络采用VGG16架构，该架构能够很好的应对复杂的标记信息如涂改、模糊等。其分类网络架构图如图5所示，主体架构不变，将网络的通道数从[64,128,256,512,512]降至[4,8,32,64,128]。

步骤4，票数统计。

对于每张选票，在对票内标记分类之后，将选票结果加至对应的候选人上。

Claims (5)

1.一种基于深度学习投票统计方法，其特征在于，包括以下步骤：

第一步，选票票型设计：

1.1表格样式：采用二维表格，即不允许表中嵌表；

1.2标记：在表格中做出可分辨标记；

第二步，图像预处理：对采集的得到的选票图片进行预处理，预处理的步骤包括：

2.1将选票图片进行灰度化处理；

2.2使用大津算法OSTU对灰度化处理后的图片进行图像二值化处理，并对像素点进行反转操作；

2.3对二值化处理后的图片进行膨胀处理；

第三步，表格检测：

3.1检测图片中表格最外侧的两条直线，具体的采用滑动窗体的形式检测垂直线段的边缘，由此得到两条竖直方向的线；

3.2检测图片中表格的四个角点，具体做法为以直线两点式的进行区域增长，最终可以得到表格框的四个角点，这四个点用于确定表格最外侧的四条线段；

3.3检测图片中表格内部的线段，包括垂直方向与水平方向的线段，检测结果为线段两端的坐标；具体做法为基于区域增长的投影方法，以及K-Mean聚类算法；

第四步，标记提取：

根据第三步得到的表格线段信息对表格单元格进行分割，根据表格信息摆放的先验知识可以提取标记所在的单元格；

选票表格信息摆放的先验知识，包括标记所在的列或行、标记与候选人的对应关系、最多投票数和候选人的数量；

第五步，标记分类：

使用VGG16架构作为标记的分类器进行标记分类；

第六步，投票统计：

对于每一张选票统计其中的选票信息，最终输出每个候选人的得票数、废票张数、以及详细的识别结果。

2.如权利要求1所述的一种基于深度学习投票统计方法，其特征在于，第五步中，标记分类采用改进的VGG16作为标记的分类器，所述改进的VGG16主体架构不变，将VGG16网络的通道数从[64,128,256,512,512]降至[4,8,32,64,128]。

3.如权利要求1或2所述的一种基于深度学习投票统计方法，其特征在于，步骤1.2中，分辨标记可采用〇表示选中改候选人，空白、X、不做标记涂改视作不选。

4.如权利要求1或2所述的一种基于深度学习投票统计方法，其特征在于，步骤3.1中，采用滑动窗体的形式检测垂直线段的边缘，具体操作步骤如下：累加滑动窗算子定位表格两侧的垂线段；该滑动窗算子为一维列向量长度为N，用于检测垂线段；检测表格左侧线段，将该算子从左至右滑动，滑动过程中将算子与窗口中的列向量进行或运算，然后将得到的结果保留在算子中，接着求和算子并将结果除以N，得到百分比β，若β大于一定的阈值，则认定检测到垂直线段上的一个点。

5.如权利要求3所述的一种基于深度学习投票统计方法，其特征在于，步骤3.1中，采用滑动窗体的形式检测垂直线段的边缘，具体操作步骤如下：累加滑动窗算子定位表格两侧的垂线段；该滑动窗算子为一维列向量长度为N，用于检测垂线段；检测表格左侧线段，将该算子从左至右滑动，滑动过程中将算子与窗口中的列向量进行或运算，然后将得到的结果保留在算子中，接着求和算子并将结果除以N，得到百分比β，若β大于一定的阈值，则认定检测到垂直线段上的一个点。