CN109871844A - 一种拍摄小票图像文本矫正和提取方法 - Google Patents

Abstract

本发明公开了一种拍摄小票图像文本矫正和提取方法，方法首先根据纸张颜色去除非小票像素得到掩模图，再由掩模图提取小票边缘像素，拟合边缘像素得到多条小线段；拼接小线段，连接四边边线，形成闭合区域；计算角点，进行角点匹配，通过角点将小票分成多个子图进行矫正；对二值图像进行膨胀，将左右文字连通，检出文本行，对所有倾斜的文本行进行倾斜矫正，按文本行框在原图位置合成新文本图像。本发明应用于小票OCR前预处理，提高文本识别精度。

Description

一种拍摄小票图像文本矫正和提取方法

技术领域

本发明涉及一种拍摄小票图像中文本矫正和提取技术,属于图像处理技术领域。

背景技术

购物小票多数不能作为正式发票使用，其上面一般有在多长时间之内可以开发票的说明。可以开发票的购物小票需要将其信息录入计算机，用发票的模版打印出来，这样就可以作为发票使用，且这种趋势越来越明显。此外，当出现售后纠纷时需要顾客出示购物小票，收银人员现场向系统录入小票信息查验核实，处理纠纷。录入小票后也会方便后续管理。

有许多场合需要向计算机系统录入小票，传统手工录入小票耗时且效率低，需要借助OCR技术进行自动识别和处理。但客户手中的小票往往会出现褶皱、弯折等，手机或其它移动设备拍摄角度多样、拍摄背景复杂，导致拍摄的图像文本比扫描复印的图像文本识别难度大，识别精度低。因此，对拍摄的小票图像进行预处理，矫正和提取其中的文本对提高OCR识别精度至关重要。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种拍摄小票图像文本矫正和提取方法，可以有效提高OCR识别率，节省人力成本和时间成本。

为达到上述目的，本发明采用的技术方案是：一种拍摄小票图像文本矫正和提取方法，其包含以下步骤：

步骤一，提取小票边缘像素

本发明对原图像中间40*40像素区域采样，将所得像素聚成两类，取聚类中心得到RGB值较小的印刷文本颜色，RGB值较大的为纸张颜色，由此判断原图像中像素是否属于小票像素，去除非小票像素，得到小票像素的掩模图，再提取掩模图跳变像素，即得到小票的边缘像素。

步骤二，拟合边缘像素

通过概率霍夫变换找到小票轮廓小线段。

步骤三，小线段分类

对步骤二得到的线段分成4类，分别是上线段、下线段、左线段、右线段。

步骤四，小线段拼接

调整线段端点，使小的为起点，大的为终点。将所有线段按照起点排序。排序后去除重复线段，如重规则如下：

（1）一端靠近且斜率相近；

（2）去除靠内侧或较短的线。

对长度有重合的部分线段进行合并、重组。再通过延长、平移将边线补齐，最后连接四边边线，形成闭合区域。

步骤五，计算角点

根据相邻线段的斜率差查找左右边线角点，同时权衡线段的长度对小票弯折情况的影响，对长线段斜率差进行相应惩罚。查找完左右边线角点，进行角点匹配。匹配完后通过角点将小票从弯折处附近将小票图像分成多个子图。

步骤六，子图矫正

通过透视变换依次将畸变的子图拉正。

步骤七，文本行检测

对二值图像进行膨胀，将左右文字连通，使用最小外接矩形框包围单行文本连通区域，去除非文本行，检出文本行；

步骤八，新小票文本图像合成

对所有倾斜的文本行进行倾斜矫正，按文本行框在原图位置依次将文本行图像复制到新的空白图像中，控制上下行距与左右留白。

进一步的，所述步骤四中线段拼接完毕后根据文本距离调整，使其不碰到文字，且不出纸面。

进一步的，所述步骤五中角点匹配，一个左角点需要有一个右角点进行匹配，若当前右角点未匹配到左角点，则去掉此右角点；若当前左角点未匹配到右角点，则去掉此左角点。

进一步的，所述步骤五中角点匹配完成后，微调角点上下位置，使左右角点连线避免切到文本。

进一步的，所述步骤七中图像膨胀方向为水平方向。

进一步的，所述步骤七中去除非文本行：统计平均行高，去除行高大于1.5倍或小于0.5倍平均行高的行，这些矩形框是LOGO图案等非文本行。

有益效果：

本发明提供一种拍摄小票图像文本矫正和提取方法，相比现有技术，具有以下有益效果：

本发明方法在二值图像的基础上，利用纸张的颜色信息，提取了小票的掩模图，有效去除了复杂背景对小票边缘提取的影响。本发明方法能够处理不同光照环境、不同弯折程度的拍摄小票图像，相对于直接对原图进行文本识别，提高了拍摄小票的文本识别准确率。

附图说明

图1是本发明的一种拍摄小票图像文本矫正和提取方法步骤流程示意图；

图2是本发明的实例原始图；

图3是本发明的实例自适应二值图；

图4是本发明的小票像素掩模图；

图5是本发明的线段拼接图；

图6是本发明的角点查找图；

图7是本发明的新小票文本合成图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和具体实施例，对本发明做进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1到图7所示，本发明公开的一种拍摄小票图像文本矫正和提取方法，其包括以下步骤：

步骤一，传统方法是直接对原图进行二值化提取纸张边缘，但由于拍摄的图像背景杂乱，直接二值化效果并不理想。本发明对原图像中间40*40像素区域采样，将所得像素聚成两类，取聚类中心得到RGB值较小的印刷文本颜色，RGB值较大的为纸张颜色。判定原图像中像素是否属于小票像素，去除非小票像素，判定规则如下：

（1-1）使用1标记小票像素、0标记非小票像素，原图每个像素位置标记1；

（1-2）从四周往中间搜索，四周5个像素判定为非小票边缘像素，标记0；

（1-3）从左往右搜索，若原图当前像素右边11个像素中有大于等于5个像素为纸张背景颜色，判定当前像素为小票像素，停止此方向搜索；否则判定当前像素为非小票像素，标记0，继续此方向搜索；

（1-4）从右往左搜索，原图当前像素左边11个像素中有大于等于5个像素为纸张背景颜色，判定当前像素为小票像素，停止此方向搜索；否则判定当前像素为非小票像素，标记0，继续此方向搜索；

（1-5）从上往下搜索，原图当前像素下方11个像素中有大于等于5个像素为纸张背景颜色，判定当前像素为小票像素，停止此方向搜索；否则判定当前像素为非小票像素，标记0，继续此方向搜索；

（1-6）从下往上搜索，原图当前像素11个像素中有大于等于5个像素为纸张背景颜色，判定判定当前像素为小票像素，停止此方向搜索；否则判定当前像素为非小票像素，标记0，继续此方向搜索。

其中规则1和规则2先于规则3到6，规则3到6之间无先后顺序，可并行或串行搜索。通过上述判定规则即可得到是否为小票像素的掩模图，再提取掩模图跳变像素，即得到小票的边缘像素。

步骤二，通过概率霍夫变换找到小票轮廓小线段。

步骤三，将步骤二得到的小线段按位置分成4类，分别是上线段、下线段、左线段、右线段，分类规则如下：

（3-1）根据线段斜率，将线段分成水平线段和竖直线段；

（3-2）在分平线段中，统计所有分平线段中心点竖直方向坐标，计算均值，竖直方向坐标值小于均值的为上线段，否则为下线段

（3-3）在竖直线段中，统计所有竖直线段中心点水平方向坐标，计算均值，水平方向坐标值小于均值的为左线段，否则为右线段；

（3-4）未分类的线段去除。

步骤四，调整线段端点，使小的为起点，大的为终点。将所有线段按照起点排序。排序后去除重复线段，如重规则如下：

（4-1）一端靠近且斜率相近；

（4-2）去除靠内侧或较短的线。

对长度有重合的线段进行合并、重组，通过延长、平移将边线补齐，连接四边边线，形成闭合区域。线段拼接完毕后根据文本距离调整，使其不碰到文字，且不出纸面。

步骤五，计算角点。根据相邻线段的斜率差查找左右边线角点，权衡线段的长度对小票弯折情况的影响，对长线段斜率差进行相应惩罚。查找完左右边线角点，进行角点匹配，一个左角点需要有一个右角点进行匹配，若当前右角点未匹配到左角点，则去掉此右角点；若当前左角点未匹配到右角点，则去掉此左角点。匹配完成后，微调角点上下位置，使左右角点连线避免切到文本。通过角点将小票从弯折处附近分成多个子图。

步骤六，通过透视变换依次将畸变的子图拉正；

步骤七，对小票区域原图使用OTSU法二值化，在水平方向对文本行膨胀，将左右文字连通，使用最小外接矩形框包围单行文本连通区域。统计平均行高，去除行高大于1.5倍或小于0.5倍平均行高的行，这些矩形框是LOGO图案等非文本行。

步骤八，新小票文本图像合成。按每个最小外接矩形框位置分行，对倾斜的行进行旋转，使矩形水平。按文本行框在原图位置依次将文本图像复制到新的空白图像中，控制上下行距与左右留白。

尽管这里参照本发明的解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种拍摄小票图像文本矫正和提取方法，其特征在于，包括以下步骤：

提取小票边缘像素，根据纸张颜色去除非小票像素，得到小票像素的掩模图，由此提取小票的边缘像素；

通过概率霍夫变换找到小票轮廓线段；

将线段分成上下左右4类；

对线段进行拼接，调整线段端点，使小的为起点，大的为终点，将所有线段按照起点排序，排序后去除重复线段，对长度有重合的线段进行合并、重组，再通过延长、平移将边线补齐，最后连接四边边线，形成闭合区域；

计算角点，根据相邻线段的斜率差查找左右边线角点，匹配角点，通过角点将小票图像分成多个子图；

子图矫正，通过透视变换依次将畸变的子图拉正；

文本行检测，对二值图像进行膨胀，将左右文字连通，使用最小外接矩形框包围单行文本连通区域，去除非文本行，检出文本行；

合成新文本图像，对所有倾斜的文本行进行倾斜矫正，按文本行框在原图位置按照上下、左右顺序合成新文本图像。

2.根据权利要求1所述的一种拍摄小票图像文本矫正和提取方法，其特征在于：所述步骤（4）中线段拼接后调整边线与文本距离，使其不碰到文字，且不出纸面。

3.根据权利要求1所述的一种拍摄小票图像文本矫正和提取方法，其特征在于，所述步骤（5）中角点匹配，一个左角点需要有一个右角点进行匹配，若当前右角点未匹配到左角点，则去掉此右角点；若当前左角点未匹配到右角点，则去掉此左角点。

4.根据权利要求1所述的一种拍摄小票图像文本矫正和提取方法，其特征在于，所述步骤（5）中角点匹配完成后，微调角点上下位置，使左右角点连线避免切到文本。

5.根据权利要求1所述的一种拍摄小票图像文本矫正和提取方法，其特征在于，所述步骤（7）中图像膨胀方向为水平方向。

6.根据权利要求1所述的一种拍摄小票图像文本矫正和提取方法，其特征在于，所述步骤（7）中去除非文本行的方法如下：统计平均行高，去除行高大于1.5倍或小于0.5倍平均行高的行，这些矩形框是LOGO图案等非文本行。