CN111814780A - 一种票据图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种票据图像处理方法、装置、设备及存储介质，该方法包括：读取彩色的票据图像，检测并去除票据图像中包含的横向线条，确定票据图像中横向线条去除前所在的区域为目标区域；对目标区域进行图像形态学的腐蚀操作，以恢复目标区域中应包含的属于票据图像中的文本的竖向笔画；确定去除横向线条前，票据图像上横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。通过上述方式实现横向线条部分的笔画的准确恢复，提高OCR识别准确率，保证业务流程的顺利实现。

Description

一种票据图像处理方法、装置、设备及存储介质

技术领域

本发明涉及计算机图像处理技术领域，更具体地说，涉及一种票据图像处理方法、装置、设备及存储介质。

背景技术

金融行业票据中经常包含各种特殊作用的横向线条(也可以称为横向线条)，如大写金额区域下的横向线条、表格边缘的横向线条等；当文字印刷或书写在这些横向线条上时，票据通过扫描等方式转为数字化图像，再通过光学字符识别(Optical CharacterRecogniziton，OCR)技术将其处理成文字编码，这些横向线条便成为了OCR识别的干扰因素，严重降低了票据中文本的识别正确率。目前通常是直接将横向线条去除后直接对票据进行OCR识别，但是当去除了票据中的横向线条后导致文本笔画断裂和缺失时，如当横向线条位于“三”的中部时，去除横向线条导致票面上的“三”变为了“二”；则会导致OCR错误识别，影响业务流程。

发明内容

本发明的目的是提供一种票据图像处理方法、装置、设备及存储介质，能够实现横向线条部分的笔画的准确恢复，提高OCR识别准确率，保证业务流程的顺利实现。

为了实现上述目的，本发明提供如下技术方案：

一种票据图像处理方法，包括：

读取彩色的票据图像，检测并去除所述票据图像中包含的横向线条，并确定所述票据图像中所述横向线条去除前所在的区域为目标区域；

对所述目标区域进行图像形态学的腐蚀操作，以恢复所述目标区域中应包含的属于所述票据图像中的文本的竖向笔画；

确定去除所述横向线条前，所述票据图像上所述横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与所述标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。

优选的，检测所述票据图像中包含的横向线条，包括：

对所述票据图像依次进行灰度化操作、二值化操作及图像形态学的膨胀操作，对所述票据图像进行Canny边缘检测，并基于检测所得结果采用概率霍夫变换检测所述票据图像中包含的横向线条。

优选的，对所述票据图像进行二值化操作，包括：

将所述票据图像划分为多个图像块，计算每个所述图像块中的灰度均值，确定每个所述图像块中的灰度均值为该图像块的二值化阈值，并基于每个所述图像块的二值化阈值对该图像块进行二值化操作。

优选的，去除所述票据图像中包含的横向线条，包括：

采用泛洪填充算法将所述票据图像中的横向线条包含的像素点，均设置为与所述票据图像中非文本的背景部分包含的像素点的像素值。

优选的，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值之后，还包括：

对所述票据图像进行图像形态学的膨胀操作。

优选的，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对所述票据图像进行图像形态学的膨胀操作之后，还包括：

将所述票据图像写入至预先创建的文件中。

优选的，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对所述票据图像进行图像形态学的膨胀操作之后，还包括：

将所述票据图像输出至预先指定的终端中。

一种票据图像处理装置，包括：

预处理模块，用于：读取彩色的票据图像，检测并去除所述票据图像中包含的横向线条，并确定所述票据图像中所述横向线条去除前所在的区域为目标区域；

第一恢复模块，用于：对所述目标区域进行图像形态学的腐蚀操作，以恢复所述目标区域中应包含的属于所述票据图像中的文本的竖向笔画；

第二恢复模块，用于：确定去除所述横向线条前，所述票据图像上所述横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与所述标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。

一种票据图像处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述票据图像处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述票据图像处理方法的步骤。

本发明提供了一种票据图像处理方法、装置、设备及存储介质，该方法包括：读取彩色的票据图像，检测并去除所述票据图像中包含的横向线条，并确定所述票据图像中所述横向线条去除前所在的区域为目标区域；对所述目标区域进行图像形态学的腐蚀操作，以恢复所述目标区域中应包含的属于所述票据图像中的文本的竖向笔画；确定去除所述横向线条前，所述票据图像上所述横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与所述标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。本申请公开的技术方案中，在去除票据图像中的横向线条后，利用腐蚀操作实现横向线条部分竖向笔画的恢复，基于文本与线条之间的色彩差异实现横向线条部分笔画的恢复，从而通过上述方式实现横向线条部分的笔画的准确恢复，进而提高OCR识别准确率，保证业务流程的顺利实现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种票据图像处理方法的流程图；

图2为本发明实施例提供的一种票据图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种票据图像处理方法的流程图，可以包括：

S11：读取彩色的票据图像，检测并去除票据图像中包含的横向线条，并确定票据图像中横向线条去除前所在的区域为目标区域。

本发明实施例提供的一种票据图像处理方法的执行主体可以为对应的票据图像处理装置；本申请可以应用于金融行业的票据(发票、转账支票、进账单等)的票据图像处理，当然也可以应用于其他需要对票据进行票据图像处理以实现文本识别的领域，均在本发明的保护范围之内。其中，票据图像即为对票据进行拍摄得到的彩色图像；在读取得到票据图像后，可以检测并去除票据图像中包含的横向线条，进而确定横向线条去除前所在的区域为目标区域，对目标区域应具有的文本进行恢复。

另外，票据图像可以为整个票据的图像，也可以为对票据进行切片后得到的票据切片图像，均在本发明的保护范围之内。

S12：对目标区域进行图像形态学的腐蚀操作，以恢复目标区域中应包含的属于票据图像中的文本的竖向笔画。

其中腐蚀操作与现有技术中对应技术方案的实现原理一致，在此不再过多赘述。通过对目标区域进行竖向的腐蚀操作，可以恢复目标区域应具有的文本的竖向笔画，如“十”字的竖线“丨”则可以通过腐蚀操作恢复，从而通过线条宽度特征补全文本的笔画。

S13：确定去除横向线条前，票据图像上横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。

可以将去除横向线条前的票据图像称为原始图像，去除横向线条后的票据图像称为待处理图像，由于原始图像中包含的文本及线条一般存在色彩差异(如线条是蓝色，文本是黑色)，而原始图像中包含的文本一般所用颜色相同，且被横向线条覆盖的文本所用颜色与横向线条之外其他区域的文本所用颜色之间的差异较小；因此，本实施例中可以获取到原始图像中横向线条之外的其他区域包含的文字的像素点的像素值(本申请实施例中的像素值具体均可以为RGB值)，进而确定该像素值为标准像素值，然后获取到原始图像中横向线条包含的每个像素点的像素值，进而确定每个像素值为待测像素值，如果任一待测像素值与标准像素值的差值在差值阈值(差值阈值可以根据实际需要进行设定)内，则说明两者之间的差异较小，因此可以确定该任一待测像素值应为属于文本的像素值，将在待处理图像中与该任一待测像素值对应像素点的位置相同的像素点的像素值，设置为与待处理图像中文本的像素点的像素值相同的值即可实现对应笔画的恢复；如果任一待测像素值与标准像素值的差值不在差值阈值(差值阈值可以根据实际需要进行设定)，则说明两者之间的差异较大，因此可以确定该任一待测像素值为不属于文本的像素值。从而实现基于颜色特征方法的文本笔画补全。

本申请公开的技术方案中，在去除票据图像中的横向线条后，利用腐蚀操作实现横向线条部分竖向笔画的恢复，基于文本与线条之间的色彩差异实现横向线条部分笔画的恢复，从而通过上述方式实现横向线条部分的笔画的准确恢复，进而提高OCR识别准确率，保证业务流程的顺利实现。

本发明实施例提供的一种票据图像处理方法，检测票据图像中包含的横向线条，可以包括：

对票据图像依次进行灰度化操作、二值化操作及图像形态学的膨胀操作，对票据图像进行Canny边缘检测，并基于检测所得结果采用概率霍夫变换检测票据图像中包含的横向线条。

在实现横向线条检测时，可以对票据图像进行灰度化操作，以得到相应的灰度图像，然后对灰度图像进行二值化操作，得到对应的二值化图像；通过这种方式实现对票据切片图像的预处理，能够使得票据切片图像包含像素点的像素值较单一，进而便于后续对其进行相应的识别；然后对二值化图像进行图像形态学膨胀操作，从而能够去除背景独立的干扰色块，进一步提高票据图像识别时的准确性。另外，在实现横向线条检测时，可以先对票据图像进行Canny边缘检测，进而基于Canny边缘检测得到的结果，采用概率霍夫变换检测横向线条，实验证明这种方式能够实现横向线条的准确检测。

本发明实施例提供的一种票据图像处理方法，对票据图像进行二值化操作，可以包括：

将票据图像划分为多个图像块，计算每个图像块中的灰度均值，确定每个图像块中的灰度均值为该图像块的二值化阈值，并基于每个图像块的二值化阈值对该图像块进行二值化操作。

在实现二值化操作时，可以按照实际需要将票据图像划分为多个图像块，进而计算任一图像块内每个像素点的灰度值的平均值为该任一图像块的二值化阈值，进而将该任一图像块内灰度值大于该任一图像块的二值化阈值的像素点的值设为1，其余的均设为0，从而通过这种自适应阈值二值化操作，使得二值化操作能够符合相应区域内的图像特点，从而进一步保证二值化操作的准确性。

本发明实施例提供的一种票据图像处理方法，去除票据图像中包含的横向线条，可以包括：

采用泛洪填充算法将票据图像中的横向线条包含的像素点，均设置为与票据图像中非文本的背景部分包含的像素点的像素值。

其中，实现横向线条去除时，具体可以是采用泛洪填充算法将横向线条区域的各像素点的像素值均替换为与背景部分包含的像素点的像素值，该像素值通常为0；从而通过这种方式简单方便的实现横向线条的去除。

本发明实施例提供的一种票据图像处理方法，将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值之后，还可以包括：

对票据图像进行图像形态学的膨胀操作。

在通过本申请公开的技术方案实现对横向线条区域的笔画恢复后，还可以再次对票据图像进行图像形态学膨胀操作，从而去除背景独立的干扰元素，进一步保证对票据图像进行文本识别时的准确性。

本发明实施例提供的一种票据图像处理方法，将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对票据图像进行图像形态学的膨胀操作之后，还可以包括：

将票据图像写入至预先创建的文件中。

在实现横向线条去除及相应笔画补全后，可以将票据图像自动写入至预先创建的文件中，从而在后续实现票据图像的文本识别时直接从该文件中获取票据图像，进而实现文本识别即可，便于在后续对票据图像进行文本识别时实现图像的快速方便获取。

本发明实施例提供的一种票据图像处理方法，将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对票据图像进行图像形态学的膨胀操作之后，还可以包括：

将票据图像输出至预先指定的终端中。

另外，为了便于用户获知去除横向线条后笔画补全的情况，可以将票据图像自动输出至预先指定的终端中，从而便于终端对应人员可以及时获取到票据图像。

在一种具体应用场景中，发明实施例提供的一种票据图像处理方法可以包括以下步骤：

步骤A票据图像二值化

A1读取票据图像

A2对票据图像进行灰度化操作，得到灰度图像；

A3对灰度图像进行自适应阈值二值化操作，得到二值化图像；

A4对二值化图像进行图像形态学膨胀操作，去除背景独立的干扰色块；

步骤B横向线条检测：

B1 Canny边缘检测；

B2采用概率霍夫变换检测横向线条；

步骤C横向线条去除

采用泛洪填充算法将横向线条区域替换为背景数值0；

步骤D文本笔画补全

D1基于线条宽度特征补全文本笔画：通过腐蚀操作恢复文本中竖向笔画，如“十”字的竖线“丨”，但无法恢复较长的横向笔画，如“三”字的中横向线条；

D2基于颜色特征方法补全文本笔画：票据图像中的横向线条和文本中的字符存在色彩差异性(如横向线条是蓝色，文本是黑色)，在彩色的票据图像中的横向线条区域，拾取文本色彩区域(包含了文本区域、文本与横向线条重合区域)，采用泛洪填充算法在D1的基础上对文本色彩区域进行补全，从而达到了恢复文本笔画的目的；

D3采用图像形态学膨胀操作，去除背景独立的干扰元素；

D4将图像写入文件。

本申请对背景存在横向线条的票据图像中的横向线条进行检测并去除后，补全横向线条区域的文本笔画，最后进行OCR识别，能够辅OCR识别系统，扩大了使用范围，提高识别准确率。

本发明实施例还提供了一种票据图像处理装置，如图2所示，可以包括：

预处理模块11，用于：读取彩色的票据图像，检测并去除票据图像中包含的横向线条，并确定票据图像中横向线条去除前所在的区域为目标区域；

第一恢复模块12，用于：对目标区域进行图像形态学的腐蚀操作，以恢复目标区域中应包含的属于票据图像中的文本的竖向笔画；

第二恢复模块13，用于：确定去除横向线条前，票据图像上横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。

本发明实施例提供的一种票据图像处理装置，预处理模块可以包括：

检测单元，用于：对票据图像依次进行灰度化操作、二值化操作及图像形态学的膨胀操作，对票据图像进行Canny边缘检测，并基于检测所得结果采用概率霍夫变换检测票据图像中包含的横向线条。

本发明实施例提供的一种票据图像处理装置，检测单元可以包括：

检测子单元，用于：将票据图像划分为多个图像块，计算每个图像块中的灰度均值，确定每个图像块中的灰度均值为该图像块的二值化阈值，并基于每个图像块的二值化阈值对该图像块进行二值化操作。

本发明实施例提供的一种票据图像处理装置，预处理模块可以包括：

去除单元，用于：采用泛洪填充算法将票据图像中的横向线条包含的像素点，均设置为与票据图像中非文本的背景部分包含的像素点的像素值。

本发明实施例提供的一种票据图像处理装置，还可以包括：

去噪模块，用于：将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值之后，对票据图像进行图像形态学的膨胀操作。

本发明实施例提供的一种票据图像处理装置，还可以包括：

写入模块，用于：将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对票据图像进行图像形态学的膨胀操作之后，将票据图像写入至预先创建的文件中。

本发明实施例提供的一种票据图像处理装置，还可以包括：

输出模块，用于：将票据图像中目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对票据图像进行图像形态学的膨胀操作之后，将票据图像输出至预先指定的终端中。

本发明实施例还提供了一种票据图像处理设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项票据图像处理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项票据图像处理方法的步骤。

需要说明的是，本发明实施例提供的一种票据图像处理装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种票据图像处理方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种票据图像处理方法，其特征在于，包括：

读取彩色的票据图像，检测并去除所述票据图像中包含的横向线条，并确定所述票据图像中所述横向线条去除前所在的区域为目标区域；

对所述目标区域进行图像形态学的腐蚀操作，以恢复所述目标区域中应包含的属于所述票据图像中的文本的竖向笔画；

确定去除所述横向线条前，所述票据图像上所述横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与所述标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。

2.根据权利要求1所述的方法，其特征在于，检测所述票据图像中包含的横向线条，包括：

对所述票据图像依次进行灰度化操作、二值化操作及图像形态学的膨胀操作，对所述票据图像进行Canny边缘检测，并基于检测所得结果采用概率霍夫变换检测所述票据图像中包含的横向线条。

3.根据权利要求2所述的方法，其特征在于，对所述票据图像进行二值化操作，包括：

将所述票据图像划分为多个图像块，计算每个所述图像块中的灰度均值，确定每个所述图像块中的灰度均值为该图像块的二值化阈值，并基于每个所述图像块的二值化阈值对该图像块进行二值化操作。

4.根据权利要求3所述的方法，其特征在于，去除所述票据图像中包含的横向线条，包括：

采用泛洪填充算法将所述票据图像中的横向线条包含的像素点，均设置为与所述票据图像中非文本的背景部分包含的像素点的像素值。

5.根据权利要求1所述的方法，其特征在于，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值之后，还包括：

对所述票据图像进行图像形态学的膨胀操作。

6.根据权利要求5所述的方法，其特征在于，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对所述票据图像进行图像形态学的膨胀操作之后，还包括：

将所述票据图像写入至预先创建的文件中。

7.根据权利要求6所述的方法，其特征在于，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值，并对所述票据图像进行图像形态学的膨胀操作之后，还包括：

将所述票据图像输出至预先指定的终端中。

8.一种票据图像处理装置，其特征在于，包括：

预处理模块，用于：读取彩色的票据图像，检测并去除所述票据图像中包含的横向线条，并确定所述票据图像中所述横向线条去除前所在的区域为目标区域；

第一恢复模块，用于：对所述目标区域进行图像形态学的腐蚀操作，以恢复所述目标区域中应包含的属于所述票据图像中的文本的竖向笔画；

第二恢复模块，用于：确定去除所述横向线条前，所述票据图像上所述横向线条中各像素点均为待测像素点、文本中的各像素点为标准像素点，确定与所述标准像素点的像素值的差值在差值阈值内的待测像素点为目标像素点，将所述票据图像中所述目标像素点对应位置处的像素点的像素值设置为文本包含的像素点的像素值。

9.一种票据图像处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述票据图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述票据图像处理方法的步骤。

Images