CN108537237A

CN108537237A - 票据的特征区域提取方法、装置、设备和存储介质

Info

Publication number: CN108537237A
Application number: CN201810301939.XA
Authority: CN
Inventors: 石鸥; 傅博扬
Original assignee: Shenzhen Yihua Computer Co Ltd; Shenzhen Yihua Time Technology Co Ltd; Shenzhen Yihua Financial Intelligent Research Institute
Current assignee: Shenzhen Yihua Computer Co Ltd; Shenzhen Yihua Time Technology Co Ltd; Shenzhen Yihua Financial Intelligent Research Institute
Priority date: 2018-04-04
Filing date: 2018-04-04
Publication date: 2018-09-14

Abstract

本发明实施例公开了票据的特征区域提取方法、装置、设备及存储介质，其中，该方法包括：获取票据的图像；当识别所述图像为畸变图像时，在所述图像中确定票据的边界点；根据最小二乘法对所述边界点进行直线拟合，确定所述票据的边界线；根据所述票据的边界线确定所述票据的特征区域。本发明实施例可以提高对特征区域的确定速度，可以实现对畸变图像中的文字信息进行快速、准确地识别。

Description

票据的特征区域提取方法、装置、设备和存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种票据的特征区域提取方法、装置、设备和存储介质。

背景技术

随着人工智能的快速发展，财务领域的智能化越来越重要，如支票、发票等的快速分类处理、归类处理等是解决财务智能化的重要方面。票据的特征区域提取，是根据票据中的信息对支票进行归类处理的方法。

目前，通过验票机等设备获取票据的图像通常是畸变图像，现有技术中可以通过如下的方法进行特征区域的提取：首先是对畸变图像进行校正，然后通过霍夫变换的方式进行直线检测以进行特征区域的提取，最后识别特征区域中的信息，但是现有技术中的上述方法，时间消耗较大，效率较低。

发明内容

本发明提供了一种票据的特征区域提取方法、装置、设备和存储介质，可以提高对特征区域的确定速度，可以实现对畸变图像中的文字信息进行快速、准确地识别。

第一方面，本发明实施例提供了一种票据的特征区域提取方法，包括：

获取票据的图像；

当识别所述图像为畸变图像时，在所述图像中确定票据的边界点；

根据最小二乘法对所述边界点进行直线拟合，确定所述票据的边界线；

根据所述票据的边界线确定所述票据的特征区域。

第二方面，本发明实施例还提供了一种票据的特征区域提取装置，包括：

图像获取模块，用于获取票据的图像；

边界点确定模块，用于当识别所述图像为畸变图像时，在所述图像中确定票据的边界点；

边界线确定模块，用于根据最小二乘法对所述边界点进行直线拟合，确定所述票据的边界线；

特征区域确定模块，用于根据所述票据的边界线确定所述票据的特征区域。

第三方面，本发明实施例还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任一实施例提供的一种票据的特征区域提取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例提供的一种票据的特征区域提取方法。

本发明提供的技术方案，当获取的图像是畸变图像时，通过最小二乘法对票据的边界点进行直线拟合，确定票据的边界线，从而确定特征区域，可以提高票据的特征区域的确定速度，避免了现有技术中对图像进行校正的步骤，减小了数据处理量，可以对畸变图像中文字信息进行快速、准确识别。

附图说明

图1a是本发明实施例一提供的一种票据的特征区域提取方法流程图；

图1b是票据的畸变图像；

图2a是本发明实施例二提供的一种票据的特征区域提取方法流程图；

图2b是本发明实施例二提供的填充之后的特征区域的图像；

图3是本发明实施例三提供的一种票据的特征区域提取装置结构框图；

图4是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1a是本发明实施例一提供的一种票据的特征区域提取方法流程图，所述方法由票据的特征区域提取装置来执行，所述装置可以由软件和/或硬件来执行，所述装置可以配置在验票机等设备中。

本发明实施例提供的特征区域提取方法可以应用在获取的票据的图像是畸变图像的场景中，如图1a所示，本发明实施例提供的技术方案如下：

S110：获取票据的图像。

在本步骤中，票据可以是发票，收据等，票据的图像可以是灰度图像。

S120：当识别所述图像为畸变图像时，在所述图像中确定票据的边界点。

在本发明的一个实施方式中，可选的，所述当识别所述图像为畸变图像时，在所述图像中确定票据的边界点，可以包括：判断采集所述图像的摄像头是否是广角摄像头；若是，判断所述图像为畸变图像，并在所述图像中确定票据的边界点。其中，广角摄像头是一种焦距小于设定焦距，视角大于设定视角的镜头，即广角摄像头的焦距比普通镜头小，视角比普通镜头大的镜头。其中，畸变图像中的票据并不是平面，或者畸变图像中票据的边界线并不是一条直线，而是一条弧线，畸变图像也可以是其他形式不规范的图像。例如，如图1b所示，畸变图像中票据是一个曲面，并且票据的边界线并不是一条直线。

在本步骤中，其中，提取图像中票据边界点的方法可以采用多种方法，本发明对此不进行限定。可以通过像素点与其周围像素点的灰度值变化确定该像素点是不是边界点，因为一般图像背景为黑色，图像边界与背景的分界较为明显。可选的，可以逐列进行查找边界点，若在一个设定列中，一个目标像素点之上的若干行的像素点的灰度值之和大于一个第一阈值，且在该目标像素点之上的若干行的像素点的灰度值之和，与在目标像素点之下的若干行的像素点的灰度值之和的差值大于第二阈值，则该目标点为票据的边界点。其中，第一阈值和第二阈值可根据需要进行设定。举例而言，在图像中第5列的像素点中，若在第10行的像素点之上的5个像素点的灰度值之和大于第一阈值，且在该像素点之上的5个像素点的灰度值之和，与在其之下的5个像素点灰度值之和的差值大于第二阈值，则图像中位于第5列、第10行的像素点为票据的边界点。其中，可选的，第一阈值可以是50，第二阈值可以是400，其他边界点的确定方法可以参照上述的方法，上述对边界点查找的方式，可以减小数据处理时噪声的影响。

其中，在图像中进行边界点的查找时，也可以不必逐列查找，也可以按照间隔设定列进行查找，可以提高边界点的查找效率。

需要说明的是，边界点的确定方法也可以是其他方法，并不局限于上述的方法。

S130：根据最小二乘法对所述边界点进行直线拟合，确定所述票据的边界线。

在本步骤中，边界点的数量是多个，可以对边界点进行分段，根据最小二乘法对分段的边界点的进行直线拟合，将拟合的直线作为票据的边界线。其中，具体的拟合方法将在下面的实施例中作具体介绍。

S140：根据所述票据的边界线确定所述票据的特征区域。

在本发明一个具体的实施方式中，可选的，根据所述票据的边界线确定所述票据的特征区域，将所述票据的边界线在所述图像中分别平移第一设定距离和第二设定距离，分别得到所述特征区域的第一边界线和第二边界线；将所述图像中第一列像素点所在的直线分别平移第三设定距离和第四设定距离，分别得到第一目标直线和第二目标直线；基于所述第一边界线、所述第二边界线、所述第一目标直线和所述第二目标直线确定所述特征区域。其中，第一设定距离、第二设定距离、第三设定距离和第四设定距离可以根据需要进行设定。可选的，第一设定距离可以是40个像素点的距离，第二设定距离可以是340个像素点的距离，第一设定距离和第二设定距离是统计数据而得到的。

其中，所述基于所述第一边界线、所述第二边界线、所述第一目标直线和所述第二目标直线确定所述特征区域，可以包括：将第二边界线与第二目标直线的交点作为特征区域的第一顶点；由第一顶点向第一边界线作垂线，得到垂足，作为特征区域的第二顶点；将第一边界线与第二目标直线的交点作为特征区域的第三顶点，由第三顶点向第二边界线作垂线，得到垂足，作为特征区域的第四顶点；依次连接第一顶点、第二顶点、第三顶点和第四顶点，得到特征区域。

可选的，所述基于所述第一边界线、所述第二边界线、所述第一目标直线和所述第二目标直线确定所述特征区域，还可以包括：第一边界线、所述第二边界线、所述第一目标直线和所述第二目标直线围成四边形；将所述四边形的将外接四边形区域作为特征区域。其中，为了更好对特征区域中的文字信息进行识别，特征区域可以是一个矩形。

需要说明的是，特征区域的确定并不局限于上述的方法，还可以是其他方法。

本发明实施例提供的一种票据的特征区域的提取方法，当获取的图像是畸变图像时，通过最小二乘法对票据的边界点进行直线拟合，确定票据的边界线，从而确定特征区域，可以提高票据的特征区域的确定速度，节省对图像进行校正的步骤，以对畸变图像中文字信息进行快速、准确识别。

实施例二

图2a是本发明实施例二提供的一种票据的特征区域提取方法的流程图，在本实施例中对“根据所述边界点进行直线拟合”进行了细化，如图2a所示，本发明实施例提供的技术方案包括：

S210：获取票据的图像。

S220：当识别所述图像为畸变图像时，在所述图像中确定票据的边界点。

S230：对所述边界点进行分段。

其中，具体的分段可以根据实际情况确定，例如，对于上边界、下边界或类似方向的边界，可以按照X坐标值进行分段；对于左边界、右边界或类似方向的边界，可以按照Y坐标值进行分段。其中，X坐标和Y坐标可以是像素点在像素点矩阵中的坐标。其中，本发明实施例中，对票据的上边界线或者下边界线进行确定，可选的，可以按照X坐标进行分段。其中，分段可以均分，例如100个边界点为一段，共分为4段；也可以不均分，例如各段的边界点个数分别为200、100、50、50等。

S240：根据第一段的边界点进行直线拟合，得到初步拟合的直线。

S250：计算所有边界点中与所述直线的距离处于预设范围的边界点个数。

其中，各段的序号可以是按照X坐标值或Y坐标值从小到大(或从大到小)进行排序的，也可以是随机排序。本步骤中直线拟合可以采用最小二乘法，本步骤得到的直线方程为y＝kx+b。

S260：判断所述边界点的个数是否超过预设个数。

若是，执行S270，若否，执行S280。其中，预设个数根据所有边界点的数量进行确定，例如，当所有边界点中与所述直线的距离处于预设范围的边界点个数与所有边界点个数的比值达到预设阈值时，则可以认为所有边界点中与所述直线的距离处于预设范围的边界点个数达到预设个数。其中，预设阈值可以是90％。

S270：根据满足与所述直线的距离处于预设范围的边界点重新进行直线拟合，确定票据的边界线。

本步骤具体包括：分别计算各边界点到初步拟合直线的距离；判断该距离是否处于预设范围，如果是，则确定该边界点在该直线上，如果否，则确定该边界点不在该直线上，偏差较大；计算所有边界点中满足距离条件(即边界点与直线的距离处于预设范围)的边界点个数。

对于任意边界点(x₀，y₀)到初步拟合直线的距离dis，可采用如下公式进行计算：dis＝|kx₀+b-y₀|。上述预设范围可以根据实际情况进行设置，例如，设置为20。

S280：根据下一段的边界点进行直线拟合，将得到的直线作为初步拟合的直线，返回S250。

步骤S280中，直至找到满足预设个数的边界点。

S290：根据所述边界点得到最终的拟合直线，作为票据的边界线。

在上述实施例基础上，如果根据每一段边界点进行初步拟合所计算得到的边界点个数均没有超过预设个数，则根据最大边界点个数所对应的边界点进行直线拟合，作为最终的拟合直线。例如，提取的边界点一共分为4段，按照上述方法，计算出的这4段中边界点个数均没有超过预设个数，则找到其中最大边界点个数所对应的边界点，并按照这些边界点拟合直线，确定票据的边界线。

由此，通过对边界点进行分段，按照分段初步拟合直线并判断符合条件的边界点个数，当边界点个数超过预设个数时，认为对应的直线可以作为最终的拟合直线，从而确定票据边界线，可以进一步提高拟合直线的精度。

S291：根据所述票据的边界线确定所述票据的特征区域。

其中，步骤S291在步骤S270之后执行，或者步骤S291在步骤S290之后执行。

其中，本步骤中S291的确定特征区域的具体方法可参照上述实施例一，不再累述。

在上述实施例的基础上，上述的方法还包括：基于所述票据的边界线的斜率将所述特征区域进行旋转，以使所述特征区域中的文字信息保持正立；将所述特征区域中进行填充处理；对填充处理后的所述特征区域中的文字信息进行识别。

其中，文字信息可以是票据的票号等信息。当对票据中的文字信息进行识别时，需要使文字信息保持正立，故根据票据的边界线的斜率将特征区域进行旋转，避免了现有技术中在对文字信息进行识别时对整张图像的旋转，减小了数据处理量，提高了速度。

其中，根据票据的边界线的斜率可以确定票据的倾斜角度，在对特征区域进行确定时，对票据的倾斜角度可以不作限定，也可以进行限定，例如，可以限定在30度-70度之间，或者仅仅是一个角度值，如45度。其中，当特征区域旋转之后，可选的，可以采用双线性差值的方法对特征区域进行校正，可以提高对文字信息的识别精度，相对于现有技术中对整张票据图像的校正而言，可以减小数量处理量，提高识别的速度。

其中，当对特征区域进行填充处理时，可以是将特征区域中除去第一边界线、第二边界线、第一目标直线和第二目标直线围成的四边形之外的区域进行填充，其中，第一边界线、第二边界线、第一目标直线和第二目标直线可参照上述实施例一。其中，可以采用白色填充，即将特征区域中除去第一边界线、第二边界线、第一目标直线和第二目标直线围成的四边形之外的区域，采用灰度值为255进行处理。例如，图2b是填充之后的特征区域的图像，如图2b所示，区域A和区域B是特征区域中除第一边界线、第二边界线、第一目标直线和第二目标直线围成的四边形之外的区域，将区域A和区域B填充成白色。

需要说明的是，为了更好的区分填充区域，在图2b示例性的采用了黑色的边框，但是在实际操作中，特征区域中并不具有图2b中所示的黑色边框。

由此，通过对特征区域的填充处理，方便了后续识别文字信息时对字符的切割，也可以避免对识别文字信息造成的影响，实现准确识别票据中的文字信息。

实施例三

图3是本发明实施例提供的一种票据的特征区域提取装置结构框图，如图3所示，所述装置包括图像获取模块310、边界点确定模块320、边界线确定模块330和特征区域确定模块340。

其中，图像获取模块310，用于获取票据的图像；

边界点确定模块320，用于当识别所述图像为畸变图像时，在所述图像中确定票据的边界点；

边界线确定模块330，用于根据所述边界点进行直线拟合，确定所述票据的边界线；

特征区域确定模块340，用于根据所述票据的边界线确定所述票据的特征区域。

进一步的，所述根据最小二乘法对所述边界点进行直线拟合，包括：

对所述边界点进行分段；

根据第一段的边界点进行直线拟合，得到初步拟合的直线；

计算所有边界点中与所述直线的距离处于预设范围的边界点个数；

如果所述边界点个数超过预设个数，则根据满足与所述直线的距离处于预设范围的边界点重新进行直线拟合。

进一步的，所述边界线确定模块330，还用于如果所述边界点个数没有超过所述预设个数，则根据下一段的边界点进行直线拟合，将得到的直线作为初步拟合的直线，返回执行计算所有边界点中与所述直线的距离处于预设范围的边界点个数的操作，直至找到满足预设个数的边界点。

进一步的，所述边界线确定模块330，还用于如果根据每一段边界点进行初步拟合所计算得到的边界点个数均没有超过所述预设个数，则根据最大边界点个数所对应的边界点进行直线拟合。

进一步的，特征区域确定模块340，用于将所述票据的边界线在所述图像中分别平移第一设定距离和第二设定距离，分别得到所述特征区域的第一边界线和第二边界线；

将所述图像中第一列像素点所在的直线分别平移第三设定距离和第四设定距离，分别得到第一目标直线和第二目标直线；

基于所述第一边界线、所述第二边界线、所述第一目标直线和所述第二目标直线确定所述特征区域。

进一步的，所述装置还包括：

旋转模块350，用于基于所述票据的边界线的斜率将所述特征区域进行旋转，以使所述特征区域中的文字信息保持正立；

填充模块360，用于将所述特征区域进行填充处理；

识别模块370，用于对填充处理后的所述特征区域中的文字信息进行识别。

进一步的，边界点确定模块320，用于判断采集所述图像的摄像头是否是广角摄像头；

若是，判断所述图像为畸变图像，并在所述图像中确定票据的边界点。

本发明实施例所提供的票据的特征区域提取装置可执行本发明任意实施例所提供的票据的特征区域提取方法，具备执行方法相应的功能模块和有益效果。

本发明实施例提供了一种设备，包括本发明第一个实施例所提供的票据的特征区域提取装置。具体的，如图4所示，本发明实施例提供一种设备，该设备包括：

一个或者多个处理器410，图4中以一个处理器410为例；

存储器420；以及一个或者多个模块。

所述设备还可以包括：输入装置430和输出装置440。所述设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的网络配置方法对应的程序指令/模块(例如，附图3所示的票据的特征区域提取装置中的图像获取模块310、边界点确定模块320、边界线确定模块330和特征区域确定模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法中任意一个实施例中的票据的特征区域提取方法。

存储器420可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括输出接口等。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种票据的特征区域提取方法，该方法包括：

获取票据的图像；

根据所述票据的边界线确定所述票据的特征区域。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或移动物体上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种票据的特征区域提取方法，其特征在于，包括：

获取票据的图像；

根据所述票据的边界线确定所述票据的特征区域。

2.根据权利要求1所述的方法，其特征在于，所述根据最小二乘法对所述边界点进行直线拟合，包括：

对所述边界点进行分段；

根据第一段的边界点进行直线拟合，得到初步拟合的直线；

3.根据权利要求1所述的方法，其特征在于，还包括：

如果所述边界点个数没有超过所述预设个数，则根据下一段的边界点进行直线拟合，将得到的直线作为初步拟合的直线，返回执行计算所有边界点中与所述直线的距离处于预设范围的边界点个数的操作，直至找到满足预设个数的边界点。

4.根据权利要求3所述的方法，其特征在于，还包括：

如果根据每一段边界点进行初步拟合所计算得到的边界点个数均没有超过所述预设个数，则根据最大边界点个数所对应的边界点进行直线拟合。

5.根据权利要求1所述的方法，其特征在于，所述根据所述票据的边界线确定所述票据的特征区域，包括：

将所述票据的边界线在所述图像中分别平移第一设定距离和第二设定距离，分别得到所述特征区域的第一边界线和第二边界线；

6.根据权利要求1所述的方法，其特征在于，还包括：

基于所述票据的边界线的斜率将所述特征区域进行旋转，以使所述特征区域中的文字信息保持正立；

将所述特征区域进行填充处理；

对填充处理后的所述特征区域中的文字信息进行识别。

7.根据权利要求1所述的方法，其特征在于，当识别所述图像为畸变图像时，在所述图像中确定票据的边界点；

判断采集所述图像的摄像头是否是广角摄像头；

8.一种票据的特征区域提取装置，其特征在于，包括：

图像获取模块，用于获取票据的图像；

9.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的一种票据的特征区域提取方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的一种票据的特征区域提取方法。