CN110032990A - 一种发票文本识别方法、系统及相关组件 - Google Patents

Abstract

本申请公开了一种发票文本识别方法，所述发票文本识别方法包括当接收到发票文本识别指令时，获取目标发票的发票图片；判断所述目标发票的发票本体是否完全处于发票图片内；若是，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；根据所述文本内容生成发票文本识别结果。本方法能够提高发票信息的获取效率。本申请还公开了一种发票文本识别系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

一种发票文本识别方法、系统及相关组件

技术领域

本发明涉及图像处理技术领域，特别涉及一种发票文本识别方法、系统、一种计算机可读存储介质及一种电子设备。

背景技术

信息统计是指以某一特定单位对信息或其相关媒介进行统一的计量。信息统计分析方法是利用统计学方法对信息进行统计分析，以数据来描述和揭示信息的数量特征和变化规律，从而达到一定研究目的的一种分析研究方法。信息统计是信息研究的基础工作，信息统计数据是开展信息定量研究的必要条件，运用信息统计分析方法可以反映信息的增长变化、分布特征、流通状况、利用程度，揭示信息的数量变化规律，为信息单位的信息管理提供依据。

在一些工作场景中存在需要手动录入发票信息的场景，例如，在会计录入凭证的时候，需要手动录入发票信息，这样需要浪费大量的人力和时间。

因此，如何提高发票信息的获取效率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种发票文本识别方法、系统、一种计算机可读存储介质及一种电子设备，能够提高发票信息的获取效率。

为解决上述技术问题，本申请提供一种发票文本识别方法，该发票文本识别方法包括：

当接收到发票文本识别指令时，获取目标发票的发票图片；

判断所述目标发票的发票本体是否完全处于发票图片内；

若是，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；

根据所述文本内容生成发票文本识别结果。

可选的，确定所述发票图片内的目标识别区域包括：

获取所述发票图片内所述发票本体的本体图像，并确定所述本体图像内的目标识别区域。

可选的，确定所述本体图像内的目标识别区域包括：

查询所述目标发票的发票类型，并确定所述发票类型对应的发票格式模板；

确定所述发票格式模板的标准待识别区域的位置信息，并根据所述位置信息确定所述本体图像内的目标识别区域。

可选的，所述目标识别区域包括发票基本信息区域、购买方信息区域、销售方信息区域和合计区域中的任一项或任几项的组合。

可选的，在确定所述发票图片内的目标识别区域之前，还包括：

判断所述发票本体的边缘是否平行于所述发票图片的显示窗口的边缘；

若否，则利用透视变换调整所述发票图像的位置，以使所述发票本体的边缘平行于所述显示窗口的边缘。

可选的，对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容包括：

利用yolov3算法的chineseocr模型对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容。

可选的，根据所述文本内容生成发票文本识别结果包括：

提取所述文本内容的关键词，并根据所述关键词确定所述目标识别区域中每一子区域的信息类别；

根据每一子区域对应的文字内容和信息类别生成发票信息整合表，并将所述发票信息整合表作为所述发票文本识别结果。

本申请还提供了一种发票文本识别系统，该发票文本识别系统包括：

图片获取模块，用于当接收到发票文本识别指令时，获取目标发票的发票图片；

判断模块，用于判断所述目标发票的发票本体是否完全处于发票图片内；

识别模块，用于当所述目标发票的发票本体完全处于发票图片内时，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；

结果生成模块，用于根据所述文本内容生成发票文本识别结果。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述发票文本识别方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述发票文本识别方法执行的步骤。

本申请提供了一种发票文本识别方法，包括当接收到发票文本识别指令时，获取目标发票的发票图片；判断所述目标发票的发票本体是否完全处于发票图片内；若是，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；根据所述文本内容生成发票文本识别结果。

本申请在接收到发票文本识别指令后，获取发票本体完全处于发票图片内的发票图片，对发票图片内的每一目标识别区域执行文本识别操作得到相应的文本内容。本申请将文本识别技术应用于发票信息提取的过程中，可以实现发票信息的自动识别和快速提取，无需手动录入信息，能够提高发票信息的获取效率。本申请同时还提供了一种发票文本识别系统、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种发票文本识别方法的流程图；

图2为本申请实施例所提供的另一种发票文本识别方法的流程图；

图3为本申请实施例所提供的一种发票文本识别系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种发票文本识别方法的流程图。

具体步骤可以包括：

S101：当接收到发票文本识别指令时，获取目标发票的发票图片；

其中，本实施例的目的在于获取发票中的所有文本信息，该文本信息可以包括文字、数字以及符号等信息。本实施例的执行主体可以为任意一种能够执行文本识别操作的电子设备，此处不对类型及型号进行限定。

在接收到发票文本识别指令后，可以根据该发票识别指令获取目标发票的发票图片。可以理解的是，该发票图片可以是在本步骤之前预先采集并存储在预设存储空间的图片，也可以是在接收到发票文本识别指令后立即拍摄的一张发票图片，此处不进行具体的限定。可以理解的是，发票图片中可以包括目标发票的发票本体，还可以存在背景图像。

S102：判断所述目标发票的发票本体是否完全处于发票图片内；若是，则进入S103；若否，则结束流程；

其中，本步骤的目的在于确保发票本体完全处于发票图片内，以便能够获取目标发票的全部信息。可以通过多种方法判断发票本体是否完全是处发票图片内，例如可以获取发票本体的轮廓形状，当轮廓形状为矩形(或近似矩形)时可以判定发票本体处于发票图片内；再例如，判断发票本体的四周边缘是否为发票特定的边缘样例(例如圆孔结构或空白区域等)；再例如，判断判断发票本体的长宽比例是否为预设比例，当符合特定比例时说明发票本体完全处于发票图片内。当然，还可以采用其他的依据判断发票本体是否完全处于发票图片内，此处不进行具体的限定。

可以理解的是，当发票本体未完全处于发票图片内时，可以结束本次对该发票图片的文本识别操作。作为一种可行的实施方式，可以在判定发票未完全处于发票图片内后，重新获取目标发票的新的发票图片执行本实施例的相关操作，以实现对目标发票的文本识别。

S103：确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；

其中，发票是指经济活动中，由出售方向购买方签发的文本，内容包括向购买者提供产品或服务的名称、质量、协议价格。除了预付款以外，发票必须具备的要素是根据议定条件由购买方向出售方付款，必须包含日期和数量，是会计账务的重要凭证。也就是说，发票中的所有文本以表格的形式存在。本实施例中所确定的目标识别区域可以为发票中用于填写信息的表格对应的区域。可以理解的是，发票具有统一的格式和填写规则，因此本实施例可以基于目标发票的格式确定发票图片内的目标识别区域。

作为一种可行的实施方式，本实施例中的目标识别区域可以包括发票基本信息区域、购买方信息区域、销售方信息区域和合计区域中的任一项或任几项的组合。

在确定每一目标识别区域后，本实施例对每一所述目标识别区域执行文本识别操作得到相应的文本内容。

S104：根据所述文本内容生成发票文本识别结果。

其中，在S103中是将发票本体对应的图像划分为多个目标识别区域，分别对每一目标识别区域执行文本识别操作。本步骤在得到每一目标识别区域的文本内容的基础上，可以根据所有文本内容生成相应的发票文本识别结果，完成发票信息获取的流程。作为一种可行的实施方式，在本步骤中可以按照预先设置好的发票信息整合表进行填写，填写完毕后的发票信息整合表就相当于发票文本识别结果。

本实施例在接收到发票文本识别指令后，获取发票本体完全处于发票图片内的发票图片，对发票图片内的每一目标识别区域执行文本识别操作得到相应的文本内容。本实施例将文本识别技术应用于发票信息提取的过程中，可以实现发票信息的自动识别和快速提取，无需手动录入信息，能够提高发票信息的获取效率。

请参见图2，图2为本申请实施例所提供的另一种发票文本识别方法的流程图，具体步骤可以包括：

S201：当接收到发票文本识别指令时，获取目标发票的发票图片；

S202：判断所述目标发票的发票本体是否完全处于发票图片内；若是，则进入S203；若否，则结束流程；

S203：判断所述发票本体的边缘是否平行于所述发票图片的显示窗口的边缘；若是，则进入S205；若否，则进入S204；

S204：利用透视变换调整所述发票图像的位置，以使所述发票本体的边缘平行于所述显示窗口的边缘，进入S205；

其中，由于S201获取的发票图片中发票本体的摆放位置可以为任意位置，因此在S203和S204的相关操作中通过判断发票本体的边缘是否平行于述发票图片的显示窗口的边缘将发票本体的位置“调正”，以便确定目标识别区域并识别相应的文本内容。

S205：获取所述发票图片内所述发票本体的本体图像，并确定所述本体图像内的目标识别区域。

其中，本步骤的目的在于对发票图片中发票本体所对应的区域进行相关的处理，由于发票图片中的背景图像中并不包含发票信息，因此本步骤中获取发票图片内发票本体的本体图像相当于对发票图片进行裁剪得到发票图片内发票本体对应区域的本体图像。

作为一种可行的实施方式，本步骤中确定所述本体图像内的目标识别区域的具体过程可以包括以下步骤：步骤1、查询所述目标发票的发票类型，并确定所述发票类型对应的发票格式模板；步骤2、确定所述发票格式模板的标准待识别区域的位置信息，并根据所述位置信息确定所述本体图像内的目标识别区域。在上述可行的实施方式中，利用发票都具有对应的发票格式模板的特性，根据发票格式模板中预先设置好的待识别区域的位置信息确定本体图片内。

S206：利用yolov3算法的chineseocr模型对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容。

其中，利用chineseocr模型进行文本识别的操作可以包括以下步骤：首先用一个文字方向检测模型检测0,90,180,270的文字角度；根据检测到的角度调整图片方向，利用yolov3算法进行单字文本检测，利用ctpn将单字连接成一个长文本，利用CRNN进行文本识别。

S207：提取所述文本内容的关键词，并根据所述关键词确定所述目标识别区域中每一子区域的信息类别；

可以理解的是，每一目标识别区域中可以包括多个子区域，通过提取文本内容的关键词能够确定关键词所在子区域的信息类别。例如合计区域内可以包括金额合计子区域、税额合计子区域和价税合计子区域，每一子区域对应着相应的文本内容。

S208：根据每一子区域对应的文字内容和信息类别生成发票信息整合表，并将所述发票信息整合表作为所述发票文本识别结果。

下面通过在实际应用中的实施例说明上述实施例描述的流程。

步骤1、输入一张包含增值税发票完整信息的，且发票为主体的图片。

步骤2、发票检测，关键点回归。对于关键点回归，可以用现有的一些关键点检测的方法来实现，比如yolov3的关键点检测。输入一张含有增值税完整信息的图像，输出为发票的四个顶点的坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)。

步骤3、利用透视变换将发票对齐(摆正)，其中透视变换可以用opencv中的函数warpPerspective实现。

步骤4、用对齐后的发票，根据其位置关系划定以下几个区域：发票基本信息区域、购买方信息区域、销售方信息区域和合计区域。

步骤5、在每一个区域，利用通用文本检测及识别的算法(图像处理的方法或者基于yolov3的chineseocr深度学习)识别出对应的文本内容。

步骤6、根据信息匹配、文本特征或者位置信息等提取文本内容中的关键信息。请参见表1，表1为关键信息提取结果表。2区会出现三行数字，这时最大字的00998959为关键信息，则可根据文本检测的最大的区域定为关键区域，并提取其内容。比如搜索3区的名称，把与其在统一横行的后面内容，划为其名称，例如：名称为百度在线网络技术(北京)有限公司上海软件技术分公司。表1中提到的1区、2区和3区即上文提到的目标识别区域，每一区域对应的各个内容为上文提到的子区域的文本内容。

表1关键信息提取结果表

步骤7、整合信息，将关键信息对应填到其所属类别内。请参见表2，表2为发票信息整合表。

表2发票信息整合表

本实施例将文本识别算法应用到发票识别中，可以方便录入发票信息，提高效率，节省人力。

请参见图3，图3为本申请实施例所提供的一种发票文本识别系统的结构示意图；

该系统可以包括：

图片获取模块100，用于当接收到发票文本识别指令时，获取目标发票的发票图片；

判断模块200，用于判断所述目标发票的发票本体是否完全处于发票图片内；

识别模块300，用于当所述目标发票的发票本体完全处于发票图片内时，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；

结果生成模块400，用于根据所述文本内容生成发票文本识别结果。

本实施例在接收到发票文本识别指令后，获取发票本体完全处于发票图片内的发票图片，对发票图片内的每一目标识别区域执行文本识别操作得到相应的文本内容。本实施例将文本识别技术应用于发票信息提取的过程中，可以实现发票信息的自动识别和快速提取，无需手动录入信息，能够提高发票信息的获取效率。

进一步的，识别模块300包括：

区域确定单元，用于当所述目标发票的发票本体完全处于发票图片内时，获取所述发票图片内所述发票本体的本体图像，并确定所述本体图像内的目标识别区域；

文本识别单元，用于对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容。

进一步的，所述区域确定单元包括：

模板确定子单元，用于查询所述目标发票的发票类型，并确定所述发票类型对应的发票格式模板；

目标识别区域确定子单元，用于确定所述发票格式模板的标准待识别区域的位置信息，并根据所述位置信息确定所述本体图像内的目标识别区域。

进一步的，所述目标识别区域包括发票基本信息区域、购买方信息区域、销售方信息区域和合计区域中的任一项或任几项的组合。

进一步的，还包括：

位置调整模块，用于在确定所述发票图片内的目标识别区域之前，判断所述发票本体的边缘是否平行于所述发票图片的显示窗口的边缘；若否，则利用透视变换调整所述发票图像的位置，以使所述发票本体的边缘平行于所述显示窗口的边缘。

进一步的，所述识别模块300具体为用于当所述目标发票的发票本体完全处于发票图片内时，则确定所述发票图片内的目标识别区域，并利用yolov3算法的chineseocr模型对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容的模块。

进一步的，结果生成模块400包括：

类别确定单元，用于提取所述文本内容的关键词，并根据所述关键词确定所述目标识别区域中每一子区域的信息类别；

整合单元，用于根据每一子区域对应的文字内容和信息类别生成发票信息整合表，并将所述发票信息整合表作为所述发票文本识别结果。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种发票文本识别方法，其特征在于，包括：

当接收到发票文本识别指令时，获取目标发票的发票图片；

判断所述目标发票的发票本体是否完全处于所述发票图片内；

若是，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；

根据所述文本内容生成发票文本识别结果。

2.根据权利要求1所述发票文本识别方法，其特征在于，确定所述发票图片内的目标识别区域包括：

获取所述发票图片内所述发票本体的本体图像，并确定所述本体图像内的目标识别区域。

3.根据权利要求2所述发票文本识别方法，其特征在于，确定所述本体图像内的目标识别区域包括：

查询所述目标发票的发票类型，并确定所述发票类型对应的发票格式模板；

确定所述发票格式模板的标准待识别区域的位置信息，并根据所述位置信息确定所述本体图像内的目标识别区域。

4.根据权利要求1所述发票文本识别方法，其特征在于，所述目标识别区域包括发票基本信息区域、购买方信息区域、销售方信息区域和合计区域中的任一项或任几项的组合。

5.根据权利要求1所述发票文本识别方法，其特征在于，在确定所述发票图片内的目标识别区域之前，还包括：

判断所述发票本体的边缘是否平行于所述发票图片的显示窗口的边缘；

若否，则利用透视变换调整所述发票图像的位置，以使所述发票本体的边缘平行于所述显示窗口的边缘。

6.根据权利要求1所述发票文本识别方法，其特征在于，对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容包括：

利用yolov3算法的chineseocr模型对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容。

7.根据权利要求1至6任一项所述发票文本识别方法，其特征在于，根据所述文本内容生成发票文本识别结果包括：

提取所述文本内容的关键词，并根据所述关键词确定所述目标识别区域中每一子区域的信息类别；

根据每一子区域对应的文字内容和信息类别生成发票信息整合表，并将所述发票信息整合表作为所述发票文本识别结果。

8.一种发票文本识别系统，其特征在于，包括：

图片获取模块，用于当接收到发票文本识别指令时，获取目标发票的发票图片；

判断模块，用于判断所述目标发票的发票本体是否完全处于所述发票图片内；

识别模块，用于当所述目标发票的发票本体完全处于发票图片内时，则确定所述发票图片内的目标识别区域，并对每一所述目标识别区域执行文本识别操作得到每一所述目标识别区域对应的文本内容；

结果生成模块，用于根据所述文本内容生成发票文本识别结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述发票文本识别方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述发票文本识别方法的步骤。