CN114359928A - 一种电子发票识别方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于人工智能中的图像处理技术领域，涉及一种电子发票识别方法、装置、计算机设备及存储介质。本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。

Description

一种电子发票识别方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能中的图像处理技术领域，尤其涉及一种电子发票识别方法、装置、计算机设备及存储介质。

背景技术

随着科技水平的提高，电子发票相较于纸质发票有着很大的优势，比如方便快捷易保存，不仅如此，对于利用发票进行报销也方便许多。在保险场景亦是如此，尤其有理赔环节，保险场景存在大量的医疗电子发票需要进行处理。

现有一种电子发票识别方法，主要依靠人工审核和验票。

然而，申请人发现传统的发票真伪验证普遍不智能，无法从质量和数量上保证发票管理到位，由此可见，传统的电子发票识别方法存在准确度较低的问题。

发明内容

本申请实施例的目的在于提出一种电子发票识别方法、装置、计算机设备及存储介质，以解决传统的电子发票识别方法存在准确度较低的问题。

为了解决上述技术问题，本申请实施例提供一种电子发票识别方法，采用了如下所述的技术方案：

获取待识别的原始发票图像；

对所述原始发票图像进行类型识别操作，得到发票类型信息；

读取本地数据库，在所述本地数据库中获取与所述发票类型信息相对应的分割模板数据；

根据所述分割模板数据对所述原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；

对所述二维码分割图像进行二维码解析操作，得到第一发票内容信息；

对所述文本分割图像进行文本识别操作，得到第二发票内容信息；

对所述第一发票内容信息以及所述第二发票内容信息进行校验匹配操作，得到目标发票内容信息。

为了解决上述技术问题，本申请实施例还提供一种电子发票识别装置，采用了如下所述的技术方案：

图像获取模块，用于获取待识别的原始发票图像；

类型识别模块，用于对所述原始发票图像进行类型识别操作，得到发票类型信息；

模板获取模块，用于读取本地数据库，在所述本地数据库中获取与所述发票类型信息相对应的分割模板数据；

图像分割模块，用于根据所述分割模板数据对所述原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；

二维码解析模块，用于对所述二维码分割图像进行二维码解析操作，得到第一发票内容信息；

文本识别模块，用于对所述文本分割图像进行文本识别操作，得到第二发票内容信息；

校验匹配模块，用于对所述第一发票内容信息以及所述第二发票内容信息进行校验匹配操作，得到目标发票内容信息。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的电子发票识别方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的电子发票识别方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请提供了一种电子发票识别方法，包括：获取待识别的原始发票图像；对所述原始发票图像进行类型识别操作，得到发票类型信息；读取本地数据库，在所述本地数据库中获取与所述发票类型信息相对应的分割模板数据；根据所述分割模板数据对所述原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；对所述二维码分割图像进行二维码解析操作，得到第一发票内容信息；对所述文本分割图像进行文本识别操作，得到第二发票内容信息；对所述第一发票内容信息以及所述第二发票内容信息进行校验匹配操作，得到目标发票内容信息。本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请实施例一提供的电子发票识别方法的实现流程图；

图3是本申请实施例一提供的电子发票识别方法的另一种具体实施方式的流程图；

图4是图2中步骤S206的一种具体实施方式的流程图；

图5是本申请实施例一提供的获取语义分析模型的一种具体实施方式的流程图；

图6是图5中步骤S502的一种具体实施方式的流程图；

图7是图5中步骤S503的一种具体实施方式的流程图；

图8是图5中步骤S504的一种具体实施方式的流程图；

图9本申请实施例一提供的电子发票识别装置的结构示意图；

图10是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的电子发票识别方法一般由服务器/终端设备执行，相应地，电子发票识别装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了本申请实施例一提供的电子发票识别方法的实现流程图，为了便于说明，仅示出与本申请相关的部分。

上述的电子发票识别方法，包括以下步骤：步骤S201、步骤S202、步骤S203、步骤S204、步骤S205、步骤S206以及步骤S207。

步骤S201：获取待识别的原始发票图像。

在本申请实施例中，获取原始发票图像可以是通过图像采集终端实时采集得到的，该原始发票图像还可以是通过用户终端发送携带有该原始发票图像的数据得到的，应当理解，此处对获取获取原始发票图像的实现方式的举例仅为方便理解，不用于限定本申请。

步骤S202：对原始发票图像进行类型识别操作，得到发票类型信息。

在本申请实施例中，类型识别操作主要用于区分发票的类型，通常情况下，都会在发票正面的上方居中展示发票的类型。

步骤S203：读取本地数据库，在本地数据库中获取与发票类型信息相对应的分割模板数据。

在本申请实施例中，本地数据库预先存储有与各类发票相对应的分割模版。

在本申请实施例中，分割模版数据已经预设有项目缴费区、总金额区、医疗报销区和二维码区域等的划分区域，具体的，作为示例，以增值税电子普通发票为例，增值税电子普通发票的分割模板中标注有各个项目的分割区域，该分割分割区域可以是位于左上角的二维码区域、包括有“名称、纳税人识别号、地址、电话、开户行及账号”的购买方区域、包括有“名称、纳税人识别号、地址、电话、开户行及账号”的销售方区域、价税合计区域等等，应当理解此处对分割模板、分割区域的举例仅为方便理解，不用于限定本申请。

步骤S204：根据分割模板数据对原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像。

在本申请实施例中，在获得与原始发票图像对应的分割模板之后，会根据分割模板中标注的分割区域对该原始发票图像进行分割，得到各个区域对应的小图，作为示例，当原始发票图像为上述增值税电子普通发票图像，则根据该增值税电子普通发票的分割模板中标注有的二维码区域、购买方区域、销售方区域、价税合计区域等区域对该原始发票图像进行分割，得到与二维码、购买方、销售方、价税合计等对应的小图，即上述二维码分割图像和文本分割图像。

步骤S205：对二维码分割图像进行二维码解析操作，得到第一发票内容信息。

在本申请实施例中，二维码解析操作指的是QRCode解析技术，QR Code码，是由Denso公司于1994年9月研制的一种矩阵二维码符号，它具有一维条码及其它二维条码所具有的信息容量大、可靠性高、可表示汉字及图象多种文字信息、保密防伪性强等优点，本申请通过对二维码分割图像进行二维码解析操作得到的第一发票内容信息是最具权威的发票内容信息。

步骤S206：对文本分割图像进行文本识别操作，得到第二发票内容信息。

在本申请实施例中，文本识别操作指的是现有通用的光学字符识别技术，其依据的技术可以是OCR文字识别软件，以实现将图片、照片上的文字内容，直接转换为可编辑文本的软件。

步骤S207：对第一发票内容信息以及第二发票内容信息进行校验匹配操作，得到目标发票内容信息。

在本申请实施例中，校验匹配操作值得是根据最具权威的第一发票内容信息对电子发票图像表面记载的文本内容进行校验，从而有效辨别该原始发票图像的真伪。

在本申请实施例中，若上述第二发票内容信息通过上述校验匹配操作，则说明该原始发票图像未被篡改，其记载的内容是具有真实性的，可作为后续发票报销等操作的依据。

在本申请实施例中，提供了一种电子发票识别方法，包括：获取待识别的原始发票图像；对原始发票图像进行类型识别操作，得到发票类型信息；读取本地数据库，在本地数据库中获取与发票类型信息相对应的分割模板数据；根据分割模板数据对原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；对二维码分割图像进行二维码解析操作，得到第一发票内容信息；对文本分割图像进行文本识别操作，得到第二发票内容信息；对第一发票内容信息以及第二发票内容信息进行校验匹配操作，得到目标发票内容信息。本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。

继续参阅图3，示出了本申请实施例一提供的电子发票识别方法的另一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。

在本实施例的一些可选的实现方式中，在步骤S202之前，还包括：步骤S301。

步骤S301：对原始发票图像进行灰度化操作。

在本申请实施例中，如果RGB模型的R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。

在本申请实施例中，灰度化的计算公式为：

在本申请实施例中，RGB颜色值不能简单直接相加，而是必须用2.2次方换算成物理光功率。因为RGB值与功率并非简单的线性关系，而是幂函数关系，这个函数的指数称为Gamma值，一般为2.2，而这个换算过程，称为Gamma校正。

在本申请实施例中，通过对原始发票图像进行灰度化，使得整个识别过程的推断速度更快。

继续参阅图4，示出了图2中步骤S206的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。

在本实施例的一些可选的实现方式中，步骤S206具体包括：步骤S401以及步骤S402。

步骤S401：根据光学字符识别技术对文本分割图像进行光学字符识别，得到第二发票光学字符。

步骤S402：将第二发票光学字符输入至语义分析模型进行语义分析操作，得到第二发票内容信息。

在本申请实施例中，语义分析模型为预先训练好的深度识别网络模型，该语义分析模型可以通过分析关联文本内容获知目标词汇的真实含义。

继续参阅图5，示出了本申请实施例一提供的获取语义分析模型的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。

在本实施例的一些可选的实现方式中，在步骤S402之前，还包括：步骤S501、步骤S502、步骤S503、步骤S504、步骤S505以及步骤S506。

步骤S501：在本地数据库中获取样本文本，并确定样本文本中包含的每个分词。

在本申请实施例中，可以先从上述本地数据库中获取多个文本，确定由获取的多个文本所构成的训练集，则，针对训练集中的每个文本，可将该文本作为样本文本。

在本申请实施例中，确定该样本文本中包含的分词时，可先对该样本文本进行分词处理，以得到该样本文本中包含的每个分词。在对样本文本进行分词处理时，可采用任何分词方法，当然，也可将该样本文本中的每个字符都作为一个分词进行处理，应当理解，此处对分词处理的举例仅为方便理解，不用于限定本申请。

步骤S502：基于待训练的语义分析模型确定每个分词对应的词向量。

在本申请实施例中，语义分析模型可至少包括四层，分别是：语义表征层、属性表征层、属性相关性表示层、分类层。

在本申请实施例中，语义表征层中至少包括用于输出双向语义表示向量的子模型，如BERT(Bidirectional Encoder Representations from Transformers)模型等。可将每个分词输入语义分析模型中的语义表征层，得到语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量。应当理解，用于输出双向语义表示向量的模型除了上述的BERT模型以外，还包括其他模型，此处对用于输出双向语义表示向量的模型的举例仅为方便理解，不用于限定本申请。

步骤S503：在本地数据库中获取每个语义属性，根据待训练的语义分析模型中包含语义属性对应的注意力矩阵，以及每个分词对应的词向量，确定样本文本涉及语义属性的第一特征表示向量。

在本申请实施例中，可将每个分词对应的词向量输入语义分析模型中的属性表征层，通过属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权，根据注意力加权后的每个分词对应的词向量，确定样本文本涉及该语义属性的第一特征表示向量。

步骤S504：根据待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及样本文本涉及每个语义属性的第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

在本申请实施例中，可将样本文本涉及每个语义属性的第一特征表示向量输入语义分析模型中的属性相关性表示层，通过属性相关性表示层中包含的上述自注意力矩阵，对样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权，根据自注意力加权后的各第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

步骤S505：根据待训练的语义分析模型以及样本文本涉及每个语义属性的第二特征表示向量，确定待训练的语义训练模型输出的分类结果，分类结果包括样本文本所属的语义属性以及样本文本所属的语义属性对应的情感极性。

在本申请实施例中，分类层至少包括隐层、全连接层和softmax层。

在本申请实施例中，可将样本文本涉及每个语义属性的第二特征表示向量依次输入分类层中的隐层、全连接层和softmax层，根据每个第二特征表示向量以及分类层的隐层、全连接层和softmax层中包含的与每个语义属性对应的分类参数，对样本文本进行分类，得到分类层输出的分类结果。

在本申请实施例中，的分类结果至少包括样本文本所属的语义属性以及样本文本在其所属的语义属性上对应的情感极性。

在本申请实施例中，该情感极性可以采用数值进行量化，例如，数值越接近于1，则表示情感极性越倾向于正面，数值越接近于-1，则表示情感极性越倾向于负面，数值接近于0，则表示情感极性倾向于中性。

步骤S506：根据分类结果和针对样本文本预设的标注，对语义分析模型中的模型参数进行调整，以完成对语义分析模型的训练。

在本申请实施例中，需要调整的模型参数至少包括上述的分类参数，还可包括上述的注意力矩阵和自注意力矩阵。可采用传统的训练方法对语义分析模型中的模型参数进行调整。即，直接根据分类结果和针对样本文本预设的标注，确定分类结果对应的损失(以下将其称之为第一损失)，并以该第一损失最小化为训练目标对语义分析模型中的模型参数进行调整，以完成对语义分析模型的训练。

在本申请实施例中，由于上述语义分析模型中已经加入了用于表示不同语义属性之间相关性的自注意力矩阵，因此，采用上述传统的训练方法训练得到的语义分析模型可更加准确的对待分析文本的语义进行分析。

继续参阅图6，示出了图5中步骤S502的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。

在本实施例的一些可选的实现方式中，在步骤S502中，具体包括：步骤S601。

步骤S601：将每个分词输入语义分析模型中的语义表征层，得到语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量。

在本申请实施例中，语义表征层至少包括用于输出双向语义表示向量的子模型，该子模型包括BERT模型。

继续参阅图7，示出了图5中步骤S503的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。

在本实施例的一些可选的实现方式中，在步骤S503中，具体包括：步骤S701、步骤S702以及步骤S703。

步骤S701：将每个分词对应的词向量输入语义分析模型中的属性表征层。

在本申请实施例中，在本申请实施例中，属性表征层中至少包含每个语义属性各自对应的注意力矩阵。

步骤S702：通过属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权。

在本申请实施例中，可将每个分词对应的词向量输入语义分析模型中的属性表征层，通过属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权，根据注意力加权后的每个分词对应的词向量，确定样本文本涉及该语义属性的第一特征表示向量。

步骤S703：根据注意力加权后的每个分词对应的词向量，确定样本文本涉及该语义属性的第一特征表示向量。

在本申请实施例中，上述的第一特征表示向量可以表征该样本文本涉及该语义属性的概率以及在该语义属性上的情感极性。

继续参阅图8，示出了图5中步骤S503的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。

在本实施例的一些可选的实现方式中，在步骤S504中，具体包括：步骤S801、步骤S802以及步骤S803。

步骤S801：将样本文本涉及每个语义属性的第一特征表示向量输入语义分析模型中的属性相关性表示层。

在本申请实施例中，语义分析模型中的属性相关性表示层中至少包含自注意力矩阵，该自注意力矩阵用于表示不同语义属性之间的相关性，该自注意力矩阵的形式可以为：矩阵中的元素R_ij表示第i个语义属性与第j个语义属性的相关性，相关性越强，R_ij的值越大，反之越小。

步骤S802：通过属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权。

步骤S803：根据自注意力加权后的各第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

在本申请实施例中，第二特征表示向量同样可以表征该样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性，但与第一特征表示向量不同的是，第一特征表示向量是采用各自独立的每个语义属性对应的注意力矩阵对词向量加权得到的，因此，其表征的样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性并未考虑不同语义属性之间的相关性。而第二特征表示向量是采用用于表示不同语义属性之间相关性的自注意力矩阵对第一特征表示向量加权得到的，相当于由自注意力矩阵引入了不同语义属性之间相关性的因素，因此，其表征的样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性考虑了不同语义属性之间的相关性。

综上，本申请提供了一种电子发票识别方法，包括：获取待识别的原始发票图像；对原始发票图像进行类型识别操作，得到发票类型信息；读取本地数据库，在本地数据库中获取与发票类型信息相对应的分割模板数据；根据分割模板数据对原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；对二维码分割图像进行二维码解析操作，得到第一发票内容信息；对文本分割图像进行文本识别操作，得到第二发票内容信息；对第一发票内容信息以及第二发票内容信息进行校验匹配操作，得到目标发票内容信息。本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。同时，通过对原始发票图像进行灰度化，使得整个识别过程的推断速度更快。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例二

进一步参考图9，作为对上述图2所示方法的实现，本申请提供了一种电子发票识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图9所示，本实施例的电子发票识别装置200包括：图像获取模块210、类型识别模块220、模板获取模块230、图像分割模块240、二维码解析模块250、文本识别模块260以及校验匹配模块270。其中：

图像获取模块210，用于获取待识别的原始发票图像；

类型识别模块220，用于对原始发票图像进行类型识别操作，得到发票类型信息；

模板获取模块230，用于读取本地数据库，在本地数据库中获取与发票类型信息相对应的分割模板数据；

图像分割模块240，用于根据分割模板数据对原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；

二维码解析模块250，用于对二维码分割图像进行二维码解析操作，得到第一发票内容信息；

文本识别模块260，用于对文本分割图像进行文本识别操作，得到第二发票内容信息；

校验匹配模块270，用于对第一发票内容信息以及第二发票内容信息进行校验匹配操作，得到目标发票内容信息。

在本申请实施例中，获取原始发票图像可以是通过图像采集终端实时采集得到的，该原始发票图像还可以是通过用户终端发送携带有该原始发票图像的数据得到的，应当理解，此处对获取获取原始发票图像的实现方式的举例仅为方便理解，不用于限定本申请。

在本申请实施例中，类型识别操作主要用于区分发票的类型，通常情况下，都会在发票正面的上方居中展示发票的类型。

在本申请实施例中，本地数据库预先存储有与各类发票相对应的分割模版。

在本申请实施例中，分割模版数据已经预设有项目缴费区、总金额区、医疗报销区和二维码区域等的划分区域，具体的，作为示例，以增值税电子普通发票为例，增值税电子普通发票的分割模板中标注有各个项目的分割区域，该分割分割区域可以是位于左上角的二维码区域、包括有“名称、纳税人识别号、地址、电话、开户行及账号”的购买方区域、包括有“名称、纳税人识别号、地址、电话、开户行及账号”的销售方区域、价税合计区域等等，应当理解此处对分割模板、分割区域的举例仅为方便理解，不用于限定本申请。

在本申请实施例中，在获得与原始发票图像对应的分割模板之后，会根据分割模板中标注的分割区域对该原始发票图像进行分割，得到各个区域对应的小图，作为示例，当原始发票图像为上述增值税电子普通发票图像，则根据该增值税电子普通发票的分割模板中标注有的二维码区域、购买方区域、销售方区域、价税合计区域等区域对该原始发票图像进行分割，得到与二维码、购买方、销售方、价税合计等对应的小图，即上述二维码分割图像和文本分割图像。

在本申请实施例中，二维码解析操作指的是QRCode解析技术，QR Code码，是由Denso公司于1994年9月研制的一种矩阵二维码符号，它具有一维条码及其它二维条码所具有的信息容量大、可靠性高、可表示汉字及图象多种文字信息、保密防伪性强等优点，本申请通过对二维码分割图像进行二维码解析操作得到的第一发票内容信息是最具权威的发票内容信息。

在本申请实施例中，文本识别操作指的是现有通用的光学字符识别技术，其依据的技术可以是OCR文字识别软件，以实现将图片、照片上的文字内容，直接转换为可编辑文本的软件。

在本申请实施例中，校验匹配操作值得是根据最具权威的第一发票内容信息对电子发票图像表面记载的文本内容进行校验，从而有效辨别该原始发票图像的真伪。

在本申请实施例中，若上述第二发票内容信息通过上述校验匹配操作，则说明该原始发票图像未被篡改，其记载的内容是具有真实性的，可作为后续发票报销等操作的依据。

在本申请实施例中，提供了一种电子发票识别装置200，包括：图像获取模块210，用于获取待识别的原始发票图像；类型识别模块220，用于对原始发票图像进行类型识别操作，得到发票类型信息；模板获取模块230，用于读取本地数据库，在本地数据库中获取与发票类型信息相对应的分割模板数据；图像分割模块240，用于根据分割模板数据对原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；二维码解析模块250，用于对二维码分割图像进行二维码解析操作，得到第一发票内容信息；文本识别模块260，用于对文本分割图像进行文本识别操作，得到第二发票内容信息；校验匹配模块270，用于对第一发票内容信息以及第二发票内容信息进行校验匹配操作，得到目标发票内容信息。本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。

在本实施例的一些可选的实现方式中，电子发票识别装置200还包括：灰度化模块，其中：

灰度化模块，用于对原始发票图像进行灰度化操作。

在本申请实施例中，如果RGB模型的R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。

在本申请实施例中，灰度化的计算公式为：

在本申请实施例中，RGB颜色值不能简单直接相加，而是必须用2.2次方换算成物理光功率。因为RGB值与功率并非简单的线性关系，而是幂函数关系，这个函数的指数称为Gamma值，一般为2.2，而这个换算过程，称为Gamma校正。

在本申请实施例中，通过对原始发票图像进行灰度化，使得整个识别过程的推断速度更快。

在本实施例的一些可选的实现方式中，文本识别模块260包括：光学字符识别子模块以及语义分析子模块，其中：

光学字符识别子模块，用于根据光学字符识别技术对文本分割图像进行光学字符识别，得到第二发票光学字符；

语义分析子模块，用于将第二发票光学字符输入至语义分析模型进行语义分析操作，得到第二发票内容信息。

在本申请实施例中，语义分析模型为预先训练好的深度识别网络模型，该语义分析模型可以通过分析关联文本内容获知目标词汇的真实含义。

在本实施例的一些可选的实现方式中，电子发票识别装置200还包括：

模块，用于在本地数据库中获取样本文本，并确定样本文本中包含的每个分词；词向量确定模块、第一特征表示向量确定模块、第二特征表示向量确定模块、分类结果确定模块以及参数调整模块，其中：

词向量确定模块，用于基于待训练的语义分析模型确定每个分词对应的词向量；

第一特征表示向量确定模块，用于在本地数据库中获取每个语义属性，根据待训练的语义分析模型中包含语义属性对应的注意力矩阵，以及每个分词对应的词向量，确定样本文本涉及语义属性的第一特征表示向量；

第二特征表示向量确定模块，用于根据待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及样本文本涉及每个语义属性的第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量；

分类结果确定模块，用于根据待训练的语义分析模型以及样本文本涉及每个语义属性的第二特征表示向量，确定待训练的语义训练模型输出的分类结果，分类结果包括样本文本所属的语义属性以及样本文本所属的语义属性对应的情感极性；

参数调整模块，用于根据分类结果和针对样本文本预设的标注，对语义分析模型中的模型参数进行调整，以完成对语义分析模型的训练。

在本申请实施例中，可以先从上述本地数据库中获取多个文本，确定由获取的多个文本所构成的训练集，则，针对训练集中的每个文本，可将该文本作为样本文本。

在本申请实施例中，确定该样本文本中包含的分词时，可先对该样本文本进行分词处理，以得到该样本文本中包含的每个分词。在对样本文本进行分词处理时，可采用任何分词方法，当然，也可将该样本文本中的每个字符都作为一个分词进行处理，应当理解，此处对分词处理的举例仅为方便理解，不用于限定本申请。

在本申请实施例中，语义分析模型可至少包括四层，分别是：语义表征层、属性表征层、属性相关性表示层、分类层。

在本申请实施例中，语义表征层中至少包括用于输出双向语义表示向量的子模型，如BERT(Bidirectional Encoder Representations from Transformers)模型等。可将每个分词输入语义分析模型中的语义表征层，得到语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量。应当理解，用于输出双向语义表示向量的模型除了上述的BERT模型以外，还包括其他模型，此处对用于输出双向语义表示向量的模型的举例仅为方便理解，不用于限定本申请。

在本申请实施例中，可将每个分词对应的词向量输入语义分析模型中的属性表征层，通过属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权，根据注意力加权后的每个分词对应的词向量，确定样本文本涉及该语义属性的第一特征表示向量。

在本申请实施例中，可将样本文本涉及每个语义属性的第一特征表示向量输入语义分析模型中的属性相关性表示层，通过属性相关性表示层中包含的上述自注意力矩阵，对样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权，根据自注意力加权后的各第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

在本申请实施例中，分类层至少包括隐层、全连接层和softmax层。

在本申请实施例中，可将样本文本涉及每个语义属性的第二特征表示向量依次输入分类层中的隐层、全连接层和softmax层，根据每个第二特征表示向量以及分类层的隐层、全连接层和softmax层中包含的与每个语义属性对应的分类参数，对样本文本进行分类，得到分类层输出的分类结果。

在本申请实施例中，的分类结果至少包括样本文本所属的语义属性以及样本文本在其所属的语义属性上对应的情感极性。

在本申请实施例中，该情感极性可以采用数值进行量化，例如，数值越接近于1，则表示情感极性越倾向于正面，数值越接近于-1，则表示情感极性越倾向于负面，数值接近于0，则表示情感极性倾向于中性。

在本申请实施例中，需要调整的模型参数至少包括上述的分类参数，还可包括上述的注意力矩阵和自注意力矩阵。可采用传统的训练方法对语义分析模型中的模型参数进行调整。即，直接根据分类结果和针对样本文本预设的标注，确定分类结果对应的损失(以下将其称之为第一损失)，并以该第一损失最小化为训练目标对语义分析模型中的模型参数进行调整，以完成对语义分析模型的训练。

在本申请实施例中，由于上述语义分析模型中已经加入了用于表示不同语义属性之间相关性的自注意力矩阵，因此，采用上述传统的训练方法训练得到的语义分析模型可更加准确的对待分析文本的语义进行分析。

在本实施例的一些可选的实现方式中，第二特征表示向量确定模块包括：第一特征表示向量输入子模块、自注意力矩阵子模块以及第二特征表示向量确定子模块，其中：

第一特征表示向量输入子模块，用于将样本文本涉及每个语义属性的第一特征表示向量输入语义分析模型中的属性相关性表示层；

自注意力矩阵子模块，用于通过属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权；

第二特征表示向量确定子模块，用于根据自注意力加权后的各第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

在本申请实施例中，语义分析模型中的属性相关性表示层中至少包含自注意力矩阵，该自注意力矩阵用于表示不同语义属性之间的相关性，该自注意力矩阵的形式可以为：矩阵中的元素R_ij表示第i个语义属性与第j个语义属性的相关性，相关性越强，R_ij的值越大，反之越小。

在本申请实施例中，第二特征表示向量同样可以表征该样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性，但与第一特征表示向量不同的是，第一特征表示向量是采用各自独立的每个语义属性对应的注意力矩阵对词向量加权得到的，因此，其表征的样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性并未考虑不同语义属性之间的相关性。而第二特征表示向量是采用用于表示不同语义属性之间相关性的自注意力矩阵对第一特征表示向量加权得到的，相当于由自注意力矩阵引入了不同语义属性之间相关性的因素，因此，其表征的样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性考虑了不同语义属性之间的相关性。

综上，本申请提供了一种电子发票识别装置200，包括：图像获取模块210，用于获取待识别的原始发票图像；类型识别模块220，用于对原始发票图像进行类型识别操作，得到发票类型信息；模板获取模块230，用于读取本地数据库，在本地数据库中获取与发票类型信息相对应的分割模板数据；图像分割模块240，用于根据分割模板数据对原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；二维码解析模块250，用于对二维码分割图像进行二维码解析操作，得到第一发票内容信息；文本识别模块260，用于对文本分割图像进行文本识别操作，得到第二发票内容信息；校验匹配模块270，用于对第一发票内容信息以及第二发票内容信息进行校验匹配操作，得到目标发票内容信息。本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。同时，通过对原始发票图像进行灰度化，使得整个识别过程的推断速度更快。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图10，图10为本实施例计算机设备基本结构框图。

所述计算机设备400包括通过系统总线相互通信连接存储器310、处理器320、网络接口340。需要指出的是，图中仅示出了具有组件310-340的计算机设备400，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器310至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器310可以是所述计算机设备400的内部存储单元，例如该计算机设备400的硬盘或内存。在另一些实施例中，所述存储器310也可以是所述计算机设备400的外部存储设备，例如该计算机设备400上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器310还可以既包括所述计算机设备400的内部存储单元也包括其外部存储设备。本实施例中，所述存储器310通常用于存储安装于所述计算机设备400的操作系统和各类应用软件，例如电子发票识别方法的计算机可读指令等。此外，所述存储器310还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器320在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器320通常用于控制所述计算机设备400的总体操作。本实施例中，所述处理器320用于运行所述存储器310中存储的计算机可读指令或者处理数据，例如运行所述电子发票识别方法的计算机可读指令。

所述网络接口340可包括无线网络接口或有线网络接口，该网络接口340通常用于在所述计算机设备400与其他电子设备之间建立通信连接。

本申请提供的计算机设备，本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的电子发票识别方法的步骤。

本申请提供的计算机可读存储介质，本申请通过将原始发票图像分割成二维码分割图像和文本分割图像，并分别从二维码渠道和文本渠道获取各自的发票内容，最终进行校验匹配，得到有效的目标发票内容信息，有效提高电子发票识别方法的识别效率以及识别准确度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种电子发票识别方法，其特征在于，包括下述步骤：

获取待识别的原始发票图像；

对所述原始发票图像进行类型识别操作，得到发票类型信息；

读取本地数据库，在所述本地数据库中获取与所述发票类型信息相对应的分割模板数据；

根据所述分割模板数据对所述原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；

对所述二维码分割图像进行二维码解析操作，得到第一发票内容信息；

对所述文本分割图像进行文本识别操作，得到第二发票内容信息；

对所述第一发票内容信息以及所述第二发票内容信息进行校验匹配操作，得到目标发票内容信息。

2.根据权利要求1所述的电子发票识别方法，其特征在于，所述对所述文本分割图像进行文本识别操作，得到第二发票内容信息的步骤，具体包括下述步骤：

根据光学字符识别技术对所述文本分割图像进行光学字符识别，得到第二发票光学字符；

将所述第二发票光学字符输入至语义分析模型进行语义分析操作，得到所述第二发票内容信息。

3.根据权利要求2所述的电子发票识别方法，其特征在于，在所述将所述第二发票光学字符输入至语义分析模型进行语义分析操作，得到所述第二发票内容信息的步骤之前，具体包括下述步骤：

在所述本地数据库中获取样本文本，并确定所述样本文本中包含的每个分词；

基于待训练的语义分析模型确定所述每个分词对应的词向量；

在所述本地数据库中获取每个语义属性，根据所述待训练的语义分析模型中包含所述语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及所述语义属性的第一特征表示向量；

根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

4.根据权利要求3所述的电子发票识别方法，其特征在于，在所述基于待训练的语义分析模型确定所述每个分词对应的词向量步骤，具体包括下述步骤：

将所述每个分词输入所述语义分析模型中的语义表征层，得到所述语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量。

5.根据权利要求3所述的电子发票识别方法，其特征在于，所述在所述本地数据库中获取每个语义属性，根据所述待训练的语义分析模型中包含所述语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及所述语义属性的第一特征表示向量的步骤，具体包括下述步骤：

将每个分词对应的词向量输入所述语义分析模型中的属性表征层；

通过所述属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权；

根据注意力加权后的每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量。

6.根据权利要求3所述的电子发票识别方法，其特征在于，所述根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量的步骤，具体包括下述步骤：

将所述样本文本涉及每个语义属性的第一特征表示向量输入至所述语义分析模型中的属性相关性表示层；

通过所述属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对所述样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权；

根据自注意力加权后的各第一特征表示向量，确定所述样本文本涉及每个语义属性的所述第二特征表示向量。

7.一种电子发票识别装置，其特征在于，包括：

图像获取模块，用于获取待识别的原始发票图像；

类型识别模块，用于对所述原始发票图像进行类型识别操作，得到发票类型信息；

模板获取模块，用于读取本地数据库，在所述本地数据库中获取与所述发票类型信息相对应的分割模板数据；

图像分割模块，用于根据所述分割模板数据对所述原始发票图像进行图像分割操作，得到二维码分割图像以及文本分割图像；

二维码解析模块，用于对所述二维码分割图像进行二维码解析操作，得到第一发票内容信息；

文本识别模块，用于对所述文本分割图像进行文本识别操作，得到第二发票内容信息；

校验匹配模块，用于对所述第一发票内容信息以及所述第二发票内容信息进行校验匹配操作，得到目标发票内容信息。

8.根据权利要求7所述的电子发票识别装置，其特征在于，所述文本识别模块包括：

光学字符识别子模块，用于根据光学字符识别技术对所述文本分割图像进行光学字符识别，得到第二发票光学字符；

语义分析子模块，用于将所述第二发票光学字符输入至语义分析模型进行语义分析操作，得到所述第二发票内容信息。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的电子发票识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的电子发票识别方法的步骤。

Images