CN109858373A - 一种基于深度学习的发票识别验真方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的发票识别验真方法及系统，所述方法包括：获得发票图片，将所述发票图片转换为base64编码的发票字符数据；将所述发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；所述二维码区域定位模型通过卷积神经网络预先训练获得；根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；识别所述二维码图片，获得对应的发票数据；将所述发票数据发送至发票查验服务器，获得所述发票的验真结果；所述方法及系统仅需录入发票的图片即可完成发票的验真以及归集，无需繁杂的人工输入，基于发票图片识别进而自动的验真，实现整个流程的自动化处理，节省了人力成本以及时间成本。

Description

一种基于深度学习的发票识别验真方法及系统

技术领域

本发明涉及图像识别技术领域，更具体地，涉及一种基于深度学习的发票识别验真方法。

背景技术

传统纸质发票报销流程冗杂流转周期长，参与方多且各参与方信息不互通，容易存在发票造假，一票多开偷税漏税现象等。纸质发票面临数据量大，操作重复流程，输入信息容易出错，耽误业务处理时间消耗大量的人力资源及时间。而当前网络环境下，上线许多地方级的税务查验系统，对于发票合法性查证确实带来了方便。

但是在线发票查验平台的使用，发票在线验证都是手工输入相关信息完成，在较大的数据量情况下，也会有很大的工作量，同时平台使用同时也需要相关技术处理，给会计人员带来极大不便。

发明内容

为了解决背景技术存在的发票验真需要手工输入和操作，人力成本高的问题，本发明提供了一种基于深度学习的发票识别验真方法及系统，所述方法及系统仅需录入发票的图片即可完成发票的验真以及归集，无需繁杂的人工输入，也不需要相关技术处理，所述一种基于深度学习的发票识别验真方法包括：

获得发票图片，将所述发票图片转换为base64编码的发票字符数据；

将所述发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；

根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；

识别所述二维码图片，获得对应的发票数据；

将所述发票数据发送至发票查验服务器，获得所述发票的验真结果；

进一步的，所述二维码区域定位模型的预先训练方法包括：

获取多个发票训练图片，对所述多个发票样式图片的二维码区域进行标记，所述标记信息包括对应发票训练图片中二维码上预设点的坐标信息以及二维码的宽度以及高度；

将所述多个发票训练图片的每一个生成一个对应的包括所述标记信息的txt文件，获得发票训练集；

设置包括多个卷积层的卷积神经网络对所述发票训练集进行训练；所述多个卷积层包括一个或多个池化层以及一个或多个全连接层。

进一步的，在获得二维码图片后，所述方法还包括：

对所述二维码图片转换为灰度图像并进行二值化处理；

根据预设规则增强所述二值化处理后的灰度图像的对比度，获得新的二维码图片；

进一步的，将所述发票数据发送至发票查验服务器前，所述方法还包括：

将所述发票数据的查验请求放至注册队列中；

添加高并发内存级数据库缓存以过滤单位时间内的重复请求；

进一步的，获得所述发票验真结果后，所述方法还包括：

将所述发票数据存储至发票信息数据库中，并将所述发票数据按发票验真结果的分类存储至状态查询数据库中；

进一步的，将所述发票数据发送至发票查验服务器，获得所述发票的验真结果，包括：

若所述发票查验服务器查询发票有数据返回，则返回所述发票开具明细信息以及发票验真结果；并将所述发票数据信息存储至大数据数据库服务器的作为数据备份；

若所述发票查验发武器查询发票无数据返回，则返回发票不存在的提示信息；并将对应的发票数据信息存储至大数据数据库服务器的作为查验服务备份。

所述一种基于深度学习的发票识别验真系统包括：

图片数据获取单元，所述图片数据获取单元用于获得发票图片，将所述发票图片转换为base64编码的发票字符数据；

坐标信息计算单元，所述坐标信息计算单元用于将所述图片处理单元输出的发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；

图片处理单元，所述图片处理单元用于根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；

二维码识别单元，所述二维码识别单元用于识别所述二维码图片，获得对应的发票数据；

发票验真单元，所述发票验真单元用于将所述发票数据发送至发票查验服务器，获得所述发票的验真结果。

进一步的，所述坐标信息计算单元用于预先训练所述二维码区域定位模型；

所述坐标信息计算单元用于获取多个发票训练图片，对所述多个发票样式图片的二维码区域进行标记，所述标记信息包括对应发票训练图片中二维码上预设点的坐标信息以及二维码的宽度以及高度；

所述坐标获取计算单元用于将所述多个发票训练图片的每一个生成一个对应的包括所述标记信息的txt文件，获得发票训练集；

所述坐标获取计算单元用于设置包括多个卷积层的卷积神经网络对所述发票训练集进行训练；所述多个卷积层包括一个或多个池化层以及一个或多个全连接层。

进一步的，所述图片处理单元用于对对所述二维码图片转换为灰度图像并进行二值化处理；

所述图片处理单元根据预设规则增强所述二值化处理后的灰度图像的对比度，获得新的二维码图片。

进一步的，所述发票验真单元用于将所述发票数据的查验请求放至注册队列中，并添加高并发内存级数据库缓存以过滤单位时间内的重复请求。

进一步的，所述发票验真单元用于与发票信息数据库以及状态查询数据库进行连接，将所述发票数据存储至发票信息数据库中，并将所述发票数据按发票验真结果的分类存储至状态查询数据库中。

进一步的，所述发票验真单元用于与大数据数据库服务器连接；

若所述发票查验服务器查询发票有数据返回，则向所述发票验真单元返回所述发票开具明细信息以及发票验真结果；所述发票验真单元将所述发票数据信息存储至大数据数据库服务器的作为数据备份；

若所述发票查验发武器查询发票无数据返回，则向所述发票验真单元返回发票不存在的提示信息；所述发票验真单元将对应的发票数据信息存储至大数据数据库服务器的作为查验服务备份。

本发明的有益效果为：本发明的技术方案，给出了一种基于深度学习的发票识别验真方法及系统，所述方法及系统通过深度学习算法对输入的发票图片的二维码区域进行定位、裁剪并优化处理，自动的识别二维码图片进而获得发票数据；所述方法及系统通过与发票查验服务器进行通信获得发票数据的验真结果，并根据验真结果自动进行发票的归集；所述方法及系统基于发票图片识别进而自动的验真，实现整个流程的自动化处理，节省了人力成本以及时间成本。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为本发明具体实施方式的一种基于深度学习的发票识别验真方法的流程图；

图2为本发明具体实施方式的一种基于深度学习的发票识别验真系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为本发明具体实施方式的一种基于深度学习的发票识别验真方法的流程图；如图1所示，所述方法包括：

步骤110，获得发票图片，将所述发票图片转换为base64编码的发票字符数据；

所述获得的发票图片，可以为纸质的发票的拍照图片也可以为电子发票另存的图片格式；为保证后续目标检测定位的准确性，所述发票图片在拍摄过程中，需要保证其水平度以及明暗度；保证发票图片中具有全票面信息，以提高发票的识别率；

更有的，使用统一的扫描机器，如银行系统的卡片照片拍摄装置，保证拍摄的角度、环境均一致，以提高获得的发票照片的质量。

步骤120，将所述发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；

进一步的，所述二维码区域定位模型为预先训练获得，所述预先训练方法包括：

获取多个发票训练图片，对所述多个发票样式图片的二维码区域进行标记，保存带有标记位置信息的xml文件，

通过脚本提取xml文件中目标区域的位置数据<obj-id>,x,y,w,h；其中x，y对应发票训练图片中二维码上预设点的坐标信息；一般可以取左上角的位置点坐标；w，h为二维码的宽度以及高度；

将所述多个发票训练图片的每一个生成一个对应的包括所述标记信息的txt文件，获得发票训练集；

设置包括多个卷积层的卷积神经网络对所述发票训练集进行训练；所述多个卷积层包括一个或多个池化层以及一个或多个全连接层。

所述网络的初始卷积层从图像中提取特征，而全连接层预测输出概率和坐标。本实施例中，所述卷积神经网络共24层，最后2个是全连接层，使用1x1降维层。交替1x1卷积层以减少前面层的特征空间。使用网络架构的前20个卷积层，接着是平均池化层和全连接层。

进一步的，为提高性能，可增加所述卷积神经网络中的卷积层和连接层的数量，本实施例中，通过所述二维码的宽度和高度规范边界框的宽度和高度，将边界框x和y坐标参数化为特定的网络单元位置和偏移量，使它们的边界以在0和1之间。

步骤130，根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；

进一步的，对所述二维码图片转换为灰度图像并进行二值化处理；

根据预设规则增强所述二值化处理后的灰度图像的对比度，以减少发票图片自身折皱、模糊图片亮度不足等带来的后续识别率负影响，获得新的二维码图片；

步骤140，识别所述二维码图片，获得对应的发票数据；

所述发票数据包括发票的发票代码、发票号码、开票日期、发票金额、纳税人识别号等发票必要信息。

步骤150，将所述发票数据发送至发票查验服务器，获得所述发票的验真结果；

进一步的，每一次发票数据对应一个查验请求，将所述发票数据的查验请求放至注册队列中；

添加高并发内存级数据库缓存以过滤单位时间内的重复请求，以减少服务器的并发量。

若所述发票查验服务器查询发票有数据返回，则返回所述发票开具明细信息以及发票验真结果；并将所述发票数据信息存储至大数据数据库服务器的作为数据备份；

若所述发票查验发武器查询发票无数据返回，则返回发票不存在的提示信息；并将对应的发票数据信息存储至大数据数据库服务器的作为查验服务备份。

同时，将所述发票数据存储至发票信息数据库中，并将所述发票数据按发票验真结果的分类存储至状态查询数据库中。

图2为本发明具体实施方式的一种基于深度学习的发票识别验真系统的结构图；如图2所示，所述系统包括：

图片数据获取单元，所述图片数据获取单元用于获得发票图片，将所述发票图片转换为base64编码的发票字符数据；

坐标信息计算单元，所述坐标信息计算单元用于将所述图片处理单元输出的发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；

进一步的，所述坐标信息计算单元用于预先训练所述二维码区域定位模型；

所述坐标信息计算单元用于获取多个发票训练图片，对所述多个发票样式图片的二维码区域进行标记，所述标记信息包括对应发票训练图片中二维码上预设点的坐标信息以及二维码的宽度以及高度；

所述坐标获取计算单元用于将所述多个发票训练图片的每一个生成一个对应的包括所述标记信息的txt文件，获得发票训练集；

所述坐标获取计算单元用于设置包括多个卷积层的卷积神经网络对所述发票训练集进行训练；所述多个卷积层包括一个或多个池化层以及一个或多个全连接层。

图片处理单元，所述图片处理单元用于根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；

进一步的，所述图片处理单元用于对对所述二维码图片转换为灰度图像并进行二值化处理；

所述图片处理单元根据预设规则增强所述二值化处理后的灰度图像的对比度，获得新的二维码图片。

二维码识别单元，所述二维码识别单元用于识别所述二维码图片，获得对应的发票数据；

发票验真单元，所述发票验真单元用于将所述发票数据发送至发票查验服务器，获得所述发票的验真结果。

进一步的，所述发票验真单元用于将所述发票数据的查验请求放至注册队列中，并添加高并发内存级数据库缓存以过滤单位时间内的重复请求。

进一步的，所述发票验真单元用于与发票信息数据库以及状态查询数据库进行连接，将所述发票数据存储至发票信息数据库中，并将所述发票数据按发票验真结果的分类存储至状态查询数据库中。

进一步的，所述发票验真单元用于与大数据数据库服务器连接；

若所述发票查验服务器查询发票有数据返回，则向所述发票验真单元返回所述发票开具明细信息以及发票验真结果；所述发票验真单元将所述发票数据信息存储至大数据数据库服务器的作为数据备份；

若所述发票查验发武器查询发票无数据返回，则向所述发票验真单元返回发票不存在的提示信息；所述发票验真单元将对应的发票数据信息存储至大数据数据库服务器的作为查验服务备份。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。

以上所述仅是本公开的具体实施方式，应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开精神的前提下，可以作出若干改进、修改、和变形，这些改进、修改、和变形都应视为落在本申请的保护范围内。

Claims (12)

1.一种基于深度学习的发票识别验真方法，所述方法包括：

获得发票图片，将所述发票图片转换为base64编码的发票字符数据；

将所述发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；

根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；

识别所述二维码图片，获得对应的发票数据；

将所述发票数据发送至发票查验服务器，获得所述发票的验真结果。

2.根据权利要求1所述的方法，其特征在于，所述二维码区域定位模型的预先训练方法包括：

获取多个发票训练图片，对所述多个发票样式图片的二维码区域进行标记，所述标记信息包括对应发票训练图片中二维码上预设点的坐标信息以及二维码的宽度以及高度；

将所述多个发票训练图片的每一个生成一个对应的包括所述标记信息的txt文件，获得发票训练集；

设置包括多个卷积层的卷积神经网络对所述发票训练集进行训练；所述多个卷积层包括一个或多个池化层以及一个或多个全连接层。

3.根据权利要求1所述的方法，其特征在于：在获得二维码图片后，所述方法还包括：

对所述二维码图片转换为灰度图像并进行二值化处理；

根据预设规则增强所述二值化处理后的灰度图像的对比度，获得新的二维码图片。

4.根据权利要求1所述的方法，其特征在于：将所述发票数据发送至发票查验服务器前，所述方法还包括：

将所述发票数据的查验请求放至注册队列中；

添加高并发内存级数据库缓存以过滤单位时间内的重复请求。

5.根据权利要求1所述的方法，其特征在于，获得所述发票验真结果后，所述方法还包括：

将所述发票数据存储至发票信息数据库中，并将所述发票数据按发票验真结果的分类存储至状态查询数据库中。

6.根据权利要求1所述的方法，其特征在于，将所述发票数据发送至发票查验服务器，获得所述发票的验真结果，包括：

若所述发票查验服务器查询发票有数据返回，则返回所述发票开具明细信息以及发票验真结果；并将所述发票数据信息存储至大数据数据库服务器的作为数据备份；

若所述发票查验发武器查询发票无数据返回，则返回发票不存在的提示信息；并将对应的发票数据信息存储至大数据数据库服务器的作为查验服务备份。

7.一种基于深度学习的发票识别验真系统，所述系统包括：

图片数据获取单元，所述图片数据获取单元用于获得发票图片，将所述发票图片转换为base64编码的发票字符数据；

坐标信息计算单元，所述坐标信息计算单元用于将所述图片处理单元输出的发票字符数据输入至预先训练的二维码区域定位模型，获得所述发票的坐标信息数据；

图片处理单元，所述图片处理单元用于根据所述发票的坐标信息数据对所述发票图片进行剪裁，获得二维码图片；

二维码识别单元，所述二维码识别单元用于识别所述二维码图片，获得对应的发票数据；

发票验真单元，所述发票验真单元用于将所述发票数据发送至发票查验服务器，获得所述发票的验真结果。

8.根据权利要求7所述的系统，其特征在于：所述坐标信息计算单元用于预先训练所述二维码区域定位模型；

所述坐标信息计算单元用于获取多个发票训练图片，对所述多个发票样式图片的二维码区域进行标记，所述标记信息包括对应发票训练图片中二维码上预设点的坐标信息以及二维码的宽度以及高度；

所述坐标获取计算单元用于将所述多个发票训练图片的每一个生成一个对应的包括所述标记信息的txt文件，获得发票训练集；

所述坐标获取计算单元用于设置包括多个卷积层的卷积神经网络对所述发票训练集进行训练；所述多个卷积层包括一个或多个池化层以及一个或多个全连接层。

9.根据权利要求7所述的系统，其特征在于：所述图片处理单元用于对对所述二维码图片转换为灰度图像并进行二值化处理；

所述图片处理单元根据预设规则增强所述二值化处理后的灰度图像的对比度，获得新的二维码图片。

10.根据权利要求7所述的系统，其特征在于：所述发票验真单元用于将所述发票数据的查验请求放至注册队列中，并添加高并发内存级数据库缓存以过滤单位时间内的重复请求。

11.根据权利要求7所述的系统，其特征在于：所述发票验真单元用于与发票信息数据库以及状态查询数据库进行连接，将所述发票数据存储至发票信息数据库中，并将所述发票数据按发票验真结果的分类存储至状态查询数据库中。

12.根据权利要求7所述的系统，其特征在于：所述发票验真单元用于与大数据数据库服务器连接；

若所述发票查验服务器查询发票有数据返回，则向所述发票验真单元返回所述发票开具明细信息以及发票验真结果；所述发票验真单元将所述发票数据信息存储至大数据数据库服务器的作为数据备份；

若所述发票查验发武器查询发票无数据返回，则向所述发票验真单元返回发票不存在的提示信息；所述发票验真单元将对应的发票数据信息存储至大数据数据库服务器的作为查验服务备份。