CN110675546B - 发票图片识别及验真方法、系统、设备及可读存储介质 - Google Patents

发票图片识别及验真方法、系统、设备及可读存储介质 Download PDF

Info

Publication number
CN110675546B
CN110675546B CN201910844520.3A CN201910844520A CN110675546B CN 110675546 B CN110675546 B CN 110675546B CN 201910844520 A CN201910844520 A CN 201910844520A CN 110675546 B CN110675546 B CN 110675546B
Authority
CN
China
Prior art keywords
invoice
picture
data
verification
verified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910844520.3A
Other languages
English (en)
Other versions
CN110675546A (zh
Inventor
夏良超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201910844520.3A priority Critical patent/CN110675546B/zh
Publication of CN110675546A publication Critical patent/CN110675546A/zh
Priority to PCT/CN2020/087586 priority patent/WO2021042747A1/zh
Application granted granted Critical
Publication of CN110675546B publication Critical patent/CN110675546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2016—Testing patterns thereon using feature extraction, e.g. segmentation, edge detection or Hough-transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/202—Testing patterns thereon using pattern matching
    • G07D7/206—Matching template patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供发票图片识别及验真方法，包括接收待验真发票图片，识别待验真发票图片的发票类型；判断发票类型是否为预设发票类型；若发票类型为预设发票类型，提取待验真发票图片中的多个文字数据和图片数据；根据多个文字数据和图片数据对待验真发票图片执行第一验真操作，以生成第一验真结果；若第一验真结果为待验真发票图片为合规图片，则从多个文字数据和图片数据提取发票基础数据；根据发票基础数据执行第二验真操作，以生成验真结论表单；发送验真结论表单至客户端，以通过客户端显示该验真结论表单。本发明实施例还提供发票图片识别及验真系统、设备及可读存储介质。本发明实施例能更高效、便捷地完成发票的识别及验真。

Description

发票图片识别及验真方法、系统、设备及可读存储介质
技术领域
本发明实施例涉及大数据领域，尤其涉及一种发票图片识别及验真方法、系统、计算机设备及计算机可读存储介质。
背景技术
发票作为我国财务制度的重要组成部分，既是会计核算的重要原始凭证，也是税务机关进行税款核算征收、税务稽查的主要有效手段。伪造出的发票会为公司或企业的报销、入账等操作带来麻烦，甚至是财务损失。因此，在公司或企业的报销流程中，相关的财务部门有必要对发票进行验真操作。
目前，在大多数公司或企业的报销流程中，公司或企业的财务部门对发票的验真操作，通常需要财务人员手动录入发票的发票代码、发票号码、开票日期、开具金额(不含税)、开票方识别号等基本信息，再到国税网站查询以判断发票的真伪。但是，采用上述方式进行发票的验真存在以下问题：第一是查询效率低下，手动输入很容易操作失误；第二是当财务人员进行报销、入账等财务工作时，需要从大批量的发票中筛选出符合要求的发票，并进行验真操作，效率较低。
因此，如何高效、便捷地完成发票的识别及验真，成为目前亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种发票图片识别及验真方法、系统、计算机设备及计算机可读存储介质，用于解决财务人员从大批量的发票中筛选出符合要求的发票并验真，效率较低的问题。
本发明实施例是通过下述技术方案来解决上述技术问题：
一种发票图片识别及验真方法，包括：
接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型；
判断所述发票类型是否为预设发票类型；
如果所述发票类型为预设发票类型，提取所述待验真发票图片中的多个文字数据和图片数据；
根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果；
如果所述第一验真结果为所述待验真发票图片为合规图片，则从所述多个文字数据和图片数据提取发票基础数据；
根据所述发票基础数据执行第二验真操作，以生成验真结论表单；
发送所述验真结论表单至所述客户端，以通过所述客户端将所述验真结论表单显示在所述客户端相应的显示界面上。
进一步地，接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型的步骤，还包括：
通过深度残差网络模型从所述待验真发票图片中提取多个卷积特征；
对所述多个卷积特征进行降维处理，以得到多个低维特征；
计算所述多个低维特征与预配置的多视角图像数据库中各图片的特征的欧式距离；
选择所述多视角图像数据库中的参考发票图片，所述参考发票图片与所述待验证发票图片之间的欧式距离大于所述多视角数据库中其他发票图片与所述待验真发票之间的欧式距离；
向所述多视角图像数据库发送查询请求，所述查询请求用于请求所述多视角图像数据库查询所述参考发票图片的参考发票类型；
接收所述多视角图像数据库返回的参考发票类型；
将所述参考发票类型确定为所述待验真发票图片的发票类型。
进一步地，通过深度残差网络模型从所述待验真发票图片中提取多个卷积特征的步骤，还包括：
将所述待验真发票图片输入至输入层中；
初始卷积层对输入层中的所述待验真发票图片进行卷积操作，以得到多个卷积特征图；
通过多个残差模块提取所述多个卷积特征图中的多个卷积特征；
多个卷积特征输入至全连接层中进行分类；
通过输出层输出分类后的多个卷积特征。
进一步地，对所述多个卷积特征进行降维处理，以得到多个低维特征的步骤，还包括：
将多个卷积特征组成128维特征向量矩阵，一个卷积特征表示为一个128维特征向量；
计算128维特征向量矩阵的协方差矩阵；
对所述协方差矩阵进行特征值的分解，根据特征值大小选择64个特征值对应的特征向量组成投影矩阵；
将所述128维特征向量矩阵向投影矩阵进行投影，以得到64维特征向量矩阵，所述64维特征向量矩阵包括多个低维特征，一个低维特征表示为一个64维特征向量。
进一步地，根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果的步骤，还包括：
从所述多个图片数据中提取出发票监制章图片数据、销售方发票专用章图片数据和二维码图片数据；
解析所述二维码图片数据以得到多个第一字段数据，将所述多个第一字段数据与所述多个文字数据中的多个文字字段数据进行匹配，以生成文字匹配结果数据；
解析所述发票监制章图片数据以得到多个第二字段数据，将所述多个第二字段数据与基于全国统一发票监制章预先配置的多个监制章字段进行匹配，以生成监制章匹配结果数据；
解析销售方发票专用章图片数据以得到多个第三字段数据，将所述多个第三字段与预配置的发票专用章数据库的各个图片中的多个发票专用章字段数据进行匹配，以生成发票专用章匹配结果数据；
如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据均表示匹配一致，则生成第一验真结果，所述第一验真结果为所述待验真图片为合规图片；
如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据中任一匹配结果数据表示匹配不一致，则生成第一验真结果，所述第一验真结果为所述待验真图片为非合规图片。
进一步地，根据所述发票基础数据执行第二验真操作的步骤之前，还包括：
向电子发票验真系统发送获取请求，所述获取请求用于获取所述电子发票验真系统的验证码图片数据；
分析所述验证码图片数据，以提取所述验证码信息；
通过所述验证码信息获取对接接口，所述对接接口用于发送所述发票基础数据至所述电子发票验真系统。
进一步地，根据所述发票基础数据执行第二验真操作，以生成验真结论表单的步骤，还包括：
将发票基础数据和关联数据查询指令发送至电子发票验真系统统，所述关联数据查询指令用于请求所述电子发票验真系统基于所述待验真发票图片查询的多个关联数据；
接收所述电子发票验真系统返回的多个关联数据；
从所述多个关联数据中提取多个查验参数；
接收所述发票基础数据与多个查验参数的最终比对结果，以生成验真结论表单。
为了实现上述目的，本发明实施例还提供一种发票图片识别及验真系统，包括：
接收模块，用于接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型；
判断模块；用于判断所述发票类型是否为预设发票类型；
第一提取模块，用于如果所述发票类型为预设发票类型，提取所述待验真发票图片中的多个文字数据和图片数据；
第一验真模块，用于根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果；
第二提取模块，用于如果所述第一验真结果为所述待验真发票图片为合规图片，则从所述多个文字数据和图片数据提取发票基础数据；
第二验真模块，用于根据所述发票基础数据执行第二验真操作，以生成验真结论表单；
显示模块，用于发送所述验真结论表单至所述客户端，以通过所述客户端将所述验真结论表单显示在所述客户端相应的显示界面上。
为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述发票图片识别及验真方法的步骤。
为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的发票图片识别及验真方法的步骤。
本发明实施例提供的发票图片识别及验真方法、系统、计算机设备及计算机可读存储介质，在对待验真发票图片进行验真操作之前，通过识别并判断待验真发票图片的发票类型，根据所述发票类型财务人员在进行报销、入账等财务工作时，能够更高效地从大批量的发票中筛选出符合要求的发票；且在判断待验真发票图片的发票类型之后，通过发票票面上文字数据与图片数据对比的第一验真操作以及根据发票图片中提取的发票基础数据进行的第二验真操作，对待验真发票图片的两次验真操作，能够使待验真的发票图片的验真结果更加准确。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明实施例一之发票图片识别及验真方法的步骤流程图；
图2为图1中步骤S100的具体流程示意图；
图3为图2中步骤S100A的具体流程示意图；
图4为图2中步骤S100B的具体流程示意图；
图5为图1中步骤S106的具体流程示意图；
图6为图1中步骤S110的具体流程示意图；
图7为本发明发票图片识别及验真系统之实施例二的程序模块示意图；
图8为本发明计算机设备之实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
请参阅图1，示出了本发明实施例之发票图片识别及验真方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
步骤S100，接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型。
如图2所示，在示例性的实施例中，步骤S100还可以进一步包括：
步骤S100A，通过深度残差网络(Deep Residual Network，简称DRN)模型从所述待验真发票图片中提取多个卷积特征。
具体的，所述深度残差网络模型包括一个输入层、一个初级卷积层、多个残差模块、一个全连接层和一个输出层；初级卷积层主要作用是对输入的原始数据进行卷积；多个残差模块用于提取上述卷积后的数据的卷积特征；全连接层有多个节点，主要作用是对上述卷积特征进行分类。
每个残差模块分为一条主径和一条捷径，并在结束时重新叠加整合，即一个残差模块是由两层卷积再加一个恒等映射组成的。一个残差模块可以表示为y＝F(x，{Wi})+x，其中，x表示经由捷径得到的输出，Wi表示该残差模块的权重，F(x，{Wi})为经由主径得到的输出，y为主径和捷径得到的输出之和。
在本实施例中，请参阅图3，步骤S100A还可以进一步包括以下步骤：
步骤S100A1，将所述待验真发票图片输入至输入层中。
步骤S100A2，初始卷积层对输入层中的所述待验真发票图片进行卷积操作，以得到多个卷积特征图。
步骤S100A3，通过多个残差模块提取所述多个卷积特征图中的多个卷积特征。
步骤S100A4，多个卷积特征输入至全连接层进行分类。
步骤S100A5，通过输出层输出多个卷积特征。
步骤S100B，对所述多个卷积特征进行降维处理，以得到多个低维特征。
接上例，可采用主成分分析法(Principal Component Analysis，简称PCA)对上述经深度残差网络模型提取的卷积特征进行降维操作，请参阅图4，具体如下：
步骤S100B1，将多个卷积特征组成128维特征向量矩阵，一个卷积特征表示为一个128维特征向量；
步骤S100B2，计算128维特征向量矩阵的协方差矩阵；
步骤S100B3，对所述协方差矩阵进行特征值的分解，根据特征值大小选择64个特征值对应的特征向量组成投影矩阵；
步骤S100B4，将所述128维特征向量矩阵向投影矩阵进行投影，以得到64维特征向量矩阵，所述64维特征向量矩阵包括多个低维特征，一个低维特征表示为一个64维特征向量。
由于图像信息集中在特征值大的特征向量中，因此，舍弃特征值小的特征向量不会影响图像质量。因此，根据协方差矩阵的特征值大小由大到小进行排序，选择前64个特征值对应的特征向量，以得到降维后的多个低维特征。
步骤S100C，计算所述多个低维特征与预配置的多视角图像数据库中各图片的特征的欧式距离。
具体的，预配置的多视角图像数据库包含每一种发票类型在不同角度下拍摄的发票图像。
欧式距离计算公式为：
Figure BDA0002194746970000081
其中x和y表示两个n维向量：x(x1、x2、…、xn)，y(y1、y2、…、yn)。
步骤S100D，选择所述多视角图像数据库中的参考发票图片，所述参考发票图片与所述待验证发票图片之间的欧式距离大于所述多视角数据库中其他发票图片与所述待验真发票之间的欧式距离。
步骤S100E，向所述多视角图像数据库发送查询请求，所述查询请求用于请求所述多视角图像数据库查询所述参考发票图片的参考发票类型。
步骤S100F，接收所述多视角图像数据库返回的参考发票类型。
步骤S100G，将所述参考发票类型确定为所述待验真发票图片的发票类型。
步骤S102，判断所述发票类型是否为预设发票类型。
步骤S104，如果所述发票类型为预设发票类型，提取所述待验真发票图片中的多个文字数据和图片数据。
具体的，所述文字数据包括：文字内容、文字属性(字体、字号等)、文字内容在版面中的位置等数据；所述图片数据包括：图片属性(分辨率、图片色域、通道等)、图片在版面中位置等数据。
步骤S106，根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果。
如图5所示，在示例性的实施例中，步骤S106还可以进一步包括：
步骤S106A，从所述多个图片数据中提取出发票监制章图片数据、销售方发票专用章图片数据和二维码图片数据。
具体的，通过遍历的方式从多个图片数据中提取出发票监制章图片数据、销售方发票专用章图片数据和二维码图片数据；其中，二维码为加密二维码。
步骤S106B，解析所述二维码图片数据以得到多个第一字段数据，将所述多个第一字段数据与所述多个文字数据中的多个文字字段数据进行匹配，以生成文字匹配结果数据。
具体的，如果匹配一致，则生成的文字匹配结果数据表示为文字匹配一致；如果匹配不一致，则生成的文字匹配结果数据表示为文字匹配不一致。
在示例性的实施例中，解析所述二维码图片数据的具体操作如下：
1.1、调用zxing扫描程序，通过所述zxing扫描程序对所述二维码图片数据进行扫描，获得加密数据及该发票开票人的公钥数据；
1.2、对所述加密数据进行解密和比对；
1.3、判断是否解密成功；如果解密成功，则进入步骤1.4；如果解密不成功，则生成解密失败结论数据并反馈至所述客户端。
1.4、根据扫描结果提取所述二维码图片数据中的多个第一字段数据。
步骤S106C，解析所述发票监制章图片数据以得到多个第二字段数据，将所述多个第二字段数据与基于全国统一发票监制章预先配置的多个监制章字段进行匹配，以生成监制章匹配结果数据。
在示例性的实施例中，具体的，如果匹配一致，则生成的监制章匹配结果数据表示为监制章匹配一致；如果匹配不一致，则生成的监制章匹配结果数据表示为监制章匹配不一致。
可以采用OCR识别技术对所述发票监制章图片数据进行解析以得到多个第二字段数据。
步骤S106D，解析销售方发票专用章图片数据以得到多个第三字段数据，将所述多个第三字段与预配置的发票专用章数据库的各个图片中的多个发票专用章字段数据进行匹配，以生成发票专用章匹配结果数据。
具体的，如果匹配一致，则生成的发票专用章匹配结果数据表示为发票专用章匹配一致；如果匹配不一致，则生成的发票专用章匹配结果数据表示为发票专用章匹配不一致。
在示例性的实施例中，也可以采用OCR识别技术对所述销售方发票专用章图片数据进行解析以得到多个第三字段数据。
步骤S106E，如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据均表示匹配一致，则生成第一验真结果，所述第一验真结果为所述待验真图片为合规图片。
步骤S106F，如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据中任一匹配结果数据表示匹配不一致，则生成第一验真结果，所述第一验真结果为所述待验真图片为非合规图片。
步骤S108，如果所述第一验真结果为所述待验真发票图片为合规图片，则从所述多个文字数据和图片数据提取发票基础数据。
具体的，所述发票基础数据包括发票代码、发票号码、合计金额(不含税)、开票日期、发票校验码等多个特征数据。
步骤S110，根据所述发票基础数据执行第二验真操作，以生成验真结论表单。
在执行第二验真操作之前，还包括获取计算机设备与电子发票验真系统之间的对接接口，具体如下：
2.1、向电子发票验真系统发送获取请求，所述获取请求用于获取所述电子发票验真系统的验证码图片数据；
2.2、分析所述验证码图片数据，以提取所述验证码信息；
2.3、通过所述验证码信息获取对接接口，并基于所述对接接口发送所述发票基础数据至所述电子发票验真系统。
请参阅图6，在步骤S110中，还可以进一步包括：
步骤S110A，将发票基础数据和关联数据查询指令发送至电子发票验真系统统，所述关联数据查询指令用于请求所述电子发票验真系统基于所述待验真发票图片查询的多个关联数据；
步骤S110B，接收所述电子发票验真系统返回的多个关联数据；
步骤S110C，从所述多个关联数据中提取多个查验参数；
具体的，所述多个查询参数包括但不限于机器编号、规格型号、发票号码、发票代码、开票日期、校验码、金额、单位、数量、单价、金额、税率、税额、购买方区域信息(名称、纳税人识别号、开户行及账号以及地址、电话)，销售方区域信息(名称、纳税人识别号、开户行及账号以及地址、电话)、备注、密码区、收款人、复核、开票人等。
步骤S110D，接收所述发票基础数据与多个查验参数的最终比对结果，以生成验真结论表单。
具体的，如果最终比对结果表示为所述发票基础数据与多个查验参数匹配一致，则针对所述待验真发票图片生成验真结论表单中的验真结论数据表示为所述待验真发票图片为合规发票图片。
如果最终比对结果表示为所述发票基础数据与多个查验参数匹配不一致，则针对所述待验真发票图片生成验真结论表单中的验真结论数据表示为所述待验真发票图片为非合规发票图片。
步骤S112，发送所述验真结论表单至所述客户端，以通过所述客户端将所述验真结论表单显示在所述客户端相应的显示界面上。
实施例二
请继续参阅图7，示出了本发明发票图片识别及验真系统的程序模块示意图。在本实施例中，发票图片识别及验真系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述发票图片识别及验真方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述发票图片识别及验真系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
接收模块200，用于接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型。
进一步地，接收模块200还用于：
通过深度残差网络模型从所述待验真发票图片中提取多个卷积特征；
对所述多个卷积特征进行降维处理，以得到多个低维特征；
计算所述多个低维特征与预配置的多视角图像数据库中各图片的特征的欧式距离；
选择所述多视角图像数据库中的参考发票图片，所述参考发票图片与所述待验证发票图片之间的欧式距离大于所述多视角数据库中其他发票图片与所述待验真发票之间的欧式距离；
向所述多视角图像数据库发送查询请求，所述查询请求用于请求所述多视角图像数据库查询所述参考发票图片的参考发票类型；
接收所述多视角图像数据库返回的参考发票类型；
将所述参考发票类型确定为所述待验真发票图片的发票类型。
判断模块202；用于判断所述发票类型是否为预设发票类型。
第一提取模块204，用于如果所述发票类型为预设发票类型，提取所述待验真发票图片中的多个文字数据和图片数据。
第一验真模块206，用于根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果。
进一步地，所述第一验真模块206还用于：
从所述多个图片数据中提取出发票监制章图片数据、销售方发票专用章图片数据和二维码图片数据；
解析所述二维码图片数据以得到多个第一字段数据，将所述多个第一字段数据与所述多个文字数据中的多个文字字段数据进行匹配，以生成文字匹配结果数据；
解析所述发票监制章图片数据以得到多个第二字段数据，将所述多个第二字段数据与基于全国统一发票监制章预先配置的多个监制章字段进行匹配，以生成监制章匹配结果数据；
解析销售方发票专用章图片数据以得到多个第三字段数据，将所述多个第三字段与预配置的发票专用章数据库的各个图片中的多个发票专用章字段数据进行匹配，以生成发票专用章匹配结果数据；
如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据均表示匹配一致，则生成第一验真结果，所述第一验真结果为所述待验真图片为合规图片；
如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据中任一匹配结果数据表示匹配不一致，则生成第一验真结果，所述第一验真结果为所述待验真图片为非合规图片。
第二提取模块208，用于如果所述第一验真结果为所述待验真发票图片为合规图片，则从所述多个文字数据和图片数据提取发票基础数据。
第二验真模块210，用于根据所述发票基础数据执行第二验真操作，以生成验真结论表单。
进一步地，所述第二验真模块210还用于：
将发票基础数据和关联数据查询指令发送至电子发票验真系统，所述关联数据查询指令用于请求所述电子发票验真系统基于所述待验真发票图片查询的多个关联数据；
接收所述电子发票验真系统返回的多个关联数据；
从所述多个关联数据中提取多个查验参数；
接收所述发票基础数据与多个查验参数的最终比对结果，以生成验真结论表单。
显示模块212，用于发送所述验真结论表单至所述客户端，以通过所述客户端将所述验真结论表单显示在所述客户端相应的显示界面上。
可选的，所述发票图片识别及验真系统20还包括：
获取模块214，用于向电子发票验真系统发送获取请求，所述获取请求用于获取所述电子发票验真系统的验证码图片数据；
分析所述验证码图片数据，以提取所述验证码信息；
通过所述验证码信息获取对接接口，所述对接接口用于发送发票基础数据至所述电子发票验真系统。
实施例三
参阅图8，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图8所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及发票图片识别及验真系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例三的发票图片识别及验真系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行发票图片识别及验真系统20，以实现实施例一的发票图片识别及验真方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图8仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述发票图片识别及验真系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图7示出了所述实现发票图片识别及验真系统20实施例二的程序模块示意图，该实施例中，所述基于发票图片识别及验真系统20可以被划分为接收模块200、判断模块202、第一提取模块204、第一验真模块206、第二提取模块208、第二验真模块210及显示模块212。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述发票图片识别及验真系统20在所述计算机设备2中的执行过程。所述程序模块200-212的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储发票图片识别及验真系统20，被处理器执行时实现实施例一的发票图片识别及验真方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种发票图片识别及验真方法，其特征在于，以计算机设备为执行主体，
包括：
接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型；
判断所述发票类型是否为预设发票类型；
如果所述发票类型为预设发票类型，提取所述待验真发票图片中的多个文字数据和图片数据；
根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果；
如果所述第一验真结果为所述待验真发票图片为合规图片，则从所述多个文字数据和图片数据提取发票基础数据；
根据所述发票基础数据执行第二验真操作，以生成验真结论表单；
发送所述验真结论表单至所述客户端，以通过所述客户端将所述验真结论表单显示在所述客户端相应的显示界面上；
其中，根据所述发票基础数据执行第二验真操作，以生成验真结论表单的步骤，还包括：
根据所述发票基础数据执行第二验真操作，以生成验真结论表单的步骤，还包括：
将发票基础数据和关联数据查询指令发送至电子发票验真系统，所述关联数据查询指令用于请求所述电子发票验真系统基于所述待验真发票图片查询的多个关联数据；
接收所述电子发票验真系统返回的多个关联数据；
从所述多个关联数据中提取多个查验参数；
接收所述发票基础数据与多个查验参数的最终比对结果，以生成验真结论表单；
其中，所述根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果，包括：
从所述多个图片数据中提取出发票监制章图片数据、销售方发票专用章图片数据和二维码图片数据；
解析所述二维码图片数据以得到多个第一字段数据，将所述多个第一字段数据与所述多个文字数据中的多个文字字段数据进行匹配，以生成文字匹配结果数据；
解析所述发票监制章图片数据以得到多个第二字段数据，将所述多个第二字段数据与基于全国统一发票监制章预先配置的多个监制章字段进行匹配，以生成监制章匹配结果数据；
解析销售方发票专用章图片数据以得到多个第三字段数据，将所述多个第三字段与预配置的发票专用章数据库的各个图片中的多个发票专用章字段数据进行匹配，以生成发票专用章匹配结果数据；
如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据均表示匹配一致，则所述第一验真结果为所述待验真发票图片为合规图片；
如果所述文字匹配结果数据、监制章匹配结果数据及发票专用章匹配结果数据中任一匹配结果数据表示匹配不一致，则所述第一验真结果为所述待验真发票图片为非合规图片。
2.根据权利要求1所述的发票图片识别及验真方法，其特征在于，接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型的步骤，还包括：
通过深度残差网络模型从所述待验真发票图片中提取多个卷积特征；
对所述多个卷积特征进行降维处理，以得到多个低维特征；
计算所述多个低维特征与预配置的多视角图像数据库中各图片的特征的欧式距离；
选择所述多视角图像数据库中的参考发票图片，所述参考发票图片与所述待验真发票图片之间的欧式距离大于所述多视角图像数据库中其他发票图片与所述待验真发票之间的欧式距离；
向所述多视角图像数据库发送查询请求，所述查询请求用于请求所述多视角图像数据库查询所述参考发票图片的参考发票类型；
接收所述多视角图像数据库返回的参考发票类型；
将所述参考发票类型确定为所述待验真发票图片的发票类型。
3.根据权利要求2所述的发票图片识别及验真方法，其特征在于，通过深度残差网络模型从所述待验真发票图片中提取多个卷积特征的步骤，还包括：
将所述待验真发票图片输入至输入层中；
初始卷积层对输入层中的所述待验真发票图片进行卷积操作，以得到多个卷积特征图；
通过多个残差模块提取所述多个卷积特征图中的多个卷积特征；
多个卷积特征输入至全连接层中进行分类；
通过输出层输出分类后的多个卷积特征。
4.根据权利要求3所述的发票图片识别及验真方法，其特征在于，对所述多个卷积特征进行降维处理，以得到多个低维特征的步骤，还包括：
将多个卷积特征组成128维特征向量矩阵，一个卷积特征表示为一个128维特征向量；
计算128维特征向量矩阵的协方差矩阵；
对所述协方差矩阵进行特征值的分解，根据特征值大小选择64个特征值对应的特征向量组成投影矩阵；
将所述128维特征向量矩阵向投影矩阵进行投影，以得到64维特征向量矩阵，所述64维特征向量矩阵包括多个低维特征，一个低维特征表示为一个64维特征向量。
5.根据权利要求1所述的发票图片识别及验真方法，其特征在于，根据所述发票基础数据执行第二验真操作的步骤之前，还包括：
向电子发票验真系统发送获取请求，所述获取请求用于获取所述电子发票验真系统的验证码图片数据；
分析所述验证码图片数据，以提取所述验证码信息；
通过所述验证码信息获取对接接口，所述对接接口用于发送所述发票基础数据至所述电子发票验真系统。
6.一种发票图片识别及验真系统，其特征在于，包括：
接收模块，用于接收用户通过客户端提供的待验真发票图片，并识别所述待验真发票图片的发票类型；
判断模块；用于判断所述发票类型是否为预设发票类型；
第一提取模块，用于如果所述发票类型为预设发票类型，提取所述待验真发票图片中的多个文字数据和图片数据；
第一验真模块，用于根据所述多个文字数据和图片数据对所述待验真发票图片执行第一验真操作，以生成第一验真结果；
第二提取模块，用于如果所述第一验真结果为所述待验真发票图片为合规图片，则从所述多个文字数据和图片数据提取发票基础数据；
第二验真模块，用于根据所述发票基础数据执行第二验真操作，以生成验真结论表单；
显示模块，用于发送所述验真结论表单至所述客户端，以通过所述客户端将所述验真结论表单显示在所述客户端相应的显示界面上。
7.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的发票图片识别及验真方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至5中任一项所述的发票图片识别及验真方法的步骤。
CN201910844520.3A 2019-09-06 2019-09-06 发票图片识别及验真方法、系统、设备及可读存储介质 Active CN110675546B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910844520.3A CN110675546B (zh) 2019-09-06 2019-09-06 发票图片识别及验真方法、系统、设备及可读存储介质
PCT/CN2020/087586 WO2021042747A1 (zh) 2019-09-06 2020-04-28 发票图片识别及验真方法、系统、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844520.3A CN110675546B (zh) 2019-09-06 2019-09-06 发票图片识别及验真方法、系统、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110675546A CN110675546A (zh) 2020-01-10
CN110675546B true CN110675546B (zh) 2022-07-08

Family

ID=69076253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844520.3A Active CN110675546B (zh) 2019-09-06 2019-09-06 发票图片识别及验真方法、系统、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN110675546B (zh)
WO (1) WO2021042747A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675546B (zh) * 2019-09-06 2022-07-08 深圳壹账通智能科技有限公司 发票图片识别及验真方法、系统、设备及可读存储介质
CN111582958B (zh) * 2020-04-29 2024-05-03 上海中通吉网络技术有限公司 一种进项税发票到票核销系统、方法和存储介质
CN113066223A (zh) * 2021-04-22 2021-07-02 中国工商银行股份有限公司 发票自动验证方法及装置
CN113743360B (zh) * 2021-09-16 2024-03-05 京东科技信息技术有限公司 智能化印章解析的方法和装置
CN113807901A (zh) * 2021-09-27 2021-12-17 国网河北省电力有限公司培训中心 一种电子发票检测方法、终端设备及存储介质
CN114140092A (zh) * 2021-12-06 2022-03-04 烟台文凯园林工程有限公司 一种多功能企业财务核算系统
CN114862540B (zh) * 2022-06-01 2023-06-20 南京英诺森软件科技有限公司 一种票据审核系统及其方法
CN117172945A (zh) * 2023-08-10 2023-12-05 北京华科诚信科技股份有限公司 一种进项发票管理系统及其实现方法
CN117611363A (zh) * 2023-10-25 2024-02-27 浙江爱信诺航天信息技术有限公司 凭证在线校验方法及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764239A (zh) * 2018-05-31 2018-11-06 平安科技（深圳）有限公司 发票验伪方法、装置、计算机设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952973A (zh) * 2006-11-17 2007-04-25 韩少杰 银行票据图文条码网络识别验证监管查询防伪系统及其方法
US7416131B2 (en) * 2006-12-13 2008-08-26 Bottom Line Technologies (De), Inc. Electronic transaction processing server with automated transaction evaluation
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN108171863A (zh) * 2017-12-28 2018-06-15 国网山东省电力公司蒙阴县供电公司 增值税发票的检验方法及装置
CN108269351B (zh) * 2018-01-15 2019-06-07 中链科技有限公司 一种数字票据信息处理方法及系统
CN108717545B (zh) * 2018-05-18 2020-12-18 北京大账房网络科技股份有限公司 一种基于手机拍照的票据识别方法及系统
CN108777021B (zh) * 2018-05-18 2020-08-28 北京大账房网络科技股份有限公司 一种基于扫描仪混扫的票据识别方法及系统
CN109117885B (zh) * 2018-08-17 2021-08-17 北方民族大学 一种基于深度学习的邮票识别方法
CN109472918A (zh) * 2018-10-12 2019-03-15 深圳壹账通智能科技有限公司 发票验证方法、融资审核方法、装置、设备及介质
CN109461247A (zh) * 2018-10-29 2019-03-12 北京慧流科技有限公司 票据验证方法及装置、电子设备及存储介质
CN109858453B (zh) * 2019-02-15 2023-06-23 浪潮通用软件有限公司 一种通用的多引擎票据识别系统及方法
CN110111165A (zh) * 2019-05-13 2019-08-09 重庆天蓬网络有限公司 发票真伪查验方法、系统、介质和电子设备
CN110675546B (zh) * 2019-09-06 2022-07-08 深圳壹账通智能科技有限公司 发票图片识别及验真方法、系统、设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764239A (zh) * 2018-05-31 2018-11-06 平安科技（深圳）有限公司 发票验伪方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021042747A1 (zh) 2021-03-11
CN110675546A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110675546B (zh) 发票图片识别及验真方法、系统、设备及可读存储介质
US10140511B2 (en) Building classification and extraction models based on electronic forms
US8879846B2 (en) Systems, methods and computer program products for processing financial documents
CN109033058B (zh) 合同文本验证方法、装置、计算机设备和存储介质
WO2020073502A1 (zh) 发票验证方法、融资审核方法、装置、设备及介质
EA034354B1 (ru) Система и способ проверки подлинности информации документа
CN108764239B (zh) 发票验伪方法、装置、计算机设备及存储介质
CN112036145A (zh) 财务报表的识别方法、装置、计算机设备与可读存储介质
CN111858977B (zh) 票据信息采集方法、装置、计算机设备和存储介质
CN113938481A (zh) 回单处理方法、处理装置、电子设备及可读存储介质
US20140279642A1 (en) Systems and methods for enrollment and identity management using mobile imaging
CN109544348B (zh) 资产证券筛选方法、设备及计算机可读存储介质
CN116798061A (zh) 一种票据审核识别方法、装置、终端和存储介质
CN111222517A (zh) 测试样本生成方法、系统、计算机设备及存储介质
US20170185832A1 (en) System and method for verifying extraction of multiple document images from an electronic document
US20220076008A1 (en) Systems and methods for enrollment and identity management using mobile imaging
CN110570207A (zh) 一种商品的溯源方法及装置
WO2021151274A1 (zh) 图像文档处理方法、装置、电子设备及计算机可读存储介质
CN111242115A (zh) 票据采集方法、系统、计算机设备及存储介质
CN112541744A (zh) 开户数据处理方法、装置、计算机设备及存储介质
CN110751140A (zh) 字符批量识别方法、装置和计算机设备
CN117115839B (zh) 一种基于自循环神经网络的发票字段识别方法和装置
US20170323106A1 (en) System and method for encrypting data in electronic documents
WO2017131932A1 (en) System and method for verifying extraction of multiple document images from an electronic document
CN117809325B (zh) 一种全量发票查验认证管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant