CN113066223A - 发票自动验证方法及装置 - Google Patents

发票自动验证方法及装置 Download PDF

Info

Publication number
CN113066223A
CN113066223A CN202110434466.2A CN202110434466A CN113066223A CN 113066223 A CN113066223 A CN 113066223A CN 202110434466 A CN202110434466 A CN 202110434466A CN 113066223 A CN113066223 A CN 113066223A
Authority
CN
China
Prior art keywords
invoice
information
image
target
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110434466.2A
Other languages
English (en)
Inventor
程飞
李丛笑
曹尔哲
胡伟江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110434466.2A priority Critical patent/CN113066223A/zh
Publication of CN113066223A publication Critical patent/CN113066223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/2008Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/2016Testing patterns thereon using feature extraction, e.g. segmentation, edge detection or Hough-transformation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)

Abstract

本发明提供了一种发票自动验证方法及装置,可用于人工智能技术领域,所述方法包括:对发票进行图像采集得到发票影像信息;对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息;基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规,本发明可提高发票录入、核验的效率,降低人工成本。

Description

发票自动验证方法及装置
技术领域
本发明涉及发票核验技术领域,尤其涉及一种发票自动验证方法及装置。
背景技术
发票作为最常用的票据之一,在我国社会经济活动中具有极其重要的意义和作用。目前的发票通常为纸质发票,随着发票数量的急遽增加,越来越多的纸质发票要进行电子整理,很多时间都费在发票录入上,发票的手动录入和人工检索不仅耽误时间,并且容易出错。更关键的是,发票的真伪难以辨别,容易出现业务风险。
发明内容
本发明的一个目的在于提供一种发票自动验证方法,提高发票录入、核验的效率,降低人工成本。本发明的另一个目的在于提供一种发票自动验证装置。本发明的再一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。
为了达到以上目的,本发明一方面公开了一种发票自动验证方法,包括:
对发票进行图像采集得到发票影像信息;
对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息;
基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规。
优选的,所述对发票进行图像采集得到发票影像信息具体包括:
通过图像采集装置对所述发票进行拍照得到图像信息;
识别所述图像信息中的发票范围并提取所述发票范围的图像信息得到发票图像;
对所述发票图像进行预处理得到所述发票影像信息。
优选的,所述对所述发票图像进行预处理得到所述发票影像信息具体包括:
基于预设准入标准对所述发票图像进行图像质量校验;
若校验通过,对所述发票图像进行标准化处理;
生成与标准化处理后的发票图像对应的标准化信息对所述发票图像进行标记得到所述发票影像信息。
优选的,对所述发票影像信息进行文字识别得到发票文字信息具体包括:
对所述发票影像信息依次进行二值化、字符切分、倾斜矫正和归一化的第一预处理;
对第一预处理后的发票影像信息进行文字特征提取得到第一特征信息;
将所述第一特征信息输入基于神经网络技术得到的文字识别模型中进行文字检测得到发票文字信息。
优选的,对所述发票影像信息进行目标识别得到发票目标信息具体包括:
对所述发票影像信息依次进行色道过滤、三维纠偏和降噪的第二预处理;
对第二预处理后的发票影像信息进行目标特征提取得到第二特征信息;
将所述第二特征信息输入基于神经网络技术得到的目标检测模型中进行目标检测得到发票目标信息。
优选的,所述基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规具体包括:
基于所述预设业务规则中对发票文字信息和发票目标信息的校验要求得到发票校验结果;
确定所述发票校验结果是否符合预设控制规则以确定所述发票是否合规。
优选的,进一步包括:
若所述发票合规,根据所述发票文字信息和发票目标信息对所述发票进行核验;
若所述发票不合规,向业务人员反馈人工审核信息以使所述业务人员对所述发票的发票影像信息进行人工审核,若人工审核通过,根据人工审核确定的发票文字信息和发票目标信息对所述发票进行核验,若人工审核未通过,向业务人员反馈重新采集发票影像信息的提示信息。
本发明还公开了一种发票自动验证装置,包括:
发票信息采集模块,用于对发票进行图像采集得到发票影像信息;
发票识别模块,用于对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息;
发票校验模块,用于基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规。
本发明还公开了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现如上所述方法。
本发明还公开了一种计算机可读介质,其上存储有计算机程序,
该程序被处理器执行时实现如上所述方法。
本发明对发票进行图像采集得到发票影像信息,然后对发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息,最后根据识别得到的发票文字信息和发票目标信息对发票进行校验以确定发票是否合规。本发明通过文字识别和目标识别分别识别发票上不同类型的特征信息,提高对发票的识别准确度,提高发票录入、核验的效率,降低人工成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明发票自动验证方法一个具体实施例的流程图;
图2示出本发明发票自动验证方法一个具体实施例S100的流程图;
图3示出本发明发票自动验证方法一个具体实施例S130的流程图;
图4示出本发明发票自动验证方法一个具体实施例S200文字识别的流程图;
图5示出本发明发票自动验证方法一个具体实施例S200目标识别的流程图;
图6示出本发明发票自动验证方法一个具体实施例S300目标识别的流程图;
图7示出本发明发票自动验证方法一个具体实施例S400目标识别的流程图;
图8示出本发明发票自动验证装置一个具体实施例的结构图;
图9示出适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中的发票管理通常需要将发票上的信息录入至计算机中以便于对发票进行电子管理。随着发票数据的急遽增加,越来越多的纸质发票要进行电子整理,很多时间都费在发票录入上,发票的手动录入和人工检索不仅耽误时间,并且容易出错。更关键的是,发票的真伪难以辨别,容易出现业务风险。目前,随着计算机视觉和人工智能技术的发展,图像文字识别的提取技术日趋成熟。本发明将识别准确率高、耗时短并能有效防止人为审核失误及有效节省人力资源成本的智能识别技术引入发票校验过程。同时,通过智能识别技术对发票进行不同特征信息的识别并配合在线核验功能对发票真伪进行精准判断,达到又快又好的效果。
根据本发明的一个方面,本实施例公开了一种发票自动验证方法。如图1所示,本实施例中,所述方法包括:
S100:对发票进行图像采集得到发票影像信息。
S200:对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息。
S300:基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规。
本发明对发票进行图像采集得到发票影像信息,然后对发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息,最后根据识别得到的发票文字信息和发票目标信息对发票进行校验以确定发票是否合规。本发明通过文字识别和目标识别分别识别发票上不同类型的特征信息,提高对发票的识别准确度,提高发票录入、核验的效率,降低人工成本。
在优选的实施方式中,如图2所示,所述S100对发票进行图像采集得到发票影像信息具体包括:
S110:通过图像采集装置对所述发票进行拍照得到图像信息。
S120:识别所述图像信息中的发票范围并提取所述发票范围的图像信息得到发票图像。
S130:对所述发票图像进行预处理得到所述发票影像信息。
具体的,业务人员可控制图像采集装置对放置发票的区域进行拍照得到图像信息。其中,图像采集装置可包括摄像头等拍照设备。图像采集装置采集的图像信息可通过电子影像云、电子拍照和电子扫描页等多种信息形式上传至发票自动验证装置中进行后续处理。在采集得到的图像信息中包括了发票对应的图像信息和环境对应的图像信息。因此,需要通过智能识别方法将发票信息中的发票范围识别出来,并将发票范围对应的图像信息提取出来得到发票图像,该发票图像包括发票的所有影像信息,可用于后续的发票校验和核验过程。
在优选的实施方式中,如图3所示,所述S130对所述发票图像进行预处理得到所述发票影像信息具体包括:
S131:基于预设准入标准对所述发票图像进行图像质量校验。
S132:若校验通过,对所述发票图像进行标准化处理。
S133:生成与标准化处理后的发票图像对应的标准化信息对所述发票图像进行标记得到所述发票影像信息。
具体的,对于图像采集及识别得到的发票图像,需要对其进行标准检验和处理,以保证后续进行校验和核验的发票影像信息可提供足够准确及清楚的信息。在一个具体例子中,业务人员可预先设置准入标准。当对发票图像进行图像质量校验时,根据预设准入标准获取对发票图像的多个质量要求标准,从而确定当前采集得到的发票图像是否符合预设准入标准,即采集得到的发票图像是否足够清晰以用于后续的特征信息提取。在一个具体例子中,预设准入标准可包括文件大小、格式、分辨率、倾斜以及阴影情况等多个质量要求标准。通过预设准入标准设定可进行后续特征信息提取和识别的发票图像质量的最低标准。
若校验通过,表示发票图像满足对图像的质量要求,可进一步对发票图像进行标准化处理,以便于后续更好的识别发票上的信息。若校验不通过,可以反馈错误信息给业务人员以使业务人员重新对发票进行图像采集得到发票影像信息。具体的,可利用发票图像中对仿射变换具有不变形的矩阵来确定变换函数及其参数,利用函数把原始图像变成标准图像,对发票图像进行标准化处理的步骤可包括坐标中心化、x-sharing归一化、缩放归一化和旋转归一化等四个步骤。
在优选的实施方式中,如图4所示,S200对所述发票影像信息进行文字识别得到发票文字信息具体包括:
S211:对所述发票影像信息依次进行二值化、字符切分、倾斜矫正和归一化的第一预处理;
S212:对第一预处理后的发票影像信息进行文字特征提取得到第一特征信息。
S213:将所述第一特征信息输入基于神经网络技术得到的文字识别模型中进行文字检测得到发票文字信息。
具体的,在该优选的实施方式中,将获取的发票影像信息依次进行二值化、字符切分、倾斜矫正和归一化的第一预处理,可将发票影像信息转变成同样规格、同样尺寸以及易于识别的单个文字图片。
其中,在一个具体例子中,可通过OCR文字识别进行文字特征提取。OCR(opticalcharacter recognition)文字识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,然后用字符识别方法将形状翻译成计算机文字的过程;即,对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。通过OCR文字识别的方式,对发票影像信息进行文字特征提取得到第一特征信息。将提取得到的第一特征信息输入至基于神经网络技术训练得到的文字识别模型中进行文字检测得到发票文字信息,例如发票代码、发票号码和发票金额等。在一个具体例子中,可采用CTPN算法模型,对该CTPN算法模型通过神经网络训练得到文字识别模型,对第一特征信息中识别出的文字内容进行拼接得到发票文字信息,能够极大的提高识别准确率。需要说明的是,该文字识别模型的建立和训练可采用神经网络技术领域中的常规技术手段实现,在此不再赘述。
在优选的实施方式中,如图5所示,S200对所述发票影像信息进行目标识别得到发票目标信息具体包括:
S221:对所述发票影像信息依次进行色道过滤、三维纠偏和降噪的第二预处理。
S222:对第二预处理后的发票影像信息进行目标特征提取得到第二特征信息。
S223:将所述第二特征信息输入基于神经网络技术得到的目标检测模型中进行目标检测得到发票目标信息。需要说明的是,该目标检测模型的建立和训练可采用神经网络技术领域中的常规技术手段实现,在此不再赘述。
具体的,在该优选的实施方式中,将获取的发票影像信息依次进行色道过滤、三维纠偏和降噪的第二预处理,以提高发票影像信息的图像质量,提高图像识别和提取目标的准确度。进一步的,可通过图像识别技术将第二预处理后的发票影像信息中与预设的发票目标位置匹配的影像信息提取出来得到第二特征信息。将提取得到的第二特征信息输入基于神经网络技术得到的目标检测模型中进行目标检测可得到验印、签字和日期等特定目标是否存在以及目标内容和在发票上的位置等发票目标信息。
本发明通过对发票影像信息实行并行的文字识别和目标识别,针对发票中的不同信息采用不同的识别方式,实现有针对性的自动验证,有效地提高了发票自动识别及验证的准确率及效率,极大地降低了业务人员的参与率,降低了人工成本。
在优选的实施方式中,如图6所示,所述S300基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规具体包括:
S310:基于所述预设业务规则中对发票文字信息和发票目标信息的校验要求得到发票校验结果。
S320:确定所述发票校验结果是否符合预设控制规则以确定所述发票是否合规。
具体的,预设业务规则中制定了业务侧对发票的要求,例如预设业务规则中可设置发票中的业务关键字是否存在、关键字顺序是否正确、验印是否存在并且有效以及签字存在并且是否有效等业务规则。根据该预设业务规则对识别得到的发票文字信息和发票目标信息进行规则校验得到发票校验结果以确定发票符合预设业务规则的程度。
此外,在该优选的实施方式中,通过预设控制规则对预设业务规则进行调控,例如对识别的发票文字信息是否与预设业务规则中的预设文字信息相同的识别率设定一个阈值,如果识别结果在阈值之下就认为发票文字信息识别不通过。在其他实施方式中,该预设控制规则还可包括是否将验印、签名和日期等特定识别目标的发票校验结果纳入发票合规的校验范围等规则。在实际应用中,本领域技术人员可根据实际情况确定预设控制规则,本发明对此并不作限定。在该优选的实施方式中,业务人员可通过预设控制规则调控预设业务规则的发票校验结果是否符合所需灵敏度和准确率要求,从而业务人员通过修改预设控制规则中的相关阈值即可实现对发票验证的灵敏度和准确率的控制,实现发票整体识别验证的刚性控制、柔性控制或不控制等多种控制模式。
在优选的实施方式中,如图7所示,所述方法进一步包括:
S410:若所述发票合规,根据所述发票文字信息和发票目标信息对所述发票进行核验。
S420:若所述发票不合规,向业务人员反馈人工审核信息以使所述业务人员对所述发票的发票影像信息进行人工审核,若人工审核通过,根据人工审核确定的发票文字信息和发票目标信息对所述发票进行核验,若人工审核未通过,向业务人员反馈重新采集发票影像信息的提示信息。
具体的,在该优选的实施方式中,若发票在自动验证过程中被验证为合规,即发票校验结果符合预设控制规则,则可对识别得到的发票文字信息和发票目标信息在发票系统中进行在线核验,以确定该发票是否为真发票。若发票在自动验证过程中被验证为合规,即发票校验结果不符合预设控制规则,则可通过向业务人员反馈人工审核信息的方式将自动验证转为人工审核,采用程序自动识别及验证与人工审核相结合的方式对发票进行综合校验。若人工审核通过,根据业务人员人工审核重新确定的发票文字信息和发票目标信息对发票进行核验,业务人员可通过计算机等交互设备输入、修正或选择发票文字信息和发票目标信息以重新确定发票文字信息和发票目标信息。若人工审核不通过,可向业务人员反馈重新采集发票影像信息的提示信息,以使业务人员重新将发标放置在图像采集装置的拍摄范围内重新采集发票影像信息。该优选的实施方式中,在自动识别校验不通过的情况下允许进行人工审核,提高了发票验证的灵活性。
综上,为了提高发票录入、核验的效率,降低人工成本。本发明通过业务人员人工上传发票图像,为了不影响业务办理效率,可异步发起发票识别请求。图像采集后对图像质量进行准入控制和预处理,辅助提高智能识别水平。然后,再对预处理得到的发票影像信息进行分类处理和存储,为后续识别处理做准备。文字识别和目标识别是发票自动核验装置的智能核心,文字识别和目标识别先对发票影像信息进行预处理,然后执行计算机视觉和人工智能识别算法,对相应的目标进行识别并输出识别结果。根据该识别结果进行规则校验和核验以实现对发票的自动验证,本发明能够提高发票录入、核验的效率,降低人工成本。
下面通过一个具体例子来对本发明作进一步的说明。目前银行数字凭证的签发、流转需要人工核验关联的贸易发票,但目前人工方式的核验大大影响业务办理的效率。以银行贸易发票为例,该贸易发票的自动验证步骤包括:
步骤S1101:业务人员控制图像采集装置对发票进行拍照得到图像信息。
步骤S1102:对采集的图像信息进行接收、准入判断和标准化处理。
步骤S1103:对S1102处理后的图像信息进行处理和归档得到发票影像信息。
步骤S1104:对发票影像信息进行二值化、字符切分、倾斜矫正、归一化等第一预处理以及第一特征信息提取,将提取的第一特征信息输入神经网络训练得到的CTPN算法模型进行文字检测。
步骤S1105:对发票影像信息进行色道过滤、三维纠偏和降噪等第二预处理以及第二特征信息提取,将提取的第二特征信息输入神经网络训练得到的RETINANET目标检测算法模型进行特定目标识别。
步骤S1106:根据S1104和S1105返回的各项识别的发票文字信息和发票目标信息,结合业务侧所给出的预设业务规则对发票文字信息和发票目标信息中的各个识别主体,例如发票全文、验印、签名和日期等,进行校验以确定是否符合业务规则。
步骤S1107:设置预设控制规则以调整发票的各识别主体的发票校验结果的评价标准。
步骤S1108:根据S1106发票业务规则校验结果和S1107制定的预设控制规则确定发票是否合规。如果合规则允许客户进入S1109。如果不合规则进入S1110进行人工审核的判断。
步骤S1109:发票校验合规后者人工审核通过后允许发票核验。
步骤S1110:判断人工审核是否通过,如果人工审核通过则进入S109进行发票核验。如果发票人工审核不通过,则进入S111。
步骤S1111:如果发票人工审核也没通过,则提示业务办理人员重新上传合规的发票。
本发明提供了一种基于计算机视觉和人工智能技术的发票智能识别与核验方法。该方法识别准确率高、用时少并能准实时验证发票真伪,能有效减少人力成本。与传统的人工审核相比其优点如下:1.准确率高:提前对图像质量进行准入判别,并且对图像进行字符切分、倾斜矫正、色道过滤、三维纠偏、降噪等预处理,并结合大批量训练人工智能识别模型训练,识别准确率高。2.灵活性好:可以根据业务侧对发票各项识别目标的要求进行校验的业务规则进行定制,并且可以灵活调整体的控制模式。3.高效率:通过并行识别的方式降低步骤间的耦合性,便于分类管理和优化,提高业务办理效率。4.真伪识别:除了对发票进行合规校验之外,还能连接百望等发票系统,核验发票真伪,保证贸易背景的真实性。
基于相同原理,本实施例还公开了一种发票自动验证装置。如图8所示,本实施例中,所述装置包括发票信息采集模块11、发票识别模块12和发票校验模块13。
其中,发票信息采集模块11用于对发票进行图像采集得到发票影像信息。
发票识别模块12用于对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息。
发票校验模块13用于基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规。
本发明对发票进行图像采集得到发票影像信息,然后对发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息,最后根据识别得到的发票文字信息和发票目标信息对发票进行校验以确定发票是否合规。本发明通过文字识别和目标识别分别识别发票上不同类型的特征信息,提高对发票的识别准确度,提高发票录入、核验的效率,降低人工成本。
在优选的实施方式中,所述发票信息采集模块11具体用于通过图像采集装置对所述发票进行拍照得到图像信息。识别所述图像信息中的发票范围并提取所述发票范围的图像信息得到发票图像。对所述发票图像进行预处理得到所述发票影像信息。
具体的,业务人员可控制图像采集装置对放置发票的区域进行拍照得到图像信息。其中,图像采集装置可包括摄像头等拍照设备。图像采集装置采集的图像信息可通过电子影像云、电子拍照和电子扫描页等多种信息形式上传至发票自动验证装置中进行后续处理。在采集得到的图像信息中包括了发票对应的图像信息和环境对应的图像信息。因此,需要通过智能识别方法将发票信息中的发票范围识别出来,并将发票范围对应的图像信息提取出来得到发票图像,该发票图像包括发票的所有影像信息,可用于后续的发票校验和核验过程。
在优选的实施方式中,所述发票信息采集模块11具体用于基于预设准入标准对所述发票图像进行图像质量校验。若校验通过,对所述发票图像进行标准化处理。生成与标准化处理后的发票图像对应的标准化信息对所述发票图像进行标记得到所述发票影像信息。
具体的,对于图像采集及识别得到的发票图像,需要对其进行标准检验和处理,以保证后续进行校验和核验的发票影像信息可提供足够准确及清楚的信息。在一个具体例子中,业务人员可预先设置准入标准。当对发票图像进行图像质量校验时,根据预设准入标准获取对发票图像的多个质量要求标准,从而确定当前采集得到的发票图像是否符合预设准入标准,即采集得到的发票图像是否足够清晰以用于后续的特征信息提取。在一个具体例子中,预设准入标准可包括文件大小、格式、分辨率、倾斜以及阴影情况等多个质量要求标准。通过预设准入标准设定可进行后续特征信息提取和识别的发票图像质量的最低标准。
若校验通过,表示发票图像满足对图像的质量要求,可进一步对发票图像进行标准化处理,以便于后续更好的识别发票上的信息。若校验不通过,可以反馈错误信息给业务人员以使业务人员重新对发票进行图像采集得到发票影像信息。
在优选的实施方式中,发票识别模块12具体用于对所述发票影像信息依次进行二值化、字符切分、倾斜矫正和归一化的第一预处理;对第一预处理后的发票影像信息进行文字特征提取得到第一特征信息。将所述第一特征信息输入基于神经网络技术得到的文字识别模型中进行文字检测得到发票文字信息。
具体的,在该优选的实施方式中,将获取的发票影像信息依次进行二值化、字符切分、倾斜矫正和归一化的第一预处理,可将发票影像信息转变成同样规格、同样尺寸以及易于识别的单个文字图片。
其中,在一个具体例子中,可通过OCR文字识别进行文字特征提取。OCR(opticalcharacter recognition)文字识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,然后用字符识别方法将形状翻译成计算机文字的过程;即,对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。通过OCR文字识别的方式,对发票影像信息进行文字特征提取得到第一特征信息。将提取得到的第一特征信息输入至基于神经网络技术训练得到的文字识别模型中进行文字检测得到发票文字信息,例如发票代码、发票号码和发票金额等。在一个具体例子中,可采用CTPN算法模型,对该CTPN算法模型通过神经网络训练得到文字识别模型,对第一特征信息中识别出的文字内容进行拼接得到发票文字信息,能够极大的提高识别准确率。
在优选的实施方式中,发票识别模块12具体用于对所述发票影像信息依次进行色道过滤、三维纠偏和降噪的第二预处理。对第二预处理后的发票影像信息进行目标特征提取得到第二特征信息。将所述第二特征信息输入基于神经网络技术得到的目标检测模型中进行目标检测得到发票目标信息。
具体的,在该优选的实施方式中,将获取的发票影像信息依次进行色道过滤、三维纠偏和降噪的第二预处理,以提高发票影像信息的图像质量,提高图像识别和提取目标的准确度。进一步的,可通过图像识别技术将第二预处理后的发票影像信息中与预设的发票目标位置匹配的影像信息提取出来得到第二特征信息。将提取得到的第二特征信息输入基于神经网络技术得到的目标检测模型中进行目标检测可得到验印、签字和日期等特定目标是否存在以及目标内容和在发票上的位置等发票目标信息。
本发明通过对发票影像信息实行并行的文字识别和目标识别,针对发票中的不同信息采用不同的识别方式,实现有针对性的自动验证,有效地提高了发票自动识别及验证的准确率及效率,极大地降低了业务人员的参与率,降低了人工成本。
在优选的实施方式中,所述发票校验模块13具体用于基于所述预设业务规则中对发票文字信息和发票目标信息的校验要求得到发票校验结果。确定所述发票校验结果是否符合预设控制规则以确定所述发票是否合规。
具体的,预设业务规则中制定了业务侧对发票的要求,例如预设业务规则中可设置发票中的业务关键字是否存在、关键字顺序是否正确、验印是否存在并且有效以及签字存在并且是否有效等业务规则。根据该预设业务规则对识别得到的发票文字信息和发票目标信息进行规则校验得到发票校验结果以确定发票符合预设业务规则的程度。
此外,在该优选的实施方式中,通过预设控制规则对预设业务规则进行调控,例如对识别的发票文字信息是否与预设业务规则中的预设文字信息相同的识别率设定一个阈值,如果识别结果在阈值之下就认为发票文字信息识别不通过。在其他实施方式中,该预设控制规则还可包括是否将验印、签名和日期等特定识别目标的发票校验结果纳入发票合规的校验范围等规则。在实际应用中,本领域技术人员可根据实际情况确定预设控制规则,本发明对此并不作限定。在该优选的实施方式中,业务人员可通过预设控制规则调控预设业务规则的发票校验结果是否符合所需灵敏度和准确率要求,从而业务人员通过修改预设控制规则中的相关阈值即可实现对发票验证的灵敏度和准确率的控制,实现发票整体识别验证的刚性控制、柔性控制或不控制等多种控制模式。
在优选的实施方式中,所述发票校验模块13进一步用于若所述发票合规,根据所述发票文字信息和发票目标信息对所述发票进行核验。若所述发票不合规,向业务人员反馈人工审核信息以使所述业务人员对所述发票的发票影像信息进行人工审核,若人工审核通过,根据人工审核确定的发票文字信息和发票目标信息对所述发票进行核验,若人工审核未通过,向业务人员反馈重新采集发票影像信息的提示信息。
具体的,在该优选的实施方式中,若发票在自动验证过程中被验证为合规,即发票校验结果符合预设控制规则,则可对识别得到的发票文字信息和发票目标信息在发票系统中进行在线核验,以确定该发票是否为真发票。若发票在自动验证过程中被验证为合规,即发票校验结果不符合预设控制规则,则可通过向业务人员反馈人工审核信息的方式将自动验证转为人工审核,采用程序自动识别及验证与人工审核相结合的方式对发票进行综合校验。若人工审核通过,根据业务人员人工审核重新确定的发票文字信息和发票目标信息对发票进行核验,业务人员可通过计算机等交互设备输入、修正或选择发票文字信息和发票目标信息以重新确定发票文字信息和发票目标信息。若人工审核不通过,可向业务人员反馈重新采集发票影像信息的提示信息,以使业务人员重新将发标放置在图像采集装置的拍摄范围内重新采集发票影像信息。该优选的实施方式中,在自动识别校验不通过的情况下允许进行人工审核,提高了发票验证的灵活性。
综上,为了提高发票录入、核验的效率,降低人工成本。本发明通过业务人员人工上传发票图像,为了不影响业务办理效率,可异步发起发票识别请求。图像采集后对图像质量进行准入控制和预处理,辅助提高智能识别水平。然后,再对预处理得到的发票影像信息进行分类处理和存储,为后续识别处理做准备。文字识别和目标识别是发票自动核验装置的智能核心,文字识别和目标识别先对发票影像信息进行预处理,然后执行计算机视觉和人工智能识别算法,对相应的目标进行识别并输出识别结果。根据该识别结果进行规则校验和核验以实现对发票的自动验证,本发明能够提高发票录入、核验的效率,降低人工成本。
由于该装置解决问题的原理与以上方法类似,因此本装置的实施可以参见方法的实施,在此不再赘述。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备,具体的,计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的由客户端执行的方法,或者,所述处理器执行所述程序时实现如上所述的由服务器执行的方法。
下面参考图9,其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
如图9所示,计算机设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡,调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种发票自动验证方法,其特征在于,包括:
对发票进行图像采集得到发票影像信息;
对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息;
基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规。
2.根据权利要求1所述的发票自动验证方法,其特征在于,所述对发票进行图像采集得到发票影像信息具体包括:
通过图像采集装置对所述发票进行拍照得到图像信息;
识别所述图像信息中的发票范围并提取所述发票范围的图像信息得到发票图像;
对所述发票图像进行预处理得到所述发票影像信息。
3.根据权利要求2所述的发票自动验证方法,其特征在于,所述对所述发票图像进行预处理得到所述发票影像信息具体包括:
基于预设准入标准对所述发票图像进行图像质量校验;
若校验通过,对所述发票图像进行标准化处理;
生成与标准化处理后的发票图像对应的标准化信息对所述发票图像进行标记得到所述发票影像信息。
4.根据权利要求1所述的发票自动验证方法,其特征在于,对所述发票影像信息进行文字识别得到发票文字信息具体包括:
对所述发票影像信息依次进行二值化、字符切分、倾斜矫正和归一化的第一预处理;
对第一预处理后的发票影像信息进行文字特征提取得到第一特征信息;
将所述第一特征信息输入基于神经网络技术得到的文字识别模型中进行文字检测得到发票文字信息。
5.根据权利要求1所述的发票自动验证方法,其特征在于,对所述发票影像信息进行目标识别得到发票目标信息具体包括:
对所述发票影像信息依次进行色道过滤、三维纠偏和降噪的第二预处理;
对第二预处理后的发票影像信息进行目标特征提取得到第二特征信息;
将所述第二特征信息输入基于神经网络技术得到的目标检测模型中进行目标检测得到发票目标信息。
6.根据权利要求1所述的发票自动验证方法,其特征在于,所述基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规具体包括:
基于所述预设业务规则中对发票文字信息和发票目标信息的校验要求得到发票校验结果;
确定所述发票校验结果是否符合预设控制规则以确定所述发票是否合规。
7.根据权利要求1所述的发票自动验证方法,其特征在于,进一步包括:
若所述发票合规,根据所述发票文字信息和发票目标信息对所述发票进行核验;
若所述发票不合规,向业务人员反馈人工审核信息以使所述业务人员对所述发票的发票影像信息进行人工审核,若人工审核通过,根据人工审核确定的发票文字信息和发票目标信息对所述发票进行核验,若人工审核未通过,向业务人员反馈重新采集发票影像信息的提示信息。
8.一种发票自动验证装置,其特征在于,包括:
发票信息采集模块,用于对发票进行图像采集得到发票影像信息;
发票识别模块,用于对所述发票影像信息分别进行文字识别和目标识别得到发票文字信息和发票目标信息;
发票校验模块,用于基于预设业务规则对所述发票文字信息和发票目标信息进行规则校验以确定所述发票是否合规。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述程序时实现如权利要求1-7任一项所述方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,
该程序被处理器执行时实现如权利要求1-7任一项所述方法。
CN202110434466.2A 2021-04-22 2021-04-22 发票自动验证方法及装置 Pending CN113066223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434466.2A CN113066223A (zh) 2021-04-22 2021-04-22 发票自动验证方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434466.2A CN113066223A (zh) 2021-04-22 2021-04-22 发票自动验证方法及装置

Publications (1)

Publication Number Publication Date
CN113066223A true CN113066223A (zh) 2021-07-02

Family

ID=76567402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434466.2A Pending CN113066223A (zh) 2021-04-22 2021-04-22 发票自动验证方法及装置

Country Status (1)

Country Link
CN (1) CN113066223A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938481A (zh) * 2021-11-12 2022-01-14 中国建设银行股份有限公司 回单处理方法、处理装置、电子设备及可读存储介质
CN117809325A (zh) * 2024-02-29 2024-04-02 深圳市中兴新云服务有限公司 一种全量发票查验认证管理方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885893A (zh) * 2005-06-22 2006-12-27 株式会社理光 图像处理装置以及图像处理方法
JP2012064195A (ja) * 2010-08-16 2012-03-29 Canon Software Inc 情報処理装置、情報処理方法、プログラム及び記録媒体。
TWM544051U (zh) * 2016-12-22 2017-06-21 彰化商業銀行股份有限公司 票據作業系統
CN109472918A (zh) * 2018-10-12 2019-03-15 深圳壹账通智能科技有限公司 发票验证方法、融资审核方法、装置、设备及介质
CN109741517A (zh) * 2018-12-26 2019-05-10 大象慧云信息技术有限公司 一种发票查验方法、装置和系统
CN109766778A (zh) * 2018-12-19 2019-05-17 平安科技(深圳)有限公司 基于ocr技术的发票信息录入方法、装置、设备及存储介质
CN109887153A (zh) * 2019-02-03 2019-06-14 国信电子票据平台信息服务有限公司 一种财税处理方法和处理系统
CN110215285A (zh) * 2019-07-16 2019-09-10 华志微创医疗科技(北京)有限公司 手术导航的纠偏方法及系统
CN110675546A (zh) * 2019-09-06 2020-01-10 深圳壹账通智能科技有限公司 发票图片识别及验真方法、系统、设备及可读存储介质
CN111126378A (zh) * 2019-11-18 2020-05-08 杭州亿圣信息技术有限公司 一种视频osd提取与覆盖区域重建的方法
CN111274957A (zh) * 2020-01-20 2020-06-12 阳光人寿保险股份有限公司 网页页面验证码识别方法、装置、终端和计算机存储介质
CN111680694A (zh) * 2020-05-28 2020-09-18 中国工商银行股份有限公司 文字图像中有色印章的滤除方法及装置
CN111932363A (zh) * 2020-08-10 2020-11-13 中国工商银行股份有限公司 授权书的识别审核方法、装置、设备及系统
CN112149593A (zh) * 2020-09-28 2020-12-29 深圳前海微众银行股份有限公司 刷脸纠偏方法、装置、设备与计算机可读存储介质
CN112529513A (zh) * 2019-09-17 2021-03-19 上海怀若智能科技有限公司 一种智能验印方法及系统
CN112686307A (zh) * 2020-12-30 2021-04-20 平安普惠企业管理有限公司 基于人工智能获取发票的方法、装置及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885893A (zh) * 2005-06-22 2006-12-27 株式会社理光 图像处理装置以及图像处理方法
JP2012064195A (ja) * 2010-08-16 2012-03-29 Canon Software Inc 情報処理装置、情報処理方法、プログラム及び記録媒体。
TWM544051U (zh) * 2016-12-22 2017-06-21 彰化商業銀行股份有限公司 票據作業系統
CN109472918A (zh) * 2018-10-12 2019-03-15 深圳壹账通智能科技有限公司 发票验证方法、融资审核方法、装置、设备及介质
CN109766778A (zh) * 2018-12-19 2019-05-17 平安科技(深圳)有限公司 基于ocr技术的发票信息录入方法、装置、设备及存储介质
CN109741517A (zh) * 2018-12-26 2019-05-10 大象慧云信息技术有限公司 一种发票查验方法、装置和系统
CN109887153A (zh) * 2019-02-03 2019-06-14 国信电子票据平台信息服务有限公司 一种财税处理方法和处理系统
CN110215285A (zh) * 2019-07-16 2019-09-10 华志微创医疗科技(北京)有限公司 手术导航的纠偏方法及系统
CN110675546A (zh) * 2019-09-06 2020-01-10 深圳壹账通智能科技有限公司 发票图片识别及验真方法、系统、设备及可读存储介质
CN112529513A (zh) * 2019-09-17 2021-03-19 上海怀若智能科技有限公司 一种智能验印方法及系统
CN111126378A (zh) * 2019-11-18 2020-05-08 杭州亿圣信息技术有限公司 一种视频osd提取与覆盖区域重建的方法
CN111274957A (zh) * 2020-01-20 2020-06-12 阳光人寿保险股份有限公司 网页页面验证码识别方法、装置、终端和计算机存储介质
CN111680694A (zh) * 2020-05-28 2020-09-18 中国工商银行股份有限公司 文字图像中有色印章的滤除方法及装置
CN111932363A (zh) * 2020-08-10 2020-11-13 中国工商银行股份有限公司 授权书的识别审核方法、装置、设备及系统
CN112149593A (zh) * 2020-09-28 2020-12-29 深圳前海微众银行股份有限公司 刷脸纠偏方法、装置、设备与计算机可读存储介质
CN112686307A (zh) * 2020-12-30 2021-04-20 平安普惠企业管理有限公司 基于人工智能获取发票的方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938481A (zh) * 2021-11-12 2022-01-14 中国建设银行股份有限公司 回单处理方法、处理装置、电子设备及可读存储介质
CN117809325A (zh) * 2024-02-29 2024-04-02 深圳市中兴新云服务有限公司 一种全量发票查验认证管理方法及系统
CN117809325B (zh) * 2024-02-29 2024-05-17 深圳市中兴新云服务有限公司 一种全量发票查验认证管理方法及系统

Similar Documents

Publication Publication Date Title
CN108717545B (zh) 一种基于手机拍照的票据识别方法及系统
AU2013379776B2 (en) Presentation of image of source of tax data through tax preparation application
AU2013379774B2 (en) Tax document imaging and processing
US20190213408A1 (en) Document authenticity determination
CN108256591B (zh) 用于输出信息的方法和装置
CN108717543B (zh) 一种发票识别方法及装置、计算机存储介质
CN110942061A (zh) 文字识别方法、装置、设备和计算机可读介质
CN110705952A (zh) 一种合同审核方法及装置
CN113066223A (zh) 发票自动验证方法及装置
CN113569863B (zh) 一种单据稽查的方法、系统、电子设备及存储介质
CN111932363A (zh) 授权书的识别审核方法、装置、设备及系统
CN116092231A (zh) 票证识别方法、装置、终端设备以及存储介质
CN111462388A (zh) 一种票据检验方法、装置、终端设备及存储介质
CN108090728B (zh) 一种基于智能终端的快递信息录入方法及录入系统
CN116798061A (zh) 一种票据审核识别方法、装置、终端和存储介质
CN111881880A (zh) 一种基于新型网络的票据文本识别方法
CN111104853A (zh) 图像信息录入方法、装置、电子设备及存储介质
CN114283416A (zh) 车险理赔图片的处理方法和装置
US20200104588A1 (en) Character authenticity determination
CN113537964A (zh) 申请单处理方法、设备、存储介质及装置
CN114627457A (zh) 一种票面信息识别方法及装置
CN112053343A (zh) 用户图片数据的处理方法、装置、计算机设备及存储介质
CN110751110A (zh) 身份影像信息核验方法、装置、设备及存储介质
CN113553883B (zh) 一种票据图像识别方法、装置及电子设备
CN115640952B (zh) 一种数据导入上传的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702

RJ01 Rejection of invention patent application after publication