CN112541443A - 发票信息抽取方法、装置、计算机设备及存储介质 - Google Patents

发票信息抽取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112541443A
CN112541443A CN202011487344.1A CN202011487344A CN112541443A CN 112541443 A CN112541443 A CN 112541443A CN 202011487344 A CN202011487344 A CN 202011487344A CN 112541443 A CN112541443 A CN 112541443A
Authority
CN
China
Prior art keywords
text
printed
machine
image
bill
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011487344.1A
Other languages
English (en)
Other versions
CN112541443B (zh
Inventor
何小臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011487344.1A priority Critical patent/CN112541443B/zh
Publication of CN112541443A publication Critical patent/CN112541443A/zh
Priority to PCT/CN2021/090807 priority patent/WO2022126978A1/zh
Application granted granted Critical
Publication of CN112541443B publication Critical patent/CN112541443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

本申请涉及人工智能技术，具体应用于图像处理中，揭露了发票信息抽取方法、装置、计算机设备及存储介质，包括获取票据图像；利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；将所述机打文本和印刷文本对应匹配，以构成票据文本。本申请还涉及区块链技术，票据图像和票据文本数据存储于区块链中。本申请提高了文本识别准确率，并将票据信息进行重新排版得到票据文本。

Description

发票信息抽取方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及发票信息抽取方法、装置、计算机设备及存储介质。
背景技术
OCR(Optical Character Recognition，光学字符识别)是模式识别领域中重要的研究方向。近年来，随着移动设备的快速更新迭代，以及移动互联网的快速发展，使得OCR有更为广泛的应用场景，从以往的扫描文件的字符识别，到现在应用到自然场景中图片文字的识别，如识别身份证、银行卡、门牌、票据及各类网络图片中的文字。在现有技术中，利用OCR技术自动识别、提取票据等上面的字段信息并完成结构化输出，但当面对票据上字段重叠、窜行时，会出现识别精度不高的情况。因此，如何提高票据的识别精度成为了亟待解决的问题。
发明内容
本申请提供了发票信息抽取方法、装置、计算机设备及存储介质，以解决现有技术中票据的印刷文字与打印文字重叠或窜行时，票据图像识别精度不高的问题。
为解决上述问题，本申请提供了发票信息抽取方法，包括：
获取票据图像；
利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；
对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；
将所述机打文本和印刷文本对应匹配，以构成票据文本。
进一步的，在所述获取票据图像之前，还包括：
向数据库发送调用请求，所述调用请求携带验签令牌；
接收所述数据库返回的验签结果，并在验签结果为通过时，调用所述数据库中票据图像；
所述验签的方式为RSA非对称加密方式。
进一步的，在所述利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像之前，还包括：
收集票据数据及场景专用语料；
对所述票据数据进行预处理，得到票据模板；
将所述场景专用语料根据属性填入所述票据模板对应区域，得到训练数据；
将所述训练数据输入到对抗生成网络模型进行训练，得到所述分离模型。
进一步的，在所述得到训练数据之后，还包括：
对随机选取的部分训练数据进行亮度或阴影变化处理，得到光照变化处理后的训练数据；和/或
利用高斯模糊或方框模糊，对随机选取的部分训练数据进行模糊处理，得到模糊变化处理后的训练数据；和/或
对随机选取的部分训练数据进行角度变化处理，得到形态变化处理后的训练数据。
进一步的，在所述对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别之前，还包括：
基于预训练的定位切割模型将所述机打图像和印刷图像分为多个区域图像，并得到各个所述区域图像对应的区域坐标，所述定位切割模型为基于DBNet模型训练得到。
进一步的，所述将所述机打文本和印刷文本对应匹配，以构成票据文本包括：
基于所述区域坐标，将所述机打文本中各第一区域文本与所述印刷文本中各第二区域文本进行匹配；
在匹配完成后，基于所述区域坐标，将所述第一区域文本填入对应的所述第二区域文本中，以构成票据文本。
进一步的，所述将所述机打文本和印刷文本对应匹配，构成票据文本包括：
利用预训练的匹配模型，将所述机打文本中的各区域文本与所述印刷文本中的各区域文本进行匹配，得到匹配值，所述匹配模型基于BIMPM模型训练得到；
当匹配值大于等于预设数值时，基于所述区域坐标，将所述机打文本中的各区域文本填入所述印刷文本对应的区域文本中，以构成票据文本。
为了解决上述问题，本申请还提供发票信息抽取装置，所述装置包括：
获取模块，用于获取票据图像；
分离模块，用于利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；
识别模块，用于对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；
匹配模块，用于将所述机打文本和印刷文本对应匹配，以构成票据文本。
为了解决上述问题，本申请还提供一种计算机设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述所述的发票信息抽取方法。
为了解决上述问题，本申请还提供一种非易失性的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的发票信息抽取方法。
根据本申请实施例提供的发票信息抽取方法、装置、计算机设备及存储介质，与现有技术相比至少具有以下有益效果：
通过获取票据图像，并利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像；通过将机打图像和印刷图像分离处理，便于后续步骤的处理；对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，通过利用双识别模型，提高对机打图像和印刷图像的文本识别率；最后将所述机打文本和印刷文本对应匹配，以构成票据文本。通过将票据图像分离为机打图像和印刷图像，随后对机打图像和印刷图像分别识别处理后，进行对应匹配，提高了文本识别准确率，并将票据信息进行重新排版得到票据文本。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图做一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的发票信息抽取方法的流程示意图；
图2为本申请一实施例提供的发票信息抽取装置的模块示意图；
图3为本申请一实施例的计算机设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是是相同的实施例，也不是与其它实施例相互排斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供一种发票信息抽取方法。参照图1所示，为本申请一实施例提供的发票信息抽取方法的流程示意图。
在本实施例中，发票信息抽取方法包括：
S1、获取票据图像；
所述票据图像包括增值税发票图像、医疗发票等图像等。
所述票据图像仅是已开票据的扫描图档(拍摄等方式得到)，而非电子发票图档。
进一步的，在所述获取票据图像之前，还包括：
向数据库发送调用请求，所述调用请求携带验签令牌；
接收所述数据库返回的验签结果，并在验签结果为通过时，调用所述数据库中票据图像；
所述验签的方式为RSA非对称加密方式。
所述数据库中存储了大量现实产生的票据图像，由于票据上所展示的信息具有隐私属性，所以需要加密保存，在获取票据图像时，就需要进行验签的步骤；并且所述数据库中存储有业务系统实时获取到的票据图像。
通过验签的方式保证了票据图像数据安全。
在本申请的另一实施例中，直接通过接收业务系统发送的票据图像进行处理，在处理完成后直接反馈给业务系统，或者再传递到下一处理系统进行进一步处理。
S2、利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；
所述对抗生成网络模型为采用pix2pix的对抗生成网络模型，pix2pix由两个网路组成：生成网络和判别网络，pix2pix将生成网络看作是一种映射，即将图片映射成另一张需要的图片；判别网络来对生成的图片与原图片进行判断。
进一步的，在所述利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像之前，还包括：
收集票据数据及场景专用语料；
对所述票据数据进行预处理，得到票据模板；
将所述场景专用语料根据属性填入所述票据模板对应区域，得到训练数据；
将所述训练数据输入到对抗生成网络模型进行训练，得到所述分离模型。
具体的，通过收集每个地区(各省或直辖市)不同的真实票据。真实票据可以为未打印票据或已开票据，若为已开票据，对已开票据利用PS工具和图像增强等方式进行预处理，将机打信息文字内容去除，只保留票据的板式信息，即未打印的模板；若为未打印票据，对未打印票据图像进行增强处理，使得未打印票据更清晰。将处理后的已开票据或未打印票据作为票据模板；
本申请可以收集特定场景的票据数据进行训练，例如，收集的是医疗票据，则相应的，场景专用语料则为医疗用语语料，在网络上收集医疗用语等语料作为扩充语料，根据扩充语料的属性对其进行分类，根据扩充语料的属性将其填入所述票据模板对应的区域，即得到训练数据；
例如：有头孢克肟干混悬冲剂等药品以及对应数量和价格、各种检查项目及费用和次数(核磁共振检查费、CT检查费)及对应价格等，中文大写的总金额等医疗用语语料；
根据上述医疗用语语料属性，可分为项目/规格类(头孢克肟干混悬冲剂等药品、检查项目)、各项目/规格对应的价格(头孢克肟干混悬冲剂等药品价格、各种检查项目费用)、各项目/规格对应的数量(头孢克肟干混悬冲剂等药品数量、各种检查项目次数)、总金额(中文大写的总金额)；根据医疗用语语料属性将医疗用语语料填入上述票据模板的对应区域内，以得到海量的训练数据。
在将所述场景专用语料根据属性填入所述票据模板对应区域时，所述对应区域包括正常区域和异常区域，所述正常区域，即所述场景专用语料恰好与其所属票据模板上的文本相对应；而异常区域则是所述场景专用语料与所属票据模板上的文本重合或对应不整齐出现的窜行情况。
根据真实数据来生成训练数据，并以此训练数据来训练模型，能得到分离效果更好的分离模型。
再进一步的，在所述得到训练数据之后，还包括：
对随机选取的部分训练数据进行亮度或阴影变化处理，得到光照变化处理后的训练数据；和/或
利用高斯模糊或方框模糊，对随机选取的部分训练数据进行模糊处理，得到模糊变化处理后的训练数据；和/或
对随机选取的部分训练数据进行角度变化处理，得到形态变化处理后的训练数据。
具体的，通过对所述训练数据随机进行数字图像处理，以模拟现实可能出现的情况；数字图像处理包括光照变化处理、模糊程度变化处理和形态变化处理中的一种或多种，其中，所述光照变化处理即对图片的亮度或阴影处理；模糊程度变化处理即模拟拍照不是很清楚的情况，通过高斯模糊或方框模糊等算法进行处理得到；所述形态变化处理即有关人员在拍摄时，不一定与票据平行，导致拍摄出来的票据形态不一致，通过旋转、角度变化等方式得到。通过将训练数据进行数字图像处理，进一步模拟真实情况，使得基于对抗生成网络模型训练出来的模型效果更优，更贴近真实情况。
通过进一步模拟真实情况下的票据，使训练出来的模型更贴近现实情况，其处理效果也更优。
S3、对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；
对机打图像和印刷图像分别采用不同的识别模型进行识别，但都基于卷积循环神经网络模型进行训练，基于不同的训练数据进行训练，机打图像对应的识别模型采用对应字体的图像进行训练，同理的，印刷图像对应的识别模型采用对应字体的图像进行训练。
所述卷积循环神经网络模型包括卷积层(CNN)、循环层(RNN)和转录层(CTCloss)；卷积层使用深度CNN，对输入图像提取特征，得到特征图；循环层使用双向RNN(BLSTM)对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签(真实值)分布；转录层使用CTC损失，把从循环层获取的一系列标签分布转换成最终的标签序列。
卷积循环神经网络模型用于解决基于图像的序列识别问题，特别是场景文字识别问题。
进一步的，在所述对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别之前，还包括：
基于预训练的定位切割模型将所述机打图像和印刷图像分为多个区域图像，并得到各个所述区域图像对应的区域坐标，所述定位切割模型为基于DBNet模型训练得到。
具体的，通过定位切割模型将整张机打图像和印刷图像分别分为多个区域图像，在本申请实施例中以矩形的方式来进行区域图像的切分，并得到多个区域图像对应矩形四个点的坐标数据，即区域坐标，所述坐标数据以整个票据的相邻两边为坐标轴，整个票据位于第一象限，从而得到对应的坐标数据，所述机打图像和印刷图像共用同一坐标轴。
所述机打图像的区域的划分是通过判断相邻的字段间有无间隔来区分的。
所述印刷图像的区域划分基于文本框来进行。
DBNet模型为一种文本检测模型，其准确率和速度都较高。
通过定位切割模型将机打图像和印刷图像都分为多个区域图像，便于后续进行文本识别后，机打文本和印刷文本匹配，且便于机打文本填入对应的印刷文本内。
S4、将所述机打文本和印刷文本对应匹配，以构成票据文本。
将所述机打文本和印刷文本重新对应匹配后，形成票据文本；形成的票据文本各区域机打文本与印刷文本对应整齐，即进行了重新排版，避免了原有直接通过机打得到的票据，出现机打文本跨行或覆盖掉印刷文本的问题，实现票据文本的结构化。
进一步的，将所述机打文本和印刷文本对应匹配，以构成票据文本，包括：
基于所述区域坐标，将所述机打文本中各第一区域文本与所述印刷文本中各第二区域文本进行匹配；
在匹配完成后，基于所述区域坐标，将所述第一区域文本填入对应的所述第二区域文本中，以构成票据文本。
在本实施例中，根据所述区域坐标，将所述机打文本对应的各区域文本与所述印刷文本对应的各区域文本进行匹配。计算所述机打文本中一区域文本对应的第一中心坐标，并计算所述印刷文本中各区域文本对应的第二中心坐标，判断第一中心坐标与多个第二中心坐标的距离，离哪个近，就将机打文本中的所述一区域文本准确匹配到对应的印刷文本中对应的区域文本中。所述区域图像为一矩形的形状；所述中心坐标指的是区域坐标的中心，即区域图像对应的矩形对角线的交点。
通过将所述机打文本和印刷文本，基于区域坐标的距离，离哪个近就将机打文本填入对应的印刷文本，实现票据的对应重新排版。
进一步的，将所述机打文本和印刷文本对应匹配，以构成票据文本，包括：
利用预训练的匹配模型，将所述机打文本中的各区域文本与所述印刷文本中的各区域文本进行匹配，得到匹配值，所述匹配模型基于BIMPM模型训练得到；
当匹配值大于等于预设数值时，基于所述区域坐标，将所述机打文本中的各区域文本填入所述印刷文本对应的区域文本中，以构成票据文本。
通过匹配模型将机打文本中各区域文本与印刷文本中的各区域文本进行匹配，并得到匹配值，当匹配值大于等于预设数值时，将机打文本中各区域文本填入所述印刷文本对应的区域文本中。具体的，将机打文本中各区域文本对应的区域坐标需完全在印刷文本中对应区域文本的区域坐标之内，这样才实现将机打文本中各区域文本准确填入印刷文本中对应区域文本中。
BIMPM模型为一种文本匹配模型。
通过匹配模型将所述机打文本和印刷文本进行文本匹配，匹配完成后若满足预设要求，就将机打文本填入对应的印刷文本中，同样实现票据的重新排版。
需要强调的是，为了进一步保证数据的私密性和安全性，所述票据图像的所有数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
通过获取票据图像，并利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像；通过将机打图像和印刷图像分离处理，便于后续步骤的处理；对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，通过利用双识别模型，提高对机打图像和印刷图像的文本识别率；最后将所述机打文本和印刷文本对应匹配，以构成票据文本。通过将票据图像分离为机打图像和印刷图像，随后对机打图像和印刷图像分别识别处理后，进行对应匹配，提高了文本识别准确率，并将票据信息进行重新排版得到票据文本。
如图2所示，是本申请发票信息抽取装置的功能模块图。
本申请所述发票信息抽取装置100可以安装于电子设备中。根据实现的功能，所述发票信息抽取装置100可以包括获取模块101、分离模块102、识别模块103和匹配模块104。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
获取模块101，用于获取票据图像；
进一步的，所述发票信息抽取装置100还包括发送请求模块和调用模块；
所述发送请求模块用于向数据库发送调用请求，所述调用请求携带验签令牌；
所述调用模块接收所述数据库返回的验签结果，并在验签结果为通过时，调用所述数据库中票据图像；
所述验签的方式为RSA非对称加密方式。
通过发送请求模块和调用模块的配合，保证了票据图像数据安全。
分离模块102，用于利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；
进一步的，所述发票信息抽取装置100还包括收集模块、预处理模块、填写模块和训练模块；
收集模块用于收集票据数据及场景专用语料；
预处理模块用于对所述票据数据进行预处理，得到票据模板；
填写模块用于将所述场景专用语料根据属性填入所述票据模板对应区域，得到训练数据；
训练模块用于将所述训练数据输入到对抗生成网络模型进行训练，得到所述分离模型。
具体的，收集模块通过收集每个地区(各省或直辖市)不同的真实票据。真实票据可以为未打印票据或已开票据，若为已开票据，预处理模块对已开票据利用PS工具和图像增强等方式进行预处理，将机打信息文字内容去除，只保留票据的板式信息，即未打印的模板；若为未打印票据，对未打印票据图像进行增强处理，使得未打印票据更清晰。将处理后的已开票据或未打印票据作为票据模板；
通过收集模块、预处理模块、填写模块和训练模块的配合使用，从而得到分离效果更好的分离模型。
再进一步的，所述填写模块包括光照变化子模块、模糊程度变化子模块和形态变化子模块；
光照变化子模块对随机选取的部分训练数据进行亮度或阴影变化处理，得到光照变化处理后的训练数据；和/或
模糊程度变化子模块利用高斯模糊或方框模糊，对随机选取的部分训练数据进行模糊处理，得到模糊变化处理后的训练数据；和/或
形态变化子模块对随机选取的部分训练数据进行角度变化处理，得到形态变化处理后的训练数据。
通过光照变化子模块、模糊程度变化子模块和形态变化子模块的配合，进一步模拟真实情况下的票据，使训练出来的模型更贴近现实情况，其处理效果也更优。
识别模块103，用于对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；
具体的，识别模块103对机打图像和印刷图像分别采用不同的识别模型进行识别，但都基于卷积循环神经网络模型进行训练，基于不同的训练数据进行训练，机打图像对应的识别模型采用对应字体的图像进行训练，同理的，印刷图像对应的识别模型采用对应字体的图像进行训练。
进一步的，所述发票信息抽取装置100还包括定位切割模块；
所述定位切割模块基于预训练的定位切割模型将所述机打图像和印刷图像分为多个区域图像，并得到各个所述区域图像对应的区域坐标，所述定位切割模型为基于DBNet模型训练得到。
具体的定位切割模块通过定位模型将整张机打图像和印刷图像分别分为多个区域图像，在本申请实施例中以矩形的方式来进行区域图像的切分，并得到多个区域图像对应矩形四个点的坐标数据，即区域坐标，所述坐标数据以整个票据的相邻两边为坐标轴，整个票据位于第一象限，从而得到对应的坐标数据，所述机打图像和印刷图像共用同一坐标轴。
定位模块通过定位切割模型将机打图像和印刷图像都分为多个区域图像，便于后续进行文本识别后，机打文本和印刷文本匹配，且便于机打文本填入对应的印刷文本内。
匹配模块104，用于将所述机打文本和印刷文本对应匹配，以构成票据文本。
具体的，匹配模块104将所述机打文本和印刷文本重新对应匹配后，形成票据文本；形成的票据文本各区域机打文本与印刷文本对应整齐，即进行了重新排版，避免了原有直接通过机打得到的票据，出现机打文本跨行或覆盖掉印刷文本的问题，实现票据文本的结构化。
进一步的，所述匹配模块104包括坐标匹配子模块和第一对应填写子模块；
匹配子模块基于所述区域坐标，将所述机打文本中各第一区域文本与所述印刷文本中各第二区域文本进行匹配；
第一对应填写子模块在匹配完成后，基于所述区域坐标，将所述第一区域文本填入对应的所述第二区域文本中，以构成票据文本。
具体的，匹配子模块根据所述区域坐标，将所述机打文本对应的各区域文本与所述印刷文本对应的各区域文本进行匹配。计算所述机打文本中一区域文本对应的第一中心坐标，并计算所述印刷文本中各区域文本对应的第二中心坐标，判断第一中心坐标与多个第二中心坐标的距离，离哪个近，第一对应填写子模块就将机打文本中的所述一区域文本准确匹配到对应的印刷文本中对应的区域文本中。所述区域图像为一矩形的形状；所述中心坐标指的是区域坐标的中心，即区域图像对应的矩形对角线的交点。
通过匹配子模块和第一对应填写子模块的配合，将所述机打文本和印刷文本，基于区域坐标的距离，离哪个近就将机打文本填入对应的印刷文本，实现票据的对应重新排版。
进一步的，所述匹配模块104包括文本匹配子模块和第二对应填写子模块；
文本匹配子模块利用预训练的匹配模型，将所述机打文本中的各区域文本与所述印刷文本中的各区域文本进行匹配，得到匹配值，所述匹配模型基于BIMPM模型训练得到；
第二对应填写子模块当匹配值大于等于预设数值时，基于所述区域坐标，将所述机打文本中的各区域文本填入所述印刷文本对应的区域文本中，以构成票据文本。
文本匹配子模块通过将机打文本中各区域文本与印刷文本中的各区域文本进行匹配，并得到匹配值，第二对应填写子模块当匹配值大于等于预设数值时，将机打文本中各区域文本填入所述印刷文本对应的区域文本中。具体的，将机打文本中各区域文本对应的区域坐标需完全在印刷文本中对应区域文本的区域坐标之内，这样才实现将机打文本中各区域文本准确填入印刷文本中对应区域文本中。
通过文本匹配子模块和第二对应填写子模块的配合，将所述机打文本和印刷文本进行文本匹配，匹配完成后若满足预设要求，就将机打文本填入对应的印刷文本中，同样实现票据的重新排版。
通过采用上述装置，所述发票信息抽取装置100通过获取模块101、分离模块102、识别模块103、匹配模块104的配合使用，通过将票据图像分离为机打图像和印刷图像，随后对机打图像和印刷图像分别识别处理后，进行对应匹配，提高了文本识别准确率，并将票据信息进行重新排版得到票据文本。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如发票信息抽取方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述发票信息抽取方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例发票信息抽取方法的步骤，通过获取票据图像，并利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像；通过将机打图像和印刷图像分离处理，便于后续步骤的处理；对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，通过利用双识别模型，提高对机打图像和印刷图像的文本识别率；最后将所述机打文本和印刷文本对应匹配，以构成票据文本。通过将票据图像分离为机打图像和印刷图像，随后对机打图像和印刷图像分别识别处理后，进行对应匹配，提高了文本识别准确率，并将票据信息进行重新排版得到票据文本。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的发票信息抽取方法的步骤，通过获取票据图像，并利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像；通过将机打图像和印刷图像分离处理，便于后续步骤的处理；对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，通过利用双识别模型，提高对机打图像和印刷图像的文本识别率；最后将所述机打文本和印刷文本对应匹配，以构成票据文本。通过将票据图像分离为机打图像和印刷图像，随后对机打图像和印刷图像分别识别处理后，进行对应匹配，提高了文本识别准确率，并将票据信息进行重新排版得到票据文本。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种发票信息抽取方法，其特征在于，所述方法包括：
获取票据图像；
利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；
对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；
将所述机打文本和印刷文本对应匹配，以构成票据文本。
2.根据权利要求1所述的发票信息抽取方法，其特征在于，在所述获取票据图像之前，还包括：
向数据库发送调用请求，所述调用请求携带验签令牌；
接收所述数据库返回的验签结果，并在验签结果为通过时，调用所述数据库中票据图像；
所述验签的方式为RSA非对称加密方式。
3.根据权利要求1所述的发票信息抽取方法，其特征在于，在所述利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像之前，还包括：
收集票据数据及场景专用语料；
对所述票据数据进行预处理，得到票据模板；
将所述场景专用语料根据属性填入所述票据模板对应区域，得到训练数据；
将所述训练数据输入到对抗生成网络模型进行训练，得到所述分离模型。
4.根据权利要求3所述的发票信息抽取方法，其特征在于，在所述得到训练数据之后，还包括：
对随机选取的部分训练数据进行亮度或阴影变化处理，得到光照变化处理后的训练数据；和/或
利用高斯模糊或方框模糊，对随机选取的部分训练数据进行模糊处理，得到模糊变化处理后的训练数据；和/或
对随机选取的部分训练数据进行角度变化处理，得到形态变化处理后的训练数据。
5.根据权利要求1至4中任一项所述的发票信息抽取方法，其特征在于，在所述对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别之前，还包括：
基于预训练的定位切割模型将所述机打图像和印刷图像分为多个区域图像，并得到各个所述区域图像对应的区域坐标，所述定位切割模型为基于DBNet模型训练得到。
6.根据权利要求5所述的发票信息抽取方法，其特征在于，所述将所述机打文本和印刷文本对应匹配，以构成票据文本包括：
基于所述区域坐标，将所述机打文本中各第一区域文本与所述印刷文本中各第二区域文本进行匹配；
在匹配完成后，基于所述区域坐标，将所述第一区域文本填入对应的所述第二区域文本中，以构成票据文本。
7.根据权利要求5所述的发票信息抽取方法，其特征在于，所述将所述机打文本和印刷文本对应匹配，以构成票据文本包括：
利用预训练的匹配模型，将所述机打文本中的各区域文本与所述印刷文本中的各区域文本进行匹配，得到匹配值，所述匹配模型基于BIMPM模型训练得到；
当匹配值大于等于预设数值时，基于所述区域坐标，将所述机打文本中的各区域文本填入所述印刷文本对应的区域文本中，以构成票据文本。
8.一种发票信息抽取装置，其特征在于，所述装置包括：
获取模块，用于获取票据图像；
分离模块，用于利用预训练的分离模型对所述票据图像进行图层分离，得到机打图像和印刷图像，所述分离模型基于对抗生成网络模型训练得到；
识别模块，用于对所述机打图像和印刷图像分别采用对应的预训练的识别模型进行识别，将所述机打图像和印刷图像转化为机打文本和印刷文本，所述识别模型基于卷积循环神经网络模型训练得到；
匹配模块，用于将所述机打文本和印刷文本对应匹配，以构成票据文本。
9.一种计算机设备，其特征在于，所述计算机设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一所述的发票信息抽取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一所述的发票信息抽取方法。
CN202011487344.1A 2020-12-16 2020-12-16 发票信息抽取方法、装置、计算机设备及存储介质 Active CN112541443B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011487344.1A CN112541443B (zh) 2020-12-16 2020-12-16 发票信息抽取方法、装置、计算机设备及存储介质
PCT/CN2021/090807 WO2022126978A1 (zh) 2020-12-16 2021-04-29 发票信息抽取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011487344.1A CN112541443B (zh) 2020-12-16 2020-12-16 发票信息抽取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112541443A true CN112541443A (zh) 2021-03-23
CN112541443B CN112541443B (zh) 2024-05-10

Family

ID=75018963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011487344.1A Active CN112541443B (zh) 2020-12-16 2020-12-16 发票信息抽取方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112541443B (zh)
WO (1) WO2022126978A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126978A1 (zh) * 2020-12-16 2022-06-23 平安科技（深圳）有限公司 发票信息抽取方法、装置、计算机设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222498B (zh) * 2022-07-20 2023-04-18 北京令才科技有限公司 多元数组的比对打包配置的方法
CN115431653A (zh) * 2022-08-13 2022-12-06 绍兴市财税印刷有限公司 基于防伪技术财税票据印刷方法及其设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635627A (zh) * 2018-10-23 2019-04-16 中国平安财产保险股份有限公司 图片信息提取方法、装置、计算机设备及存储介质
CN109977723A (zh) * 2017-12-22 2019-07-05 苏宁云商集团股份有限公司 大票据图片文字识别方法
CN110399851A (zh) * 2019-07-30 2019-11-01 广东工业大学 一种图像处理装置、方法、设备及可读存储介质
CN111291629A (zh) * 2020-01-17 2020-06-16 平安医疗健康管理股份有限公司 图像中文本的识别方法、装置、计算机设备及计算机存储介质
WO2020155763A1 (zh) * 2019-01-28 2020-08-06 平安科技（深圳）有限公司 Ocr识别方法及其电子设备
CN111652232A (zh) * 2020-05-29 2020-09-11 泰康保险集团股份有限公司 票据识别方法及装置、电子设备和计算机可读存储介质
CN111950356A (zh) * 2020-06-30 2020-11-17 深圳市雄帝科技股份有限公司 印章文本定位方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043231B2 (en) * 2015-06-30 2018-08-07 Oath Inc. Methods and systems for detecting and recognizing text from images
CN111461099A (zh) * 2020-03-27 2020-07-28 重庆农村商业银行股份有限公司 一种票据识别的方法、系统、设备及可读存储介质
CN112085029A (zh) * 2020-08-31 2020-12-15 浪潮通用软件有限公司 一种发票识别的方法、设备及介质
CN111931784B (zh) * 2020-09-17 2021-01-01 深圳壹账通智能科技有限公司 票据识别方法、系统、计算机设备与计算机可读存储介质
CN112541443B (zh) * 2020-12-16 2024-05-10 平安科技（深圳）有限公司 发票信息抽取方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977723A (zh) * 2017-12-22 2019-07-05 苏宁云商集团股份有限公司 大票据图片文字识别方法
CN109635627A (zh) * 2018-10-23 2019-04-16 中国平安财产保险股份有限公司 图片信息提取方法、装置、计算机设备及存储介质
WO2020155763A1 (zh) * 2019-01-28 2020-08-06 平安科技（深圳）有限公司 Ocr识别方法及其电子设备
CN110399851A (zh) * 2019-07-30 2019-11-01 广东工业大学 一种图像处理装置、方法、设备及可读存储介质
CN111291629A (zh) * 2020-01-17 2020-06-16 平安医疗健康管理股份有限公司 图像中文本的识别方法、装置、计算机设备及计算机存储介质
CN111652232A (zh) * 2020-05-29 2020-09-11 泰康保险集团股份有限公司 票据识别方法及装置、电子设备和计算机可读存储介质
CN111950356A (zh) * 2020-06-30 2020-11-17 深圳市雄帝科技股份有限公司 印章文本定位方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126978A1 (zh) * 2020-12-16 2022-06-23 平安科技（深圳）有限公司 发票信息抽取方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2022126978A1 (zh) 2022-06-23
CN112541443B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN112541443B (zh) 发票信息抽取方法、装置、计算机设备及存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN112052850A (zh) 车牌识别方法、装置、电子设备及存储介质
CN112037077A (zh) 基于人工智能的印章识别方法、装置、设备及存储介质
CN112668575B (zh) 关键信息提取方法、装置、电子设备及存储介质
CN113033543A (zh) 曲形文本识别方法、装置、设备及介质
CN110795714A (zh) 一种身份验证方法、装置、计算机设备及存储介质
CN113034406A (zh) 扭曲文档恢复方法、装置、设备及介质
CN113705462A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113887438A (zh) 人脸图像的水印检测方法、装置、设备及介质
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN115471775A (zh) 基于录屏视频的信息验证方法、装置、设备及存储介质
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN116416632A (zh) 基于人工智能的文件自动归档方法及相关设备
CN113887408B (zh) 活化人脸视频的检测方法、装置、设备及存储介质
CN115880702A (zh) 数据处理方法、装置、设备、程序产品及存储介质
CN113221888B (zh) 车牌号管理系统测试方法、装置、电子设备及存储介质
CN115690819A (zh) 一种基于大数据的识别方法及其系统
CN111291726B (zh) 医疗票据分拣方法、装置、设备和介质
CN116092094A (zh) 图像文本识别方法、装置、计算机可读介质及电子设备
CN111104844B (zh) 多发票信息录入方法、装置、电子设备及存储介质
CN113627394A (zh) 人脸提取方法、装置、电子设备及可读存储介质
CN113486848A (zh) 文档表格识别方法、装置、设备及存储介质
CN113177543A (zh) 证件识别方法、装置、设备及存储介质
CN113743336B (zh) 基于深度学习的发票信息识别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant