CN110472524B - 基于深度学习的发票信息管理方法、系统和可读介质 - Google Patents

基于深度学习的发票信息管理方法、系统和可读介质 Download PDF

Info

Publication number
CN110472524B
CN110472524B CN201910677692.6A CN201910677692A CN110472524B CN 110472524 B CN110472524 B CN 110472524B CN 201910677692 A CN201910677692 A CN 201910677692A CN 110472524 B CN110472524 B CN 110472524B
Authority
CN
China
Prior art keywords
invoice
information
target
picture
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910677692.6A
Other languages
English (en)
Other versions
CN110472524A (zh
Inventor
邱泽源
杨志景
兰上炜
邱煜佳
陈怡雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910677692.6A priority Critical patent/CN110472524B/zh
Publication of CN110472524A publication Critical patent/CN110472524A/zh
Application granted granted Critical
Publication of CN110472524B publication Critical patent/CN110472524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Accounting & Taxation (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于深度学习的发票信息采集管理系统及方法，方案如下：通过预先手工标注发票图片的感兴趣区域，作为卷积神经网络的训练样本，将发票的扫描件输入计算机，计算机首先由检测模块，得出感兴趣区域，再由字符识别模块将信息提取出来并转化为数据信息，系统自适应地将所有信息分类，最后得出一个Excel表格，供财务人员进行信息输入以及财务报账操作。本发明将传统的纸质发票，自动提取关键信息，生成Excel表格供财务人员进行报账，极大的减轻了传统财务工作流程中财务人员发票信息录入、报账审核等流程的工作量，节约了大量的人力资源。

Description

基于深度学习的发票信息管理方法、系统和可读介质
技术领域
本发明涉及到发票信息采集管理技术领域，更具体的，涉及一种基于深度学习的发票信息管理方法、系统和可读介质。
背景技术
传统的财务报销系统，需要财务人员收集发票，人工识别需要报销的费用类别、金额，并在电脑录入信息，传统的手工录入信息过于费时费力，财务人员需要耗费大量的时间在这一类重复性的工作上。
公开号CN109344838A的发明专利《发票信息自动快速识别方法、系统以及装置》公开了利用神经网络进行图片文字识别的技术方案，但并未有进一步将发票的有效信息单独提取出来，形成信息管理系统以解决财务人员传统报账的人力成本问题。
公开号CN109657665A的发明专利《一种基于深度学习的发票批量自动识别系统》公开了根据粗定位和细定位策略定位出目标区域，再进行字符识别的技术方案，但是这种定位策略在现实操作中往往因为发票打印信息的位置的不确定性，难以取得令人满意的信息采集准确率。
发明内容
针对现有解决方案中并未有可将发票的有效信息单独提取出来，形成信息管理系统以解决财务人员传统报账的人力成本的问题。
本发明第一方面公开一种基于深度学习的发票信息管理方法，包括以下步骤：
S1.通过发票扫描模块对纸质版发票进行扫描，收集转化为图片格式的发票图片数据；
S2.纠正预处理模块识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；
S3.检测模块收集步骤S2的发票图片进行批注，根据所需要提取信息的特征不同，对需要提取的信息点进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练；将目标发票图片放入训练好的模型之中，对目标发票图片的目标框标签类别、目标框大小、目标框中心点坐标进行预测并得到目标发票图片上所有感兴趣信息的目标框字符信息；
S4.验证模块检测目标发票图片是否有发票抬头盖章信息，判断发票的真伪，若目标发票图片没有发票抬头盖章信息，则定义为可疑发票则将发出警示，提醒进行人工检核；
S5.字符识别模块识别目标发票图片的目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；
S6.信息分类及定位模块，计算目标发票图片中各个目标框的中心点的位置信息与目标框大小，与神经网络的训练数据进行对比，判断是否与训练结果一致，若一致则进入S7，否则提醒进行人工核验；
S7.输出模块将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中并进行输出。
在一种优选方案中，所述的类别标签包括5类，类别标签1为发票抬头印章；2为发票编号；3为医院收费印章；4为诊疗类别以及患者性别信息；5为就诊科室以及详细费用类别名称与缴费方式。
在一种优选方案中，所述的S3具体步骤如下：
S31.将收集到的发票图片，根据信息特征进行批注，将需要提取的信息点分成5类标签类别进行标注，每个发票图片创建一个XML文件，该XML文件包含发票图片所有标注目标框的位置信息和标签信息；
S32.将标注好的发票图片放进Faster-Rcnn神经网络内进行训练，其中发票图片随机分配作为训练集与验证集，得到训练图片的目标框大小与目标框的中心点坐标信息；
S33.将目标发票图片经过S1、S2步骤后输入到训练好的Faster-Rcnn神经网络之中，Faster-Rcnn神经网络通过神经网络的训练结果，学习相应训练图片标签类别的特征信息，并对目标发票图片的标签类别、目标框大小、目标框中心点坐标进行预测；
S34.Faster-Rcnn神经网络通过注意力机制，将锚点覆盖整张图片，然后根据神经网络的反馈，通过不断改变锚点的长宽比和位置，最终得出使神经网络损失最小的一个锚点并将该锚点作为输出，当神经网络判断该输出锚点是目标框的概率超过预设的阈值，则将该锚点输出，得到目标发票图片中所有的目标框，以及目标框的位置坐标信息和标签信息。
在一种优选方案中，所述的S5具体步骤如下：
S51.字符识别模块识别目标发票图片中目标框的位置坐标信息，将每一个目标框从图片中切割成若干个目标片段，将背景信息去除；
S52.将所有目标片段排成一竖列放入提前训练好的字符识别神经网络，得出每个目标框的字符识别结果，将每个片段的图片信息转化为文本信息，记录在目标图片的XML文件中。
在一种优选方案中，所述的S6的具体步骤如下：
S61.计算目标发票信息中所有目标框的中心点坐标与目标框的端点坐标；
S62.根据每个目标框的中心点和端点坐标信息，计算出各个目标框的长宽；
S63.对比目标发票图片和训练图片判断目标发票的目标框大小、目标框中心点坐标是否与S33预测结果一致；若一致则进入S7，若不一致则发出警示，提醒进行人工检核。
在一种优选方案中，所述的S7的具体步骤如下:
建立一个EXCEL文件，对目标发票图片的XML文件进行收集，将目标发票图片经过转换的文本信息对应列入EXCEL文件中，输出目标发票图片所有关键信息。
本发明第二方面公开一种基于深度学习的发票信息管理系统，基于上述的基于深度学习的发票信息管理方法，包括
发票扫描模块，将纸质版的发票原件经过外设镜头设备的扫描，转化为图片格式文件，将图片文件上传至系统进行进一步的处理；
纠正预处理模块，识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；
检测模块，前期人工将收集到的发票图片数据进行标注，根据所需要提取信息的特征不同，将需要提取的信息点，进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练，将目标发票图片放入训练好的模型之中，得到目标发票图片上所有感兴趣信息的目标框信息；
验证模块检测图片是否有发票抬头盖章信息，判断发票的真伪；
字符识别模块识别目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；
信息分类模块，将类别标签为1的目标框，根据该目标框的长宽，自动推算出发票图片中需要提取的不同类别的信息的区域位置。计算所有目标框在发票图片中的中心点的位置信息；
输出模块，若目标框的中心点坐标在相应的区域位置中，则将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中，最后得到一个包含发票图片中所有关键信息的Excel表格。
本发明第三方面公开一种计算机可读介质，所述计算机可读介质中包括基于深度学习的发票信息管理方法程序，所述基于深度学习的发票信息管理方法程序被基于深度学习的发票信息管理系统执行时，实现上述的基于深度学习的发票信息管理方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明利用Faster-Rcnn神经网络，准确地检测出发票图片中财务人员报账所需要的信息字段，对于遮挡，模糊，倾斜等情况的发票具有较强的鲁棒性，弥补了传统方法通过推断信息位置再进行字符识别的技术方案，导致信息准确率不高的缺点。
本发明将传统的纸质发票，自动提取关键信息，生成Excel表格供财务人员进行报账，极大的减轻了传统财务工作流程中财务人员发票信息录入、报账审核等流程的工作量，节约了大量的人力资源。
附图说明
图1为本发明提出的一种基于深度学习的发票信息管理方法的流程图；
图2为实施例1中纸质发票扫描的发票图片示意图；
图3为实施例1中进行手工批注后的批注示意图；
图4为实施例1中的神经网络对目标发票图片的目标框大小及位置进行预测示意图；
图5为实施例1中的输出文件示意图；
图6为实施例1提供的神经网络的具体组成图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，仅用于示例性说明，不能理解为对本专利的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本发明第一方面公开一种基于深度学习的发票信息管理方法，包括以下步骤：
S1.通过发票扫描模块对纸质版发票进行扫描，收集转化为图片格式的发票图片数据，如图2所示，；
S2.纠正预处理模块识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；
S3.检测模块收集的1000张发票图片使用工具Imglabel进行批注，根据所需要提取信息的特征不同，将需要提取的信息点，进行相应的类别标签批注，如图3所示；并将标注好的数据放入Faster-Rcnn神经网络进行训练，随机分配800张发票图片作为训练集，200张发票图片作为验证集，具体的神经网络如图6所示；将目标发票图片将目标发票图片放入训练好的模型之中，对目标发票图片的标签类别、目标框大小、目标框中心点坐标进行预测并得到目标发票图片上所有感兴趣信息的目标框信息；所述的目标框信息的坐标位置信息以及该目标框由神经网络判断出来的标签类别信息；
S4.验证模块检测目标发票图片是否有发票抬头盖章信息，判断发票的真伪，若目标发票图片没有发票抬头盖章信息，则定义为可疑发票则将发出警示，提醒进行人工检核；
S5.字符识别模块识别目标发票图片的目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；
S6.信息分类及定位模块，计算目标发票图片中各个目标框的中心点的位置信息与目标框大小，与神经网络的训练数据进行对比，判断是否与训练结果一致，若一致则进入S7，否则提醒进行人工核验；
S7.输出模块将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中并进行输出。
在一种优选方案中，所述的类别标签包括5类，类别标签1为发票抬头印章；2为发票编号；3为医院收费印章；4为诊疗类别以及患者性别信息；5为就诊科室以及详细费用类别名称与缴费方式。
在一种优选方案中，所述的S3具体步骤如下：
S31.将收集到的发票图片，根据信息特征进行批注，将需要提取的信息点分成5类标签类别进行标注，每个发票图片创建一个XML文件，该XML文件包含发票图片所有标注目标框的位置信息和标签信息；
S32.将标注好的发票图片放进Faster-Rcnn神经网络内进行训练，其中发票图片随机分配作为训练集与验证集，得到训练图片的目标框大小与目标框的中心点坐标信息；
S33.将目标发票图片经过S1、S2步骤后输入到训练好的神经网络之中，分类神经网络通过神经网络的训练结果，学习相应训练图片标签类别的特征信息，并对目标发票图片的标签类别、目标框大小、目标框中心点坐标进行预测，如图4所示；
S34.神经网络通过注意力机制，将锚点覆盖整张图片，然后根据神经网络的反馈，通过不断改变锚点的长宽比和位置，最终得出使神经网络损失最小的一个锚点并将该锚点作为输出，当神经网络判断该输出锚点是目标框的概率超过预设的阈值，其阈值设为0.5，则将该锚点输出，得到目标发票图片中所有的目标框，以及目标框的位置坐标信息和标签信息。
在一种优选方案中，所述的S5具体步骤如下：
S51.字符识别模块识别目标发票图片中目标框的位置坐标信息，将每一个目标框从图片中切割成若干个目标片段，将背景信息去除；
S52.将所有目标片段排成一竖列放入提前训练好的字符识别神经网络，得出每个目标框的字符识别结果，将每个片段的图片信息转化为文本信息，记录在目标图片的XML文件中。
在一种优选方案中，所述的S6的具体步骤如下：
S61.计算目标发票信息中所有目标框的中心点坐标与目标框的端点坐标；
S62.根据每个目标框的中心点和端点坐标信息，计算出各个目标框的长宽；
S63.对比目标发票图片和训练图片判断目标发票的目标框大小、目标框中心点坐标是否与S33预测结果一致；若一致则进入S7，若不一致则发出警示，提醒进行人工检核。
在一种优选方案中，所述的S7的具体步骤如下:
首先建立一个EXCEL文件，对目标发票图片的XML文件进行收集，将目标发票图片经过转换的文本信息对应列入EXCEL文件中，如图5所示，输出目标发票图片所有关键信息。
实施例2
本发明第二方面公开一种基于深度学习的发票信息管理系统，基于上述的基于深度学习的发票信息管理方法，包括
发票扫描模块，将纸质版的发票原件经过外设镜头设备的扫描，转化为图片格式文件，将图片文件上传至系统进行进一步的处理；
纠正预处理模块，识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；
检测模块，前期人工将收集到的发票图片数据进行标注，根据所需要提取信息的特征不同，将需要提取的信息点，进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练，将目标发票图片放入训练好的模型之中，得到目标发票图片上所有感兴趣信息的目标框信息；
验证模块检测图片是否有发票抬头盖章信息，判断发票的真伪；
字符识别模块识别目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；
信息分类模块，将类别标签为1的目标框，根据该目标框的长宽，自动推算出发票图片中需要提取的不同类别的信息的区域位置。计算所有目标框在发票图片中的中心点的位置信息；
输出模块，若目标框的中心点坐标在相应的区域位置中，则将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中，最后得到一个包含发票图片中所有关键信息的Excel表格。
本发明第三方面公开一种计算机可读介质，所述计算机可读介质中包括基于深度学习的发票信息管理方法程序，所述基于深度学习的发票信息管理方法程序被基于深度学习的发票信息管理系统执行时，实现上述的基于深度学习的发票信息管理方法的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于深度学习的发票信息管理方法，其特征在于，包括以下步骤：
S1.通过发票扫描模块对纸质版发票进行扫描，收集转化为图片格式的发票图片数据；
S2.纠正预处理模块识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；
S3.检测模块收集步骤S2的发票图片进行批注，根据所需要提取信息的特征不同，对需要提取的信息点进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练；将目标发票图片放入训练好的模型之中，对目标发票图片的目标框标签类别、目标框大小、目标框中心点坐标进行预测并得到目标发票图片上所有感兴趣信息的目标框字符信息；
S4.验证模块检测目标发票图片是否有发票抬头盖章信息，判断发票的真伪，若目标发票图片没有发票抬头盖章信息，则定义为可疑发票则将发出警示，提醒进行人工检核；
S5.字符识别模块识别目标发票图片的目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；
S6.信息分类及定位模块，计算目标发票图片中各个目标框的中心点的位置信息与目标框大小，与神经网络的训练数据进行对比，判断是否与训练结果一致，若一致则进入S7，否则提醒进行人工核验；
S7.输出模块将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中并进行输出；
所述的类别标签包括5类，其中类别标签1为发票抬头印章；2为发票编号；3为医院收费印章；4为诊疗类别以及患者性别信息；5为就诊科室以及详细费用类别名称与缴费方式；
所述的S3具体步骤如下：
S31.将收集到的发票图片，根据信息特征进行批注，将需要提取的信息点分成5类标签类别进行标注，每个发票图片创建一个XML文件，该XML文件包含发票图片所有标注目标框的位置信息和标签信息；
S32.将标注好的发票图片放进Faster-Rcnn神经网络内进行训练，其中发票图片随机分配作为训练集与验证集，得到训练图片的目标框大小与目标框的中心点坐标信息；
S33.将目标发票图片经过S1、S2步骤后输入到训练好的Faster-Rcnn神经网络之中，Faster-Rcnn神经网络通过神经网络的训练结果，学习相应训练图片标签类别的特征信息，并对目标发票图片的标签类别、目标框大小、目标框中心点坐标进行预测；
S34.Faster-Rcnn神经网络通过注意力机制，将锚点覆盖整张图片，根据神经网络的反馈，通过不断改变锚点的长宽比和位置，最终得出使神经网络损失最小的一个锚点并将该锚点作为输出，当神经网络判断该输出锚点是目标框的概率超过预设的阈值，则将该锚点输出，得到目标发票图片中所有的目标框，以及目标框的位置坐标信息和标签信息；
所述的S6的具体步骤如下：
S61.计算目标发票信息中所有目标框的中心点坐标与目标框的端点坐标；
S62.根据每个目标框的中心点和端点坐标信息，计算出各个目标框的长宽；
S63.对比目标发票图片和训练图片判断目标发票的目标框大小、目标框中心点坐标是否与S33预测结果一致；若一致则进入S7，若不一致则发出警示，提醒进行人工检核。
2.根据权利要求1所述的基于深度学习的发票信息管理方法，其特征在于，所述的S5具体步骤如下：
S51.字符识别模块识别目标发票图片中目标框的位置坐标信息，将每一个目标框从图片中切割成若干个目标片段，将背景信息去除；
S52.将所有目标片段排成一竖列放入提前训练好的字符识别神经网络，得出每个目标框的字符识别结果，将每个片段的图片信息转化为文本信息，记录在目标图片的XML文件中。
3.根据权利要求1所述的基于深度学习的发票信息管理方法，其特征在于，所述的S7的具体步骤如下:
建立一个EXCEL文件，对目标发票图片的XML文件进行收集，将目标发票图片经过转换的文本信息对应列入EXCEL文件中，输出目标发票图片所有关键信息。
4.一种基于深度学习的发票信息管理系统，基于权利要求1-3任一项所述的基于深度学习的发票信息管理方法，其特征在于，包括
发票扫描模块，将纸质版的发票原件经过外设镜头设备的扫描，转化为图片格式文件，将图片文件上传至系统进行进一步的处理；
纠正预处理模块，识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；
检测模块，前期人工将收集到的发票图片数据进行标注，根据所需要提取信息的特征不同，将需要提取的信息点，进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练，将目标发票图片放入训练好的模型之中，得到目标发票图片上所有感兴趣信息的目标框信息；
验证模块检测图片是否有发票抬头盖章信息，判断发票的真伪；
字符识别模块识别目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；
信息分类模块，检测目标发票图片的目标框的类别标签，根据该目标框的长宽，自动推算出发票图片中需要提取的不同类别的信息的区域位置并计算所有目标框在发票图片中的中心点的位置信息；
输出模块，若目标框的中心点坐标在相应的区域位置中，则将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中，输出包含发票图片中所有关键信息的Excel表格。
5.一种计算机可读介质，其特征在于，所述计算机可读介质中包括基于深度学习的发票信息管理方法程序，所述基于深度学习的发票信息管理方法程序被基于深度学习的发票信息管理系统执行时，实现如权利要求1至3任一项所述的基于深度学习的发票信息管理方法的步骤。
CN201910677692.6A 2019-07-25 2019-07-25 基于深度学习的发票信息管理方法、系统和可读介质 Active CN110472524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910677692.6A CN110472524B (zh) 2019-07-25 2019-07-25 基于深度学习的发票信息管理方法、系统和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910677692.6A CN110472524B (zh) 2019-07-25 2019-07-25 基于深度学习的发票信息管理方法、系统和可读介质

Publications (2)

Publication Number Publication Date
CN110472524A CN110472524A (zh) 2019-11-19
CN110472524B true CN110472524B (zh) 2022-09-13

Family

ID=68508343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910677692.6A Active CN110472524B (zh) 2019-07-25 2019-07-25 基于深度学习的发票信息管理方法、系统和可读介质

Country Status (1)

Country Link
CN (1) CN110472524B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079562A (zh) * 2019-11-27 2020-04-28 浙江大学 多阶段数据生成自循环财务发票文本智能识别系统及方法
CN111695558B (zh) * 2020-04-28 2023-08-04 深圳市跨越新科技有限公司 基于YoloV3模型的物流运单图片摆正方法及系统
CN112102053B (zh) * 2020-07-31 2023-11-21 大众金服信息科技有限公司 应收账款调查管理方法、装置、计算机设备及存储介质
CN112149654B (zh) * 2020-09-23 2022-08-02 四川长虹电器股份有限公司 基于深度学习的发票文本信息识别方法
CN112559541B (zh) * 2020-12-10 2021-09-28 广州市昊链信息科技股份有限公司 一种单证的审核方法、装置、设备及存储介质
CN112686307A (zh) * 2020-12-30 2021-04-20 平安普惠企业管理有限公司 基于人工智能获取发票的方法、装置及存储介质
CN113065401A (zh) * 2021-03-04 2021-07-02 国网河北省电力有限公司 一种全票种报账智能平台
CN113065423A (zh) * 2021-03-19 2021-07-02 国网电子商务有限公司 一种基于深度学习的票证关键信息提取方法和装置
CN112950360A (zh) * 2021-03-30 2021-06-11 杭州职业技术学院 一种财务信息整理账目发票匹配方法
CN113449717B (zh) * 2021-05-27 2023-07-11 众安在线财产保险股份有限公司 发票图片处理方法、保险理赔方法、装置、设备和介质
CN113377980A (zh) * 2021-06-24 2021-09-10 上海商汤科技开发有限公司 一种信息标注的方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067044A (zh) * 2017-05-31 2017-08-18 北京空间飞行器总体设计部 一种财务报销全票据智能审核系统
CN109086756A (zh) * 2018-06-15 2018-12-25 众安信息技术服务有限公司 一种基于深度神经网络的文本检测分析方法、装置及设备
CN109165697A (zh) * 2018-10-12 2019-01-08 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
CN109344815A (zh) * 2018-12-13 2019-02-15 深源恒际科技有限公司 一种文档图像分类方法
CN109657665A (zh) * 2018-10-31 2019-04-19 广东工业大学 一种基于深度学习的发票批量自动识别系统
CN109858420A (zh) * 2019-01-24 2019-06-07 国信电子票据平台信息服务有限公司 一种票据处理系统和处理方法
CN109887153A (zh) * 2019-02-03 2019-06-14 国信电子票据平台信息服务有限公司 一种财税处理方法和处理系统
CN109886269A (zh) * 2019-02-27 2019-06-14 南京中设航空科技发展有限公司 一种基于注意力机制的交通广告牌识别方法
CN109977957A (zh) * 2019-03-04 2019-07-05 苏宁易购集团股份有限公司 一种基于深度学习的发票识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067044A (zh) * 2017-05-31 2017-08-18 北京空间飞行器总体设计部 一种财务报销全票据智能审核系统
CN109086756A (zh) * 2018-06-15 2018-12-25 众安信息技术服务有限公司 一种基于深度神经网络的文本检测分析方法、装置及设备
CN109165697A (zh) * 2018-10-12 2019-01-08 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
CN109657665A (zh) * 2018-10-31 2019-04-19 广东工业大学 一种基于深度学习的发票批量自动识别系统
CN109344815A (zh) * 2018-12-13 2019-02-15 深源恒际科技有限公司 一种文档图像分类方法
CN109858420A (zh) * 2019-01-24 2019-06-07 国信电子票据平台信息服务有限公司 一种票据处理系统和处理方法
CN109887153A (zh) * 2019-02-03 2019-06-14 国信电子票据平台信息服务有限公司 一种财税处理方法和处理系统
CN109886269A (zh) * 2019-02-27 2019-06-14 南京中设航空科技发展有限公司 一种基于注意力机制的交通广告牌识别方法
CN109977957A (zh) * 2019-03-04 2019-07-05 苏宁易购集团股份有限公司 一种基于深度学习的发票识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A detection method for low-pixel ratio object";Rui Zhang et al.;《Multimedia Tools and Applications》;20181002;第78卷;全文 *

Also Published As

Publication number Publication date
CN110472524A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110472524B (zh) 基于深度学习的发票信息管理方法、系统和可读介质
WO2019238063A1 (zh) 文本检测分析方法、装置及设备
US10019740B2 (en) System and methods of an expense management system based upon business document analysis
US11232300B2 (en) System and method for automatic detection and verification of optical character recognition data
CN106846961B (zh) 电子试卷的处理方法和装置
US7035463B1 (en) Document image processor, method for extracting document title, and method for imparting document tag information
US20190286899A1 (en) System and method for automatic detection and verification of optical character recognition data
US7936925B2 (en) Paper interface to an electronic record system
WO2020038138A1 (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN112819004B (zh) 一种用于医疗票据ocr识别的图像预处理方法及系统
US11464466B2 (en) Methods and systems for periodontal disease screening
CN111797729A (zh) 一种化验报告单自动识别方法
CN105469513A (zh) 基于人脸检测与文字识别的自助服务一体机及其使用方法
CN116434266A (zh) 一种医疗检验单的数据信息自动提取分析方法
CN112102443B (zh) 一种适用于变电站设备巡检图像的标注系统及标注方法
CN112749649A (zh) 一种智能识别并生成电子合同的方法及系统
CN110110622B (zh) 一种基于图像处理的医疗文本检测方法、系统和存储介质
CN116740723A (zh) 一种基于开源Paddle框架的PDF文档识别方法
CN115937887A (zh) 文档结构化信息的提取方法及装置、电子设备、存储介质
CN115687643A (zh) 一种训练多模态信息抽取模型的方法及信息抽取方法
CN111667457B (zh) 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质
CN107861931B (zh) 模板文件处理方法、装置、计算机设备和存储介质
CN116824670A (zh) 基于微表情的问诊辅助方法、装置、设备及介质
CN106780929A (zh) 基于面部识别与手写文字识别的自助排队机
CN205563854U (zh) 基于人脸检测与文字识别的自助服务一体机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant