CN107067044B - 一种财务报销全票据智能审核系统 - Google Patents
一种财务报销全票据智能审核系统 Download PDFInfo
- Publication number
- CN107067044B CN107067044B CN201710399047.3A CN201710399047A CN107067044B CN 107067044 B CN107067044 B CN 107067044B CN 201710399047 A CN201710399047 A CN 201710399047A CN 107067044 B CN107067044 B CN 107067044B
- Authority
- CN
- China
- Prior art keywords
- invoice
- module
- picture
- information
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000002093 peripheral effect Effects 0.000 claims abstract description 22
- 238000007639 printing Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 32
- 238000007689 inspection Methods 0.000 claims description 31
- 238000007781 pre-processing Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 102220184965 rs117987946 Human genes 0.000 claims description 3
- 102220139156 rs774350715 Human genes 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000002087 whitening effect Effects 0.000 claims description 3
- 238000012550 audit Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract 4
- 238000012015 optical character recognition Methods 0.000 description 31
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Character Input (AREA)
Abstract
一种财务报销全票据智能审核系统，包括电源模块，扫描仪接口模块，OCR模块，发票验证模块，文件上传处理模块，外围财务系统接口模块，条码打印控制模块，以太网接口模块。扫描仪接口模块实现扫描仪和系统的数据交换和传输，电源模块为扫描仪接口模块和以太网接口模块提供电源，OCR模块提供图像的识别和处理功能，发票验证模板实现对通过扫描处理的内控检查功能，文件上传处理模块实现扫描文件的分类存储功能，外围财务系统接口模块实现与外围财务系统的数据交换和传输，条码打印控制模块实现将编号生成条形码并输出至条码打印机，以太网接口模块用于实现条形码打印数据的传输、扫描处理后文件的上传和外围系统的数据传输。
Description
技术领域
本发明涉及一种财务报销全票据智能审核系统，适用于公司人员的报销纸介发票的电子转换、发票内控验证、报销发票管理。
背景技术
企业中的财务票据是会计信息的主要的来源，也是会计对企业财务账目进行管理的基础。同时，也是国家有关部门管理、监督检查企业资金运作的有效方式和重要依据。因此企业的财务票据管理已成为会计管理中的一种重要规范。在市场经济快速发展和市场经济体制逐步完善的今天,企业的资金来源呈现出多元化。票据管理作为资金管理的重要环节,在财务管理中起着举足轻重的作用,是能否使企业内部监管得到强化，财务制度得到健全的重要保障。随着各行业企事业单位都在争相建立财务数据共享中心，以期望通过财务数据共享完善企业运营管理，加快发展步伐，企业与企业、企业与管理机构之间，利用电子数据、票据凭证影像来传递贸易信息越来越频繁，而传统人工审核发票、录入发票数据工作量大，效率低且易出错，事后查找困难。
传统数据采集是人工整理原始报销票据，然后进行扫描影像，再到会计人工录入，再到凭证审核，而智能数据采集方式是采用OCR(光学字符识别)扫描识别技术，自动采集发票上的会计要素，自动对票据建立索引并归档，提高凭证信息查阅的一致性与准确性，与传统的会计人工录入数据方案相比，OCR扫描识别方案可以减少70％的工作量。
目前，常用的OCR系统只能完成部分类型发票的扫描录入，且识别准确率不高，已不能满足当前财务报销的需要，更无法为建设财务数据共享中心提供有效的、全面的基础数据支撑。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提出了一种财务报销全票据智能审核系统，不同类型的发票可统一扫描录入财务报销智能审核系统，实现了单位报销发票的电子化集中管理；财务工作人员可通过定制化的内控规则验证报销发票信息是否符合内控标准；提升了财务部门处理财务报销工作效率和准确性。
本发明的技术解决方案是：
一种财务报销全票据智能审核系统，全票据智能审核系统包括OCR模块，通过该OCR模块对扫描为图像的各种类型发票进行识别和处理。
全票据智能审核系统还包括扫描仪接口模块、发票验证模块、文件上传处理模块、外围财务系统接口模块、条码打印控制模块以及以太网接口模块；
扫描仪接口模块实现驱动扫描仪并将扫描仪扫描的发票图片发送给OCR模块，OCR模块将识别出的发票图片上的信息提供给发票验证模块，同时，将能识别和不能识别的发票图片均直接提供给文件上传处理模块；
发票验证模块对OCR模块提供的信息进行内控要求检验，将检验之后的发票信息提供给文件上传处理模块，将检验状态信息提供给外围财务系统接口模块；
文件上传处理模块对所有发票图片和所述检验之后的发票信息进行唯一ID编号和分类处理，再通过以太网接口模块存储到文件服务器中，同时，文件上传处理模块将发票信息在文件服务器中的存储位置信息提供给外围财务系统接口模块，外围财务系统接口模块通过以太网模块与外部财务报销系统进行通信，外部财务报销系统通过所述外围财务系统接口模块查找定位发票信息在文件服务器中的位置；外围财务系统接口模块将所述检验状态信息通过以太网接口模块供外部财务报销系统查询；
文件上传处理模块还将发票验证模块检验通过的发票信息提供给条码打印控制模块，条码打印控制模块将所述唯一ID编号转化为条形码，并通过以太网接口模块输出给条码打印机进行打印。
所述文件上传处理模块对不能识别的发票图片和所述检验之后的发票信息进行分类处理，具体为：文件上传处理模块将不能识别的发票图片和所述检验之后的发票信息总计分为5个类别，分别是：无法识别的发票图片、验证不通过的发票图片、验证不通过的发票图片上的信息、验证通过发票图片、验证通过的发票图片上的信息。
所述发票验证模块对OCR模块提供的信息进行内控要求检验，具体为：
(4.1)发票验证模块对OCR模块提供的信息进行发票连号检查，如果没有连号出现，则该张发票的检验状态为通过验证，进入步骤(4.2)，否则该张发票的检验状态为未通过验证；
(4.2)发票验证模块对OCR模块提供的信息进行发票重号检查，如果没有重号出现，则该张发票的检验状态为通过验证，进入步骤(4.3)，否则该张发票的检验状态为未通过验证；
(4.3)发票验证模块对OCR模块提供的信息进行单张发票金额上限检查，如果超过单张金额上限，则该张发票的检验状态为通过验证，进入步骤(4.4)，否则该张发票的检验状态为未通过验证；
(4.4)发票验证模块对OCR模块提供的信息进行关键字检查，在预设关键字库中进行比对，如果没有出现关键字库中的字段，则该张发票的检验状态为通过验证，否则该张发票的检验状态为未通过验证。
所述关键字库中为单位财务内控要求指定不可报销的内容信息。
所述检验状态信息包括通过检验和未通过检验。
所述所有发票图片和所述检验之后的发票信息进行唯一ID编号，具体为：不能识别的发票图片、能够识别的发票图片以及检验之后的发票信息均进行单独编号，其中，能够识别的发票图片编号以及检验之后的发票信息编号一一对应。
OCR模块对发票图片进行识别和处理，具体为包括如下步骤：
(8.1)对扫描后的发票图片进行色彩预处理，为图片轮廓预处理提供输入数据；
(8.2)对经过色彩预处理的图片进行轮廓检测，排除发票纸张范围外的像素干扰；
(8.3)对经过轮廓检测的图片进行文字预处理，识别发票上的字符，形成字符集并输出；
(8.4)对步骤(8.3)输出的字符集进行图片识别处理，将识别处理结果按发票识别的语义组织为具有语义的结果对象，作为最终识别结果。
所述步骤(8.1)对扫描后的发票图片进行色彩预处理，包括：
(9.1)将扫描后的发票图片进行RGB转换，生成RGB颜色空间数据；
(9.2)对所述RGB颜色空间数据进行白化二值处理，即识别在RGB颜色空间数据中色调为白色的像素，并产生结果掩码位图矩阵，作为图片轮廓预处理的输入数据。
将扫描后的发票图片进行RGB转换，使用PNG或JPG图片解析算法解析原始文件，产生内存位图I(m*n)，其中，m为位图I的行数，n为I的列数，从而转换为RGB颜色空间数据，输出数据为m*n的矩阵，矩阵元素为R3＝{0-255，0-255，0-255}，表示为RGB颜色空间的三元组向量。
所述步骤(8.2)对经过色彩预处理的图片进行轮廓检测，排除发票纸张范围外的像素干扰，具体为：
(11.1)使用Canny边缘检测算法对结果掩码位图矩阵进行轮廓检测，即对每个多边形计算环绕矩形，取面积最大者为环绕纸张的矩形，其矩形边缘即为轮廓；
(11.2)根据进行轮廓检测后的数据，对结果掩码位图矩阵计算其长边和水平线的夹角，并对RGB颜色空间数据以该角度作旋转变换，以校正纸张的偏角；
(11.3)对所述旋转变换后的数据进行蓝化二值处理，即识别在RGB颜色空间数据中色调为蓝色的像素，并产生前景矩阵Mtext，作为文字预处理的输入数据。
所述步骤(11.2)进行旋转变换具体为：对产生的纸张轮廓包围矩形R取其任意三点P1、P2、P3，求点间距离D12＝D(P1,P2)，D23＝D(P2,P3)，取长边，并求其与水平线夹角Ap＝|Atan(x2-x1,y2-y1)|，如果Ap小于5度，则变为0；将位图矩阵I，即RGB颜色空间数据旋转Ap角度，以纠正其偏角；定义旋转后产生的新位图矩阵为I’。
所述步骤(8.3)对经过轮廓检测的图片进行文字预处理，具体为：
(13.1)对前景矩阵Mtext进行逐行扫描，确定行的个数以及每行的起始和终止位置；
(13.2)进行行内纵扫描以确定文字范围，从而得到分离后的文字矩形集合；
(13.3)将分离后的文字矩形集合中的文字矩形按照从上到下，从左到右的顺序排序，形成字符集并输出。
所述步骤(13.1)对前景矩阵Mtext进行逐行扫描，确定行的个数以及每行的起始和终止位置，具体为：对掩码矩阵Mtext进行间距为1的横向扫描线Reduction操作，根据每一行为1的像素数量，得出自变量为行索引的方波曲线，将每一个方波脉冲的范围[x0,x1]作为一行的行索引范围，从而检测到行的位置。
所述步骤(13.2)进行行内纵扫描以确定文字范围，从而得到分离后的文字矩形集合，具体为：对每一行进行列间距为1的纵向扫描线操作，得出列索引为自变量的曲线；将曲线范围正规化至[0,1]区间，并将小于0.05的值设置为0，根据方波脉冲波谷的位置确定文字之间的边界，从而得到分离后的文字矩形集合。
所述步骤(8.4)对输出的字符集进行图片识别处理，将识别处理结果按发票识别的语义组织为具有语义的结果对象，具体为：
(16.1)构建文字识别所用的神经网络模型结构；
(16.2)构建训练模型所用的训练集和验证集，训练集用于更新模型的权重，验证集用于跟踪训练效果；
(16.3)根据所述训练集，使用监督学习方法对构建的神经网络模型进行训练，并使其验证准确率达到预定标准或训练轮数达到预定最大轮数；
(16.4)将训练后的模型权重进行保存；
(16.5)选用权重最大的模型，对所述输出的字符集进行文字识别，得到在标签空间中的概率分布矩阵；
(16.6)按行循环访问概率分布矩阵中的每一行，扫描每一行最大峰值处得到其标签索引，从而转换为相应的字符，即识别结果；
(16.7)将识别结果按发票识别的语义组织为具有语义的结果对象，作为最终识别结果。
所述步骤(16.1)构建文字识别所用的神经网络模型结构，采用深度卷积神经网络。
所述构建训练集具体为：使用绘图指令以制定的字体在32*32位图中绘制标签字符；将前景矩阵Mtext转换为32*32的布尔掩码矩阵M’，将所有数据进行序列化。
本发明与现有技术相比的有益效果是：
(1)本发明系统支持各种类型的发票统一扫描录入识别处理，实现了单位报销发票的电子化集中管理；
(2)本发明针对发票识别的特定场景做了一些优化，扩大发票识别类型，能识别所有类型的发票，并且识别更准确、效率更高。与通用OCR相比，特定场景下，本发明可以根据图像特性、文字特性、色彩、清晰度等属性最大化执行效率和准确度；
(3)本发明系统在训练模型上采取10种不同的字体对如下字符绘制训练集：0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ，因此每种字符产生10个样本。在训练时随机应用如下变化，以减少过拟合，提高神经网络的测试准确率，准确度可以达到95％以上；
(4)本发明系统在识别模型方面采用深度卷积神经网络，其准确率远超过最近邻分类等传统统计分类模型。模型可以很好的缓冲输入图形的细节差别和移位问题，因此可以很好的解决文字识别中输入多变的问题；
(5)本发明系统基于发票识别的场景进行建模，在这种模型下，文字分割步骤可以采取相对固定的方式，而无需采用监督学习的统计模型，因此无需准备人工标注的训练集，极大的减少了OCR研发的前期时间；
(6)本发明系统可根据各种类型的发票内容自动进行基于语义的文本校正，相对上下文无关的OCR算法，可以利用上下文和语境信息最大程度上避免识别错误，从而提高准确率；
(7)本发明系统支持财务工作人员通过定制化的内控规则，实现验证系统自动对报销发票信息是否符合内控标准进行检查，例如：发票连号、重号的检查，发票关键字的检查，有效提升了财务部门处理财务报销工作效率和准确性。
附图说明
图1为本发明系统架构示意图；
图2为本发明发票验证模块流程示意图；
图3为本发明OCR模块流程示意图；
图4为本发明图片色彩预处理子模块流程示意图；
图5为本发明图片轮廓预处理子模块流程示意图；
图6为本发明图片文字预处理子模块流程示意图；
图7为本发明图片识别处理子模块流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
如图1所示，本发明提出了一种财务报销全票据智能审核系统，全票据智能审核系统包括OCR模块，通过该OCR模块对扫描为图像的各种类型发票进行识别和处理。
全票据智能审核系统还包括扫描仪接口模块、发票验证模块、文件上传处理模块、外围财务系统接口模块、条码打印控制模块以及以太网接口模块；
扫描仪接口模块实现驱动扫描仪并将扫描仪扫描的发票图片发送给OCR模块，OCR模块将识别出的发票图片上的信息提供给发票验证模块，同时，将能识别和不能识别的发票图片均直接提供给文件上传处理模块；
发票验证模块对OCR模块提供的信息进行内控要求检验，将检验之后的发票信息提供给文件上传处理模块，将检验状态信息提供给外围财务系统接口模块；
文件上传处理模块对所有发票图片和所述检验之后的发票信息进行唯一ID编号和分类处理，再通过以太网接口模块存储到文件服务器中，同时，文件上传处理模块将发票信息在文件服务器中的存储位置信息提供给外围财务系统接口模块，外围财务系统接口模块通过以太网模块与外部财务报销系统进行通信，外部财务报销系统通过所述外围财务系统接口模块查找定位发票信息在文件服务器中的位置；外围财务系统接口模块将所述检验状态信息通过以太网接口模块供外部财务报销系统查询；
文件上传处理模块还将发票验证模块检验通过的发票信息提供给条码打印控制模块，条码打印控制模块将所述唯一ID编号转化为条形码，并通过以太网接口模块输出给条码打印机进行打印。
所述文件上传处理模块对不能识别的发票图片和所述检验之后的发票信息进行分类处理，具体为：文件上传处理模块将不能识别的发票图片和所述检验之后的发票信息总计分为5个类别，分别是：无法识别的发票图片、验证不通过的发票图片、验证不通过的发票图片上的信息、验证通过发票图片、验证通过的发票图片上的信息。
如图2所示，所述发票验证模块对OCR模块提供的信息进行内控要求检验，具体为：
(a)发票验证模块对OCR模块提供的信息进行发票连号检查，如果没有连号出现，则该张发票的检验状态为通过验证，进入步骤(b)，否则该张发票的检验状态为未通过验证；
(b)发票验证模块对OCR模块提供的信息进行发票重号检查，如果没有重号出现，则该张发票的检验状态为通过验证，进入步骤(c)，否则该张发票的检验状态为未通过验证；
(c)发票验证模块对OCR模块提供的信息进行单张发票金额上限检查，如果超过单张金额上限，则该张发票的检验状态为通过验证，进入步骤(d)，否则该张发票的检验状态为未通过验证；
(d)发票验证模块对OCR模块提供的信息进行关键字检查，在预设关键字库中进行比对，如果没有出现关键字库中的字段，则该张发票的检验状态为通过验证，否则该张发票的检验状态为未通过验证。
关键字库中为单位财务内控要求指定不可报销的内容信息。
检验状态信息包括通过检验和未通过检验。
所有发票图片和所述检验之后的发票信息进行唯一ID编号，具体为：不能识别的发票图片、能够识别的发票图片以及检验之后的发票信息均进行单独编号，其中，能够识别的发票图片编号以及检验之后的发票信息编号一一对应。
如图3所示，OCR模块对发票图片进行识别和处理，具体为包括如下步骤：
(1)如图4所示，对扫描后的发票图片进行色彩预处理，为图片轮廓预处理提供输入数据；
所述步骤(1)对扫描后的发票图片进行色彩预处理，包括：
(1.1)将扫描后的发票图片进行RGB转换，生成RGB颜色空间数据；
(1.2)对所述RGB颜色空间数据进行白化二值处理，即识别在RGB颜色空间数据中色调为白色的像素，并产生结果掩码位图矩阵，作为图片轮廓预处理的输入数据。
将扫描后的发票图片进行RGB转换，使用PNG或JPG图片解析算法解析原始文件，产生内存位图I(m*n)，其中，m为位图I的行数，n为I的列数，从而转换为RGB颜色空间数据，输出数据为m*n的矩阵，矩阵元素为R3＝{0-255，0-255，0-255}，表示为RGB颜色空间的三元组向量。
(2)如图5所示，对经过色彩预处理的图片进行轮廓检测，排除发票纸张范围外的像素干扰；
所述步骤(2)对经过色彩预处理的图片进行轮廓检测，排除发票纸张范围外的像素干扰，具体为：
(2.1)使用Canny边缘检测算法对结果掩码位图矩阵进行轮廓检测，对点图产生强度为k的高斯模糊拷贝，随后采取DBSCAN聚类得到离群点。将离群点从原始点图中删除，完成去噪处理过程，对每个多边形计算环绕矩形，取面积最大者为环绕纸张的矩形，其矩形边缘即为轮廓；
(2.2)根据进行轮廓检测后的数据，对结果掩码位图矩阵计算其长边和水平线的夹角，并对RGB颜色空间数据以该角度作旋转变换，以校正纸张的偏角；
(2.3)对所述旋转变换后的数据进行蓝化二值处理，即识别在RGB颜色空间数据中色调为蓝色的像素，并产生前景矩阵Mtext，作为文字预处理的输入数据。
所述步骤(2.2)进行旋转变换具体为：对产生的纸张轮廓包围矩形R取其任意三点P1、P2、P3，求点间距离D12＝D(P1,P2)，D23＝D(P2,P3)，取长边，并求其与水平线夹角Ap＝|Atan(x2-x1,y2-y1)|，如果Ap小于5度，则变为0；将位图矩阵I，即RGB颜色空间数据旋转Ap角度，以纠正其偏角；定义旋转后产生的新位图矩阵为I’。
(3)如图6所示，对经过轮廓检测的图片进行文字预处理，识别发票上的字符，形成字符集并输出；
所述步骤(3)对经过轮廓检测的图片进行文字预处理，具体为：
(3.1)对前景矩阵Mtext进行逐行扫描，确定行的个数以及每行的起始和终止位置；
所述步骤(3.1)对前景矩阵Mtext进行逐行扫描，确定行的个数以及每行的起始和终止位置，具体为：对掩码矩阵Mtext进行间距为1的横向扫描线Reduction操作，根据每一行为1的像素数量，得出自变量为行索引的方波曲线，将每一个方波脉冲的范围[x0,x1]作为一行的行索引范围，从而检测到行的位置。
(3.2)进行行内纵扫描以确定文字范围，从而得到分离后的文字矩形集合；所述步骤(3.2)进行行内纵扫描以确定文字范围，从而得到分离后的文字矩形集合，具体为：对每一行进行列间距为1的纵向扫描线操作，得出列索引为自变量的曲线；将曲线范围正规化至[0,1]区间，并将小于0.05的值设置为0，根据方波脉冲波谷的位置确定文字之间的边界，从而得到分离后的文字矩形集合。
(3.3)将分离后的文字矩形集合中的文字矩形按照从上到下，从左到右的顺序排序，形成字符集并输出。文本按照原有顺序(即左至右，上至下)进行排序。基本步骤为：
(3.3.1)在矩形集合中选出距离左上角最近的矩形，作为新行的首字符；
(3.3.2)搜索距离行尾字符最近的矩形，要求其X坐标增加，Y坐标与行尾矩形相比在某一范围内，将其加入行尾；
(3.3.3)当无法找到满足条件的矩形时，该行结束，进入下一行的识别。
(4)如图7所示，对步骤(3)输出的字符集进行图片识别处理，将识别处理结果按发票识别的语义组织为具有语义的结果对象，作为最终识别结果。
所述步骤(4)对输出的字符集进行图片识别处理，将识别处理结果按发票识别的语义组织为具有语义的结果对象，具体为：
(4.1)构建文字识别所用的神经网络模型结构；采用深度卷积神经网络，其准确率远超过最近邻分类等传统统计分类模型，其效果已得到学术界的普遍认可。模型可以很好的缓冲输入图形的细节差别和移位问题，因此可以很好的解决文字识别中输入多变的问题。；对发票识别的场景做如下建模：
(4.1.1)文字为打印体，因此相对工整、清晰；
(4.1.2)文字大小基本近似；
(4.1.3)可较容易的区分前景文字和背景文字；
在这种模型下，文字分割步骤可以采取相对固定的方式，而无需采用监督学习的统计模型，因此无需准备人工标注的训练集，极大的减少了OCR研发的前期时间。
(4.2)构建训练模型所用的训练集和验证集，训练集用于更新模型的权重，验证集用于跟踪训练效果；
所述构建训练集具体为：使用绘图指令以制定的字体在32*32位图中绘制标签字符；将前景矩阵Mtext转换为32*32的布尔掩码矩阵M’，将所有数据进行序列化。在训练模型上采取10种不同的字体对如下字符绘制训练集：
0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ，因此每种字符产生10个样本。在训练时随机应用如下变化，以减少过拟合，提高神经网络的测试准确率，准确度可以达到95％以上。
(4.3)根据所述训练集，使用监督学习方法对构建的神经网络模型进行训练，并使其验证准确率达到预定标准或训练轮数达到预定最大轮数；
(4.4)将训练后的模型权重进行保存；
(4.5)选用权重最大的模型，对所述输出的字符集进行文字识别，得到在标签空间中的概率分布矩阵；
(4.6)按行循环访问概率分布矩阵中的每一行，扫描每一行最大峰值处得到其标签索引，从而转换为相应的字符，即识别结果；
(4.7)将识别结果按发票识别的语义组织为具有语义的结果对象，作为最终识别结果。
实施例：
按照本发明智能审核系统搭建实物平台，以十种不同格式的发票为例，通过扫描仪扫描成图片进入系统，扫描成图片的发票经过系统识别处理全部识别成功，在通过系统内控检查后，符合内控要求的发票，自动生成报销单二维码编号。对于比如出租车票连号、重号等问题，都能够精确的进行识别和筛选，对不同格式、纸张大小的发票，全兼容，识别率超过现有OCR技术识别率，取得良好的效果。
Claims (16)
1.一种财务报销全票据智能审核系统，其特征在于：全票据智能审核系统包括OCR模块，通过该OCR模块对扫描为图像的各种类型发票进行识别和处理，具体包括如下步骤：
(1)对扫描后的发票图片进行色彩预处理，为图片轮廓预处理提供输入数据；
(2)对经过色彩预处理的图片进行轮廓检测，排除发票纸张范围外的像素干扰；
(3)对经过轮廓检测的图片进行文字预处理，识别发票上的字符，形成字符集并输出；
(4)对步骤(3)输出的字符集进行图片识别处理，将识别处理结果按发票识别的语义组织为具有语义的结果对象，作为最终识别结果，具体为：
(4.1)构建文字识别所用的神经网络模型结构；
(4.2)构建训练模型所用的训练集和验证集，训练集用于更新模型的权重，验证集用于跟踪训练效果；
(4.3)根据所述训练集，使用监督学习方法对构建的神经网络模型进行训练，并使其验证准确率达到预定标准或训练轮数达到预定最大轮数；
(4.4)将训练后的模型权重进行保存；
(4.5)选用权重最大的模型，对所述输出的字符集进行文字识别，得到在标签空间中的概率分布矩阵；
(4.6)按行循环访问概率分布矩阵中的每一行，扫描每一行最大峰值处得到其标签索引，从而转换为相应的字符，即识别结果；
(4.7)将识别结果按发票识别的语义组织为具有语义的结果对象，作为最终识别结果。
2.根据权利要求1所述的一种财务报销全票据智能审核系统，其特征在于：全票据智能审核系统还包括扫描仪接口模块、发票验证模块、文件上传处理模块、外围财务系统接口模块、条码打印控制模块以及以太网接口模块；
扫描仪接口模块实现驱动扫描仪并将扫描仪扫描的发票图片发送给OCR模块，OCR模块将识别出的发票图片上的信息提供给发票验证模块，同时，将能识别和不能识别的发票图片均直接提供给文件上传处理模块；
发票验证模块对OCR模块提供的信息进行内控要求检验，将检验之后的发票信息提供给文件上传处理模块，将检验状态信息提供给外围财务系统接口模块；
文件上传处理模块对所有发票图片和所述检验之后的发票信息进行唯一ID编号和分类处理，再通过以太网接口模块存储到文件服务器中，同时，文件上传处理模块将发票信息在文件服务器中的存储位置信息提供给外围财务系统接口模块，外围财务系统接口模块通过以太网模块与外部财务报销系统进行通信，外部财务报销系统通过所述外围财务系统接口模块查找定位发票信息在文件服务器中的位置；外围财务系统接口模块将所述检验状态信息通过以太网接口模块供外部财务报销系统查询；
文件上传处理模块还将发票验证模块检验通过的发票信息提供给条码打印控制模块，条码打印控制模块将所述唯一ID编号转化为条形码，并通过以太网接口模块输出给条码打印机进行打印。
3.根据权利要求2所述的一种财务报销全票据智能审核系统，其特征在于：所述文件上传处理模块对不能识别的发票图片和所述检验之后的发票信息进行分类处理，具体为：文件上传处理模块将不能识别的发票图片和所述检验之后的发票信息总计分为5个类别，分别是：无法识别的发票图片、验证不通过的发票图片、验证不通过的发票图片上的信息、验证通过发票图片、验证通过的发票图片上的信息。
4.根据权利要求2所述的一种财务报销全票据智能审核系统，其特征在于：所述发票验证模块对OCR模块提供的信息进行内控要求检验，具体为：
(4.1)发票验证模块对OCR模块提供的信息进行发票连号检查，如果没有连号出现，则该张发票的检验状态为通过验证，进入步骤(4.2)，否则该张发票的检验状态为未通过验证；
(4.2)发票验证模块对OCR模块提供的信息进行发票重号检查，如果没有重号出现，则该张发票的检验状态为通过验证，进入步骤(4.3)，否则该张发票的检验状态为未通过验证；
(4.3)发票验证模块对OCR模块提供的信息进行单张发票金额上限检查，如果超过单张金额上限，则该张发票的检验状态为通过验证，进入步骤(4.4)，否则该张发票的检验状态为未通过验证；
(4.4)发票验证模块对OCR模块提供的信息进行关键字检查，在预设关键字库中进行比对，如果没有出现关键字库中的字段，则该张发票的检验状态为通过验证，否则该张发票的检验状态为未通过验证。
5.根据权利要求4所述的一种财务报销全票据智能审核系统，其特征在于：所述关键字库中为单位财务内控要求指定不可报销的内容信息。
6.根据权利要求2所述的一种财务报销全票据智能审核系统，其特征在于：所述检验状态信息包括通过检验和未通过检验。
7.根据权利要求2所述的一种财务报销全票据智能审核系统，其特征在于：所述所有发票图片和所述检验之后的发票信息进行唯一ID编号，具体为：不能识别的发票图片、能够识别的发票图片以及检验之后的发票信息均进行单独编号，其中，能够识别的发票图片编号以及检验之后的发票信息编号一一对应。
8.根据权利要求1所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(1)对扫描后的发票图片进行色彩预处理，包括：
(1.1)将扫描后的发票图片进行RGB转换，生成RGB颜色空间数据；
(1.2)对所述RGB颜色空间数据进行白化二值处理，即识别在RGB颜色空间数据中色调为白色的像素，并产生结果掩码位图矩阵，作为图片轮廓预处理的输入数据。
9.根据权利要求8所述的一种财务报销全票据智能审核系统，其特征在于：将扫描后的发票图片进行RGB转换，使用PNG或JPG图片解析算法解析原始文件，产生内存位图I(m*n)，其中，m为位图I的行数，n为I的列数，从而转换为RGB颜色空间数据，输出数据为m*n的矩阵，矩阵元素为R3＝{0-255，0-255，0-255}，表示为RGB颜色空间的三元组向量。
10.根据权利要求8所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(2)对经过色彩预处理的图片进行轮廓检测，排除发票纸张范围外的像素干扰，具体为：
(2.1)使用Canny边缘检测算法对结果掩码位图矩阵进行轮廓检测，即对每个多边形计算环绕矩形，取面积最大者为环绕纸张的矩形，其矩形边缘即为轮廓；
(2.2)根据进行轮廓检测后的数据，对结果掩码位图矩阵计算其长边和水平线的夹角，并对RGB颜色空间数据以该角度作旋转变换，以校正纸张的偏角；
(2.3)对所述旋转变换后的数据进行蓝化二值处理，即识别在RGB颜色空间数据中色调为蓝色的像素，并产生前景矩阵Mtext，作为文字预处理的输入数据。
11.根据权利要求10所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(2.2)进行旋转变换具体为：对产生的纸张轮廓包围矩形R取其任意三点P1、P2、P3，求点间距离D12＝D(P1,P2)，D23＝D(P2,P3)，取长边，并求其与水平线夹角Ap＝|arctan(x2-x1,y2-y1)|，如果Ap小于5度，则变为0；将位图矩阵I，即RGB颜色空间数据旋转Ap角度，以纠正其偏角；定义旋转后产生的新位图矩阵为I’。
12.根据权利要求10所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(3)对经过轮廓检测的图片进行文字预处理，具体为：
(3.1)对前景矩阵Mtext进行逐行扫描，确定行的个数以及每行的起始和终止位置；
(3.2)进行行内纵扫描以确定文字范围，从而得到分离后的文字矩形集合；
(3.3)将分离后的文字矩形集合中的文字矩形按照从上到下，从左到右的顺序排序，形成字符集并输出。
13.根据权利要求12所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(3.1)对前景矩阵Mtext进行逐行扫描，确定行的个数以及每行的起始和终止位置，具体为：对掩码矩阵Mtext进行间距为1的横向扫描线Reduction操作，根据每一行为1的像素数量，得出自变量为行索引的方波曲线，将每一个方波脉冲的范围[x0,x1]作为一行的行索引范围，从而检测到行的位置。
14.根据权利要求12所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(3.2)进行行内纵扫描以确定文字范围，从而得到分离后的文字矩形集合，具体为：对每一行进行列间距为1的纵向扫描线操作，得出列索引为自变量的曲线；将曲线范围正规化至[0,1]区间，并将小于0.05的值设置为0，根据方波脉冲波谷的位置确定文字之间的边界，从而得到分离后的文字矩形集合。
15.根据权利要求1所述的一种财务报销全票据智能审核系统，其特征在于：所述步骤(4.1)构建文字识别所用的神经网络模型结构，采用深度卷积神经网络。
16.根据权利要求1所述的一种财务报销全票据智能审核系统，其特征在于：所述构建训练集具体为：使用绘图指令以制定的字体在32*32位图中绘制标签字符；将前景矩阵Mtext转换为32*32的布尔掩码矩阵M’，将所有数据进行序列化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710399047.3A CN107067044B (zh) | 2017-05-31 | 2017-05-31 | 一种财务报销全票据智能审核系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710399047.3A CN107067044B (zh) | 2017-05-31 | 2017-05-31 | 一种财务报销全票据智能审核系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107067044A CN107067044A (zh) | 2017-08-18 |
| CN107067044B true CN107067044B (zh) | 2024-03-29 |
Family
ID=59615610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710399047.3A Active CN107067044B (zh) | 2017-05-31 | 2017-05-31 | 一种财务报销全票据智能审核系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107067044B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067044B (zh) * | 2017-05-31 | 2024-03-29 | 北京空间飞行器总体设计部 | 一种财务报销全票据智能审核系统 |
| CN108304815B (zh) * | 2018-02-08 | 2021-07-02 | 百度在线网络技术（北京）有限公司 | 一种数据获取方法、装置、服务器及存储介质 |
| CN108364024B (zh) * | 2018-02-11 | 2021-05-07 | 金蝶软件（中国）有限公司 | 图像匹配方法、装置、计算机设备和存储介质 |
| US10795752B2 (en) * | 2018-06-07 | 2020-10-06 | Accenture Global Solutions Limited | Data validation |
| CN109325415A (zh) * | 2018-08-22 | 2019-02-12 | 吴昌议 | 一种基于图像列对齐特征预测所有目标区域的方法 |
| CN109255881B (zh) * | 2018-09-29 | 2021-07-20 | 北京单多啦科技有限公司 | 一种票据自动归档系统及归档方法 |
| CN111209924B (zh) * | 2018-11-19 | 2023-04-18 | 零氪科技（北京）有限公司 | 一种用于对医嘱进行自动提取的系统及应用 |
| CN109934554A (zh) * | 2019-01-29 | 2019-06-25 | 远光软件股份有限公司 | 一种审批发票的方法、电子终端以及存储介质 |
| CN110097329B (zh) * | 2019-03-16 | 2023-11-14 | 平安科技（深圳）有限公司 | 信息审核方法、装置、设备及计算机可读存储介质 |
| CN110197140B (zh) * | 2019-05-16 | 2023-05-26 | 武汉邦拓信息科技有限公司 | 基于文字识别的材料审核方法及设备 |
| CN110188336B (zh) * | 2019-05-27 | 2022-06-10 | 厦门商集网络科技有限责任公司 | 一种基于oa申请单生成报销单的方法和装置 |
| CN110348346A (zh) * | 2019-06-28 | 2019-10-18 | 苏宁云计算有限公司 | 一种票据分类识别方法及系统 |
| CN110472524B (zh) * | 2019-07-25 | 2022-09-13 | 广东工业大学 | 基于深度学习的发票信息管理方法、系统和可读介质 |
| CN111325247B (zh) * | 2020-02-10 | 2022-08-02 | 浪潮通用软件有限公司 | 一种基于最小二乘支持向量机的智能稽核的实现方法 |
| CN111462388A (zh) * | 2020-03-19 | 2020-07-28 | 广州市玄武无线科技股份有限公司 | 一种票据检验方法、装置、终端设备及存储介质 |
| CN111459975B (zh) * | 2020-03-31 | 2023-05-23 | 重庆远见金税通信息系统技术有限公司 | 一种企业报销用票据核验系统及方法 |
| CN111598122B (zh) * | 2020-04-01 | 2022-02-08 | 深圳壹账通智能科技有限公司 | 数据校验方法、装置、电子设备和存储介质 |
| CN111666885A (zh) * | 2020-06-08 | 2020-09-15 | 成都知识视觉科技有限公司 | 一种医疗单证结构化知识提取的模板构建与匹配方法 |
| CN111883240A (zh) * | 2020-08-04 | 2020-11-03 | 兵器工业卫生研究所 | 一种用于医学检验的方法学评估系统 |
| US11429804B2 (en) * | 2020-09-18 | 2022-08-30 | Google Llc | Platform for registering and processing visual encodings |
| CN112650094B (zh) * | 2020-09-28 | 2022-01-11 | 中国电建集团财务有限责任公司 | 智能财务机器人及ai控制系统 |
| CN112364645A (zh) * | 2020-10-29 | 2021-02-12 | 浪潮通用软件有限公司 | 一种自动审核erp财务系统业务单据的方法及设备 |
| CN112347201B (zh) * | 2020-11-26 | 2021-05-18 | 德联易控科技(北京)有限公司 | 信息处理方法、信息处理装置及终端设备 |
| CN112884080A (zh) * | 2021-03-30 | 2021-06-01 | 杭州职业技术学院 | 一种财务用报销数据分类系统及方法 |
| CN113643005B (zh) * | 2021-10-13 | 2022-01-28 | 南昌志达科技有限公司 | 一种自助报销方法及装置 |
| CN114662462A (zh) * | 2022-03-10 | 2022-06-24 | 江西工程学院 | 一种会计数据处理方法及系统 |
| CN115222498B (zh) * | 2022-07-20 | 2023-04-18 | 北京令才科技有限公司 | 多元数组的比对打包配置的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793990A (zh) * | 2012-11-02 | 2014-05-14 | 航天信息股份有限公司 | 发票的验证方法和系统 |
| CN106228441A (zh) * | 2016-08-03 | 2016-12-14 | 北京天职信息技术有限公司西安分公司 | 一种基于网络的财务发票报销上传审核方法 |
| WO2017037138A1 (en) * | 2015-08-31 | 2017-03-09 | I.R.I.S. | Method for processing information from a hand-held scanning device |
| CN107067044A (zh) * | 2017-05-31 | 2017-08-18 | 北京空间飞行器总体设计部 | 一种财务报销全票据智能审核系统 |
-
2017
- 2017-05-31 CN CN201710399047.3A patent/CN107067044B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793990A (zh) * | 2012-11-02 | 2014-05-14 | 航天信息股份有限公司 | 发票的验证方法和系统 |
| WO2017037138A1 (en) * | 2015-08-31 | 2017-03-09 | I.R.I.S. | Method for processing information from a hand-held scanning device |
| CN106228441A (zh) * | 2016-08-03 | 2016-12-14 | 北京天职信息技术有限公司西安分公司 | 一种基于网络的财务发票报销上传审核方法 |
| CN107067044A (zh) * | 2017-05-31 | 2017-08-18 | 北京空间飞行器总体设计部 | 一种财务报销全票据智能审核系统 |
Non-Patent Citations (2)
| Title |
|---|
| 劳卫伦等.面向财务共享服务的电子影像系统设计.大众用电.2016,2-3. * |
| 吴凡 ; 韩笑 ; 李剑谓 ; .供电企业支付融合智能票据管理系统设计与实现.自动化技术与应用.2017,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107067044A (zh) | 2017-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107067044B (zh) | 一种财务报销全票据智能审核系统 | |
| CN107194400B (zh) | 一种财务报销全票据图片识别处理方法 | |
| CN109840519B (zh) | 一种自适应的智能单据识别录入装置及其使用方法 | |
| US10685462B2 (en) | Automatic data extraction from a digital image | |
| CN108960223B (zh) | 基于票据智能识别自动生成凭证的方法 | |
| EP1854051B1 (en) | Intelligent importation of information from foreign application user interface using artificial intelligence | |
| CN112651289B (zh) | 一种增值税普通发票智能识别与校验系统及其方法 | |
| CN113780087B (zh) | 一种基于深度学习的邮政包裹文本检测方法及设备 | |
| CN112508011A (zh) | 一种基于神经网络的ocr识别方法及设备 | |
| CN206975668U (zh) | 一种财务报销全票据智能审核系统 | |
| CN113158895B (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| Caldeira et al. | Industrial optical character recognition system in printing quality control of hot-rolled coils identification | |
| US11436852B2 (en) | Document information extraction for computer manipulation | |
| CN112069900A (zh) | 基于卷积神经网络的票据文字识别方法及系统 | |
| Sharma et al. | Automatic number plate recognition and parking management | |
| CN112508000A (zh) | 一种用于ocr图像识别模型训练数据生成的方法及设备 | |
| Shi et al. | An invoice recognition system using deep learning | |
| CN111414889B (zh) | 基于文字识别的财务报表识别方法及装置 | |
| Feng et al. | Study of recognition of electronic invoice image | |
| Wattar | Analysis and Comparison of invoice data extraction methods | |
| Zheng et al. | Recognition of expiry data on food packages based on improved DBNet | |
| CN116229493B (zh) | 跨模态的图片文本命名实体识别方法、系统及电子设备 | |
| CN112115949B (zh) | 一种烟草证件以及订单的光学文字识别方法 | |
| Barve | Artificial neural network based on optical character recognition | |
| Shaikh et al. | Handwritten Text Recognition of Document Form Using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |