CN112395995A - 一种根据移动财务票据自动填单及审核的方法及系统 - Google Patents

Abstract

本发明提出一种根据移动财务票据自动填单及审核的方法，该方法包括：获取用户上传的票据图片；基于预先训练的票据内容识别模型，识别并获取所述票据图片的票据内容；根据所述票据的票据内容，基于预先训练的相应内容所对应的信息区域识别模型，识别并自动填入对应信息区间。基于所述的信息区间与识别内容的匹配结果，自动完成相关审核。本发明还公开了相应的系统。实施本发明，能够高效、准确地完成自动填单及审核相关功能。各种票据上记载的信息，自动识别出相关关键信息，并且根据与相关训练模型的逻辑关系，从而完成自助填单及审核功能。

Description

一种根据移动财务票据自动填单及审核的方法及系统

技术领域

本发明涉及票据的自动识别技术领域，尤其涉及一种根据移动财务票据自动填单及审核的方法及系统。

背景技术

随着经济的不断发展，人们的消费水平不断的提高，为了维护人们的消费权益，票据成为了消费者的有力保障以及有效的报销凭证，但是每当报销时，付过多的票据，以及复杂的票据信息，每当填制报销单时总需要耗费较多时间，并且不可避免的存在漏填错填的相关情况，目前虽然可以通过人工智能自动识别票据中的相关信息，但是现有技术中一次只能识别一张票据的信息，当票据较多时，仍然需要花费较多时间和精力逐个进行票据识别。并且很难完成自助填单审核。

发明内容

本发明所要解决的技术问题在于，提供一种根据移动财务票据自动填单及审核的方法及系统，可以实施自动、高效且准确地实现对账务票据自动填单及审核。

为解决上述技术问题，本发明的一方面，提供一种根据移动财务票据自动填单及审核的方法，其包括如下步骤：

步骤S10，获取用户上传的票据图片；

步骤S11，基于预先训练的票据内容识别模型，识别并获取所述票据图片的票据内容；

步骤S12，根据所述票据的票据内容，基于预先训练的相应内容所对应的信息区域识别模型，识别并自动填入对应信息区间；

步骤S13，基于所述的信息区间与识别内容的匹配结果，自动完成相关审核。

优选地，所述步骤S11进一步包括：

识别票据图片上的一个或多个单据区域中的每个单据区域，对每个单据区域进行切割并获取每个单据的图片，之后将每个单据的图片分别输入所述信息区域识别模型进行处理。

优选地，所述步骤S11进一步包括：

在切割并获取所述一个或多个区域中的每个区域的图片步骤后，响应于相对于水平线有倾斜的矩形，对所述每个区域的图片进行倾斜校正处理，并将处理后的每个区域的图片输入所述OCR识别模型，来识别所述一个或多个区域中的每个区域中的字符。

优选地，步骤S11进一步包括：

根据所述OCR识别模型，基于所述一个或多个区域中的每个区域的图片以及其在整张单据中的位置，来识别所述一个或多个区域中的每个区域中的字符。

优选地，所述步骤S12进一步包括：

基于所述单据的图片和所述信息区域识别模型，还识别与所述一个或多个区域中的每个区域相关联的信息的信息类型；以及

基于识别出的与所述一个或多个区域中的每个区域相关联的信息的所述信息类型、以及识别出的所述一个或多个区域中的每个区域中的所述字符，来确定所述单据上记载的信息。

优选地，所述步骤S12进一步包括：

根据识别出的信息与对应信息区域的逻辑关系，自动完成填单，包括：

接收传入的票据图像，对图像解压、预处理后进行光学字符识别后调用分类器对不同票据别的凭证自动分类，确定识别出的字符的具体含义；

对识别结果进行结果校验，并输出XML格式的结果文件；

通过解析XML文件，把识别文字填入到相应位置，实现自动填单；

在自动完成填单后，系统自动校验相应逻辑关系，从而完成相关信息系统的审核。

优选地，在所述步骤S11中使用移动设备自带的摄像头做图像采集；

对图像进行预处理，进一步包括三维透视失真校正、同态滤波、颜色滤波、图像膨胀腐蚀算法以改善图像质量。

优选地，进一步包括：

基于所述票据上记载的信息以及预先训练的报销模型自动生成报销票据。

相应地，本发明的另一方面，还提供一种根据移动财务票据自动填单及审核的系统，其包括一个或多个处理器；以及一个或多个存储器，被配置为存储一系列计算机可执行的指令，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如前述的方法。

实施本发明，具有如下的有益效果：

本发明实施例提供一种根据移动财务票据自动填单及审核的方法及系统，通过设置基于神经网络的信息区域识别模型以及OCR识别模型，并进行预先训练，可以实现对票据进行识别并自动填入对应信息区间；基于所述的信息区间与识别内容的匹配结果，自动完成相关审核。提高了对票据识别、填写及审核的速度以及准确率，提高了工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明提供的一种基于移动财务票据自动填单及审核的检验方法的一个实施例的主流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

为使本领域的普通技术人员更加清楚地理解发明的目的、技术方案和优点，以下结合附图和实施例对发明做进一步的阐述。

请参考图1，示出了本发明提供的一种根据移动财务票据自动填单及审核的方法的一个实施例的主流程图。在本实施例中，所述方法包括如下步骤：

步骤S10：获取用户上传的票据图片；

步骤S11：基于预先训练的票据内容识别模型，识别并获取所述票据图片的票据内容；

步骤S12：根据所述票据的票据内容，基于预先训练的相应内容所对应的信息区域识别模型，识别并自动填入对应信息区间；

步骤S13：基于所述的信息区间与识别内容的匹配结果，自动完成相关审核。

应当理解，本公开所称的“票据”是指在其上记载有信息的实体，这些信息以一些模式被布置在票据上，并由中文字、外文字、数字、符号、图形等中的一种或多种形式来承载。本公开所称的“票据”的一些具体示例可以是，发票、账单、税单、收据、购物清单、餐饮小票、保险单、报销单、存款流水单、信用卡对账单、快递单、行程单、车票、登机牌、专利公开文本的信息页、选票、调查问卷、评价表、签到表、申请表等各种由人工和/或机器填写的票据。其中，报销单可以视为包含有多张发票并粘帖在一张纸张上的票据形式。本领域技术人员可以理解，本公开所称的“票据”不限于本文所列出的这些具体示例，而且不限于与金融或商业有关的票据，也不限于其上带有公章的票据，可以是带有打印字体的票据也可以是带有手写字体的票据，可以是具有规定和/或通用格式的票据也可以不是具有规定和/或通用格式的票据。非常规财务票据包括：财务收据、合同关键页、保函、缴款通知书、预算文件、验收证明、签到表、签收表、完工证明等，具有类别多和结构不一的特征。

在步骤S11中，使用移动设备自带的摄像头做图像采集，而非传统的扫描仪、快拍仪设备。这样做的优势在于图像采集设备获取容易、携带方便，有利于移动办公。可是，从采集的图像质量来看，移动设备的劣势也很明显，如非刚性定标容易造成透视失真，闪光灯容易造成光照不均等。因此，除了传统的票据图像预处理(如框线检测、纠偏、去噪、阈值分割)之外，还加入了三维透视失真校正、同态滤波、颜色滤波、图像膨胀腐蚀算法以改善图像质量。

在步骤S11中，识别出票据上的一个或多个待识别信息区域中的每个区域中的字符，就可以根据这些字符所承载的信息来确定票据上记载的信息。例如，每个待识别信息区域至少包括该区域中所包含的字符的最小边界框所包围的区域。在一些实施例中，输入到预先训练的字符识别模型的是所述一个或多个待识别信息区域中的每个区域的图片以及其在整张票据中的位置，从而通过字符识别模型来识别出一个或多个待识别信息区域中的每个区域中的字符。

票据的图片是指以可视化方式呈现的票据，例如票据的图片、视频等。对票据上的一个或多个区域中的每个区域进行识别包括识别出区域的边界。例如，在区域的边界以平行于水平线的矩形来界定的情况下，可以通过确定该矩形的至少两个顶点来确定该区域。在区域的边界以相对于水平线有倾斜的矩形来界定的情况下，可以通过确定该矩形的至少三个顶点来确定该区域。可以使用基于R-CNN的对象检测方法、基于YOLO的对象检测方法、基于原始检测目标的文本检测(例如基于字符、基于单词、基于文本行等)、基于目标边界框的形状的文本检测(水平或接近水平的文本检测、多导向的文本检测等)。

在一些实施例中，提取的凭证特征包括静态文本(StaticText)、特殊符号(Checkmark)、分隔符(Seperator)、条码/二维码(Barcode)、空白区域(WhiteGap)等。在对票据进行OCR识别后，需要设计模板对凭证进行版面分析，以确定识别出的字符的具体含义。传统的做法是设计一个固定模板对凭证信息进行框选，用户拍摄时将固定目标对准凭证图像。然而移动设备的屏幕通常较小，套不准的情况经常发生，不仅影响识别率也降低了用户体验。其次，固定模板仅适用于结构固定、元素位置相对不变的凭证，而实际应用时即使同类凭证的版面结构也并不是一成不变的。定义了规则描述整个版面结构，通过约束各个元素之间的关系，设计能自动适应不同版面结构的弹性模板。

在一些实施例中，需要将每个待识别信息区域的位置输入到字符识别模型以识别区域中的字符。区域的位置可以是能够表示这个区域在票据中的位置的任何形式，例如，区域的位置可以是区域的顶点(一个或多个)在票据中的坐标(绝对或相对坐标)，也可以是区域的顶点(一个或多个)在票据中的坐标(绝对或相对坐标)和边长(一个或多个)，还可以是区域的中心(一个或多个)在票据中的坐标(绝对或相对坐标)和半径(一个或多个)。每个区域中的字符可以是中文字、外文字、数字、符号、图形等中的一种或多种。

在一些实施例中，所述步骤S12进一步包括：将一个或多个区域中的每个待识别信息区域的图片输入到字符识别模型，以识别该区域中的字符。所述一个或多个区域中的每个区域的图片是由平行于水平线的矩形或相对于水平线有倾斜的矩形来界定的。以上界定的标准是根据整张票据在图片中处于水平或倾斜状态来决定的，当票据呈现倾斜或扭曲等状态时，通过信息区域识别模型识别出的一个或多个区域中的每个区域也会呈现出水平或倾斜等不同状态。

在一些情况下，例如，在区域的边界以相对于水平线有倾斜的矩形来界定的情况下，还可以对各个区域的图片进行倾斜校正，以使得输入到字符识别模型的区域的图片为经过倾斜校正后的图片。例如，可以通过确定用来界定区域的边界的相对于水平线有倾斜的矩形相对于水平线的所倾斜的角度，然后将该区域的图片旋转该角度，以使得用来界定区域的边界的矩形平行于水平线，从而进行倾斜校正。所述倾斜角度可以根据界定区域边界的矩形顶点坐标计算得到。

在一些情况下，所述步骤S12进一步包括：接收传入的票据图像，对图像解压、预处理后进行光学字符识别后调用分类器对不同票据别的凭证自动分类，确定识别出的字符的具体含义；最后，对识别结果进行结果校验，并输出XML格式的结果文件。通过解析XML文件，就可以把识别文字填入到相应位置，达到自动填单的目的。根据识别出的信息与对应信息区域的逻辑关系，自动完成填单，系统自动校验相应逻辑关系，从而完成相关信息系统的审核。

根据本发明较佳实施例，所述票据类型识别模型是基于神经网络的模型，所述信息区域识别模型是基于神经网络的模型，所述字符识别模型是基于神经网络的模型。

本发明利用基于神经网络的模型，先识别出待识别的票据的图片中一个或多个票据区域，接着识别出每个票据图片中的一个或多个区域，再识别出每个区域中的字符，从而来识别每个票据上记载的信息，如此，能够高效并准确地识别出各种票据上记载的信息。例如，对于分辨率不高的、歪斜的、字迹模糊的、有污损的、纸张褶皱的、填写(由人工和/或机器)位置不规范等的票据的图片，利用本公开的方法和下文将描述的系统均可以进行识别。

所述票据类型识别模型通过如下过程得到：对第一票据图片样本训练集中的每个票据的图片样本进行标注处理，以标注出每个票据图片样本的票据类型；以及通过经过所述标注处理的所述第一票据图片样本训练集，对第一神经网络进行训练，以得到所述票据类型识别模型。所述第一神经网络是基于目标检测算法(Detection)的神经网络建立的，在一些实施例中，所述第一神经网络是基于卷积神经网络(CNN)、RCNN、或Mask-RCNN等模型建立的。

信息区域识别模型可以通过如下过程得到：对第二票据图片样本训练集中的每个票据图片样本进行标注处理，以标注出每个票据图片样本中的一个或多个待识别信息区域中的每个区域，一个或多个待识别信息区域中的每个区域与票据图片样本中的全部或部分信息相关联；以及通过经过标注处理的第二票据图片样本训练集，对第一神经网络进行训练，以得到信息区域识别模型。对第二神经网络进行训练还可以包括：基于第二票据图片样本测试集，对经过训练的第二神经网络的输出准确率进行测试；若输出准确率小于预定的第一阈值，则增加第二票据图片样本训练集中的票据图片样本的数量，所增加的票据图片样本中的每个票据图片样本均经过标注处理；以及通过增加了票据图片样本的数量之后的第二票据图片样本训练集，重新对第二神经网络进行训练。然后基于第二票据图片样本测试集对重新训练过的第二神经网络的输出准确率再次进行测试，直到第二神经网络的输出准确率满足要求即不小于预定的第一阈值为止。如此，输出准确率满足要求的第二神经网络可以用作上述识别过程中的经过训练的信息区域识别模型。

所述票据类型识别模型和信息区域识别模型采用相同的训练和测试流程，并且可以合并在一次训练或者测试流程中完成。

字符识别模型可以通过如下过程得到：对第三票据图片样本训练集中的每个票据图片样本进行标注处理，以标注出每个票据图片样本中的一个或多个待识别信息区域中的每个区域以及每个区域中的字符，一个或多个待识别信息区域中的每个区域与票据图片样本中的全部或部分信息相关联；以及通过经过标注处理的第三票据图片样本训练集，对第三神经网络进行训练，以得到字符识别模型。在一些实施例中，基于第三票据图片样本训练集中的票据的图片以及票据上的一个或多个区域中的每个区域的位置，对第三神经网络进行训练以得到字符识别模型。在一些实施例中，基于第三票据图片样本训练集中的票据上的一个或多个区域中的每个区域的图片，对第二神经网络进行训练以得到字符识别模型。在这些实施例的一些情况下，例如，在区域的边界以相对于水平线有倾斜的矩形来界定的情况下，输入到第三神经网络以进行训练的区域的图片为经过倾斜校正后的图片。例如，可以通过确定用来界定区域的边界的相对于水平线有倾斜的矩形相对于水平线的所倾斜的角度，然后将该区域的图片旋转该角度，以使得用来界定区域的边界的矩形平行于水平线，从而进行倾斜校正。所述倾斜角度可以根据界定区域边界的矩形顶点坐标计算得到。在一些实施例中，第三神经网络是基于递归神经网络(RNN)建立的。

对第三神经网络进行训练还可以包括：基于第三票据图片样本测试集，对经过训练的第三神经网络的输出准确率进行测试；若输出准确率小于预定的阈值，则增加第三票据图片样本训练集中的票据图片样本的数量，所增加的票据图片样本中的每个票据图片样本均经过标注处理；以及通过增加了票据图片样本的数量之后的第三票据图片样本训练集，重新对第三神经网络进行训练。然后基于第三票据图片样本测试集对重新训练过的第三神经网络的输出准确率再次进行测试，直到第三神经网络的输出准确率满足要求即不小于预定的阈值为止。如此，输出准确率满足要求的第三神经网络可以用作上述识别过程中的经过训练的字符识别模型。

与每个区域相关联的信息的信息类型可以是一种或多种类型。例如，当票据为某种申请表时，在一种情况下，与票据中的一个区域相关联的信息的信息类型可以是申请人姓名，与票据中的另一个区域相关联的信息的信息类型可以是身份证号码；在另一种情况下，与票据中的某个区域相关联的信息的信息类型可以是申请人姓名和身份证号码。例如，当票据为某种发票时，在一种情况下，与票据中的一个区域相关联的信息的信息类型可以是发票代号，与票据中的另一个区域相关联的信息的信息类型可以是税前金额；在另一种情况下，与票据中的某个区域相关联的信息的信息类型可以是发票代号和税前金额。与一个或多个区域中的不同区域相关联的信息的信息类型可以相同也可以不同。例如，当票据为购物清单时，在一种情况下，与多个不同的区域先关联的信息的信息类型都可以是所购买的商品。

在这些实施例中，所述票据类型识别模型通过如下过程得到：对第一票据图片样本训练集中的每个票据的图片样本进行标注处理，以标注出每个票据图片样本中的票据类型；以及通过经过所述标注处理的所述第一票据图片样本训练集，对第一神经网络进行训练，以得到所述票据类型识别模型。信息区域识别模型可以通过如下过程得到：对第二票据图片样本训练集中的每个票据图片样本进行标注处理，以标注出每个票据图片样本中的一个或多个区域中的每个待识别信息区域以及与每个区域相关联的信息的信息类型，一个或多个待识别信息区域中的每个区域与票据图片样本中的全部或部分信息相关联；以及通过经过标注处理的第二票据图片样本训练集，对第二神经网络进行训练，以得到信息区域识别模型。还可以基于第二票据图片样本测试集对训练过的第二神经网络的输出准确率进行测试，如果准确率不满足要求，即小于预定的第一阈值，则增加第二票据图片样本训练集中票据图片样本的数量之后重新对第二神经网络进行训练，直到第二神经网络的输出准确率满足要求即不小于预定的第一阈值为止。如此，输出准确率满足要求的第二神经网络可以用作上述识别过程中的经过训练的信息区域识别模型。

该方法还包括基于所述票据上记载的信息以及票据检验模型进行票据真实性和有效性识别。票据检验模型可以根据所述票据上记载的信息进行联网查询验证，其同时还可以研究检查发票是否重复出现，完成验重处理。

该方法还包括基于所述票据上记载的信息以收传入的票据图像，对图像解压、预处理后进行光学字符识别后调用分类器对不同票据别的凭证自动分类，确定识别出的字符的具体含义；最后，对识别结果进行结果校验，并输出XML格式的结果文件。通过解析XML文件，就可以把识别文字填入到相应位置，达到自动填单的目的。

在所述票据类型识别步骤前还包括对所述票据进行校正处理。可以在获取用户上传的票据图片后，识别票据边缘，然后进行校正处理。

该方法还包括基于所述票据上记载的信息以及预先训练的报销模型自动生成报销票据。报销模型可以根据不同的票据类型和票据上记载的信息自动生成报销单据，后期还可以进行自动财务审核，辅助财务人员进行结算支付工作等，提高财务人员的工作效率。

根据本公开的第二方面，提供了一种根据移动财务票据自动填单及审核的系统，包括：一个或多个处理器；以及一个或多个存储器，被配置为存储一系列计算机可执行的指令，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行前述的方法。

根据本公开的第三方面，提供了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如前述的方法。

实施本发明，具有如下的有益效果：

本发明实施例提供一种根据移动财务票据自动填单及审核的方法及系统，通过设置基于神经网络的信息区域识别模型以及OCR识别模型，并进行预先训练，可以实现对票据进行识别并自动填入对应信息区间；基于所述的信息区间与识别内容的匹配结果，自动完成相关审核。提高了对票据识别、填写及审核的速度以及准确率，提高了工作效率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种根据移动财务票据自动填单及审核的方法，其特征在于，包括如下步骤：

步骤S10，获取用户上传的票据图片；

步骤S11，基于预先训练的票据内容识别模型，识别并获取所述票据图片的票据内容；

步骤S12，根据所述票据的票据内容，基于预先训练的相应内容所对应的信息区域识别模型，识别并自动填入对应信息区间；

步骤S13，基于所述的信息区间与识别内容的匹配结果，自动完成相关审核。

2.根据权利要求1所述的方法，其特征在于，所述步骤S11进一步包括：

识别票据图片上的一个或多个单据区域中的每个单据区域，对每个单据区域进行切割并获取每个单据的图片，并将每个单据的图片分别输入所述信息区域识别模型进行处理。

3.据权利要求2所述的方法，其特征在于，所述步骤S11进一步包括：

在切割并获取所述一个或多个区域中的每个区域的图片步骤后，响应于相对于水平线有倾斜的矩形，对所述每个区域的图片进行倾斜校正处理，并将处理后的每个区域的图片输入所述OCR识别模型，来识别所述一个或多个区域中的每个区域中的字符。

4.根据权利要求3所述的方法，其特征在于，步骤S11进一步包括：

根据所述OCR识别模型，基于所述一个或多个区域中的每个区域的图片以及其在整张单据中的位置，来识别所述一个或多个区域中的每个区域中的字符。

5.根据权利要求4所述的识别方法，其特征在于，所述步骤S12进一步包括：

基于所述单据的图片和所述信息区域识别模型，还识别与所述一个或多个区域中的每个区域相关联的信息的信息类型；以及

基于识别出的与所述一个或多个区域中的每个区域相关联的信息的所述信息类型、以及识别出的所述一个或多个区域中的每个区域中的所述字符，来确定所述单据上记载的信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述步骤S12进一步包括：

根据识别出的信息与对应信息区域的逻辑关系，自动完成填单，包括：

接收传入的票据图像，对图像解压、预处理后进行光学字符识别后调用分类器对不同票据别的凭证自动分类，确定识别出的字符的具体含义；

对识别结果进行结果校验，并输出XML格式的结果文件；

通过解析XML文件，把识别文字填入到相应位置，实现自动填单；

在自动完成填单后，系统自动校验相应逻辑关系，从而完成相关信息系统的审核。

7.根据权利要求6所述的方法，其特征在于，在所述步骤S11中使用移动设备自带的摄像头做图像采集；

对图像进行预处理，进一步包括三维透视失真校正、同态滤波、颜色滤波、图像膨胀腐蚀算法以改善图像质量。

8.根据权利要求1所述的方法，其特征在于，进一步包括：

基于所述票据上记载的信息以及预先训练的报销模型自动生成报销票据。

9.一种根据移动财务票据自动填单及审核的系统，其特征在于，包括一个或多个处理器；以及一个或多个存储器，被配置为存储一系列计算机可执行的指令，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如1-8中任一项所述的方法。

Images