CN116798061A - 一种票据审核识别方法、装置、终端和存储介质 - Google Patents

Abstract

本发明公开了一种票据审核识别方法、装置、终端和存储介质，涉及图像识别领域，其技术方案要点是：基于第一票据图像建立包括至少一个票据定位模板的票据模板库；采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板；基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

Description

一种票据审核识别方法、装置、终端和存储介质

技术领域

本发明涉及一种图像识别领域，更具体地说，它涉及一种票据审核识别方法、装置、终端和存储介质。

背景技术

随着人工智能技术尤其是OCR(英文全称：Optical Character Recognition，中文全称：光学字符识别)技术逐渐被引入到智能财务发票信息采集系统中，利用OCR扫描识别技术自动采集增值税发票等票据上的信息，并汇总到表格中。这种方式与人工录入的方式相比，极大地减小了工作量。票据可以包括汇票、本票、支票、提单、存单等，每一张票据中包含有大量的票据信息，以票据中的发票为例，发票可以包括发票代码、发票号码、开票日期、购买方名称等票据信息。

由于票据的类别多种多样，而每种票据的版面布局、票面特征等表征票据的属性均是不同的，而现有技术大都采用票据字段、单位信息等信息在一张票据上的位置信息来建立票据的识别模版，并以此构建不同类别票据的模板库，进而通过票据的字段信息、开票的单位信息等在票据上的所在位置来匹配模板库内与之对应的模板，再基于匹配到的模版完成对票据图像的切片处理，最后基于OCR算法识别相应切片图像的字段，从而完成对票据内容的识别。

上述示例所述的现有技术并未考虑到在实际情况下，票据会因为类别的不同，其相邻位置之间的文字语义之间的关联关系也可能不同，若只是依据字段、开票单位信息等在票据上的位置来建立模板库，并以此建立不同类别票据的模板库，然后通过匹配的方式匹配出与待审核识别的票据图片的字段、开票单位信息相对应的识别模板，会导致匹配的模板并不是与待审核识别票据同属一个类别的票据，从而不能很好的完成对票据审核识别，并且依据字段、开票单位信息等在票据上的位置来建立模板库，并未考虑到每种票据的文本框的大小不一致的问题，这也会导致匹配的票据模块存在误差的问题，进而导致票据审核识别的准确度不高。

发明内容

本发明的目的是提供一种票据审核识别方法、装置、终端和存储介质，本发明考虑每种标准票据图像的特征区域的文本框尺寸信息以及关键信息特征，来构建票据定位模板的票据模板库，在此基础上，采用深度学习模型来提取待审核识别票据的图像中包含开票信息的至少一个特征候选框，并提取每个特征候选框内的关键信息特征和以及特征候选框的文本框尺寸信息特征，并依据这两个信息特征来匹配票据模板库中的票据定位模板，从而匹配出与待审核识别票据同一类型的票据定位模板，再依据票据定位模板完成对待审核识别票据图像的裁切，以获得待审核识别票据中包括票据字段的至少一个图像切片，最后利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果，最终，解决票据审核识别的精确度不高的问题。

本发明的第一方面，提供了一种票据审核识别方法，方法包括：

基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

在一种实现方案中，基于获取到的第一票据图像建立包括至少一个票据定位模板的票据模板库，具体为：

提取第一票据图像所包含的至少一个特征区域，并根据至少一个特征区域对应的票面特征匹配对应的开票信息，其中开票信息包括票据字段、票据类别及单位信息；

根据所述开票信息建立与所述第一票据图像对应的至少一个票据定位模板；

将至少一个所述票据定位模板与票据类型进行关联，以建立包括至少一个所述票据定位模板的票据模板库。

在一种实现方案中，采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，包括：

采用深度学习模型提取第二票据图像的开票信息，得到至少一个子特征候选框；

根据每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数，计算每个子特征候选框的中心点坐标；

根据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，得到包含开票信息的至少一个特征候选框。

在一种实现方案中，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，包括：

确定横坐标相同的中心点坐标所属的子特征候选框的开票信息的信息关联度，基于信息关联度剔除不满足阈值的子特征候选框；

或者，剔除重复的中心点坐标所属的子特征候选框。

在一种实现方案中，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，包括：

计算至少一个特征区域的标准文本框尺寸信息特征与至少一个特征候选框的文本框尺寸信息特征的至少一个尺寸相似度；

预设尺寸相似度阈值，遍历至少一个尺寸相似度与尺寸相似度阈值的比较结果，确定出符合尺寸相似度阈值的至少一个票据定位模板；

计算符合尺寸相似度阈值的至少一个票据定位模板的标准关键信息特征与关键信息特征的语义相似度，在语义相似度符合预设的语义相似度阈值时，从至少一个票据定位模板中确定对应的票据定位模板。

在一种实现方案中，关键信息特征包括发票号码、开票日期、购买方信息、货物或应税劳务、服务名称和规格型号、单位、数量、单价、金额、税率、税额、合计、价税合计、销售方信息、收款人、复核、开票人、销售方的一种或多种。

在一种实现方案中，基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的多个图像切片，包括：基于匹配到的票据定位模板中的至少一个特征区域对第二票据图像进行裁切处理，获得与至少一个特征区域一一对应的票据字段的至少一个图像切片。

本发明的第二方面，还提供了一种票据审核识别装置，系统包括：

模板库建立模块，用于基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

信息提取模块，用于采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

模板匹配模块，用于提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

图像切片模块，用于基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

审核识别模块，用于利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

本发明的第三方面，还提供了一种终端，所述终端包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面所述的一种票据审核识别方法。

本发明的第四方面，还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明的第一方面所述的一种票据审核识别方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明考虑每种标准票据图像的特征区域的文本框尺寸信息以及关键信息特征，来构建票据定位模板的票据模板库，在此基础上，采用深度学习模型来提取待审核识别票据的图像中包含开票信息的至少一个特征候选框，并提取每个特征候选框内的关键信息特征和以及特征候选框的文本框尺寸信息特征，并依据这两个信息特征来匹配票据模板库中的票据定位模板，从而匹配出与待审核识别票据同一类型的票据定位模板，再依据票据定位模板完成对待审核识别票据图像的裁切，以获得待审核识别票据中包括票据字段的至少一个图像切片，最后利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果，最终，解决票据审核识别的精确度不高的问题。

2、本发明还考虑在采用深度学习模型提取提取第二票据图像包含开票信息的至少一个特征候选框时，可能会出现多个互相重合的边框，其不仅会影响关于票据的开票信息的提取，且还会因为边框过多导致票据审核的整个过程耗时较多，影响审核识别的效率，故此，本发明针对深度学习模型提取开票信息所得到的至少一个子特征候选框作为原始的边框，然后每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数确定出每个子特征候选框的中心点坐标，再依据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，进而保证了边框整体的质量。

3、本发明在剔除不符合坐标参考系的中心点坐标所属的子特征候选框时，还考虑票据图像在横向距离上的相邻子特征候选框所包含的开票信息的信息关联度，以此来作为剔除标准，或者剔除重复的中心点坐标所属的子特征候选框，从而保证了候选特征框的唯一性，从而更加准确的匹配到与待审核识别票据相同的票据定位模版。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1示出了本发明实施例提供的一种票据审核识别方法的流程示意图；

图2示出了本发明实施例提供的一种票据审核识别系统的结构框图；

图3示出了本发明实施例提供的一种终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

需要理解的，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“至少一个”的含义是一个或两个以上，除非另有明确具体的限定。

请参考图1，图1示出了本发明实施例提供一种票据审核识别方法的流程示意图，如图1所示，其中，该方法可以应用于票据识别装置，方法包括以下步骤：

S110，基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像。

在一些实施例中，票据识别装置在执行S110之前，可以获取原始票据图像。其中，原始票据图像可以是高清数码图像或者其它图像，本申请实施例不限定，只要原始票据图像包含的至少一张票据中的文字信息清晰可见即可。其中，原始票据图像的颜色通道可以是彩色图像或灰度图像，本申请实施例不限定。

在一些实施例中，票据识别装置可以通过图像采集设备获取原始票据图像，原始票据图像可以包括至少一张票据。具体的，至少一张票据中的一个或多个票据可以为同种票据类型的票据。比如，若原始票据图像包括5张票据，这五张票据中可以有2张火车票据、1张汽车票据以及2张出租车票据，或者，这5张票据可以分别是增值税发票、火车票、定额发票、卷式发票、出租车发票，或者，这5张票据全部为火车票据，等等。其中，图像采集设备可以是摄像头、扫描仪、高拍仪、手机移动终端等任何具备获取票据图像功能的设备，本申请实施例不限定。

在具体的实现过程中，票据识别装置通过图像采集设备获取原始票据图像的方式，可以是票据识别装置接收图像采集设备发送的图像采集设备中的相册(图库)中存储原始票据图像，也可以是票据识别装置获取图像采集设备即时拍摄的原始票据图像。或者，若票据识别装置具备获取票据图像功能，票据识别装置可以即时拍摄贴有至少一张票据的图纸而获得原始票据图像。

在一些实施例中，票据识别装置可以对原始票据图像进行预处理，去除原始票据图像中的干扰信息，获得第一票据图像。可选的，该干扰信息可以包括但不限于高斯噪声、瑞利噪声、指数分布噪声、均匀分布噪声和椒盐噪声中的一个或多个，本申请实施例不限定。

在另外一些实施例中，票据识别装置可以获取其它设备发送的第一票据图像，换言之，第一票据图像为其它设备对原始票据图像进行干扰信息滤除处理后获得的。比如，票据识别装置可以将原始图像信息发送给其它设备，由其它设备对原始票据图像进行干扰信息滤除处理，获得第一票据图像，再由其它设备将第一票据图像发送给票据识别装置。或者，图像采集设备可以相册(图库)中存储的或即时拍摄的原始票据图像进行干扰信息滤除处理，获得第一票据图像后，将第一票据图像发送给票据识别装置。或者，图像采集设备可以相册(图库)中存储的或即时拍摄的原始票据图像发送给其它设备，由其它设备对原始票据图像进行干扰信息滤除处理，获得第一票据图像，再由其它设备将第一票据图像发送给票据识别装置。

本申请实施例中，通过滤除原始票据中的干扰信息，可以避免该干扰信息对后续识别至少一张票据图像信息的区域位置和类别的影响，可以提高识别至少一张票据图像信息的区域位置和类别的准确性。

进一步的，不同类型的标准票据具体为票据的种类、领域等，如商业保险报销单、医保报销单、医院报销发票以及保险公司理赔报销单据等，特征区域可包括但不限于以下信息对应于票据图像表面的区域，例如所属单位信息即票据上企业单位、医院等的全称或盖在票据上的财务印章中的单位全称，关键字可以包括省、市、县区等地区关键词，以及单位全称中的关键词，如XX医院、XX保险等，本领域技术人员可以根据具体的票据类别和所属单位信息的全称进行具体设置，此处不再赘述。其中，必要的票据字段包括医院或保险公司的名称字段、用户名字段、金额字段、药品的名称字段、日期字段等。

相应地，可以开发票据识别服务平台并提供票据识别业务，通过主动收集合作方(各地的医院、保险公司等)的各种类型的票据进行票面特征数据采集，确定不同单位的票据信息的分布特征，并建立对应不同票据的识别区域定位模板，同时将每个票据定位模板与对应票据的票据类别及所属单位信息等所处的特征区域进行关联，从而建立票据模板库。用户需要进行票据识别时，将拍摄或扫描的票据图片按照指定格式上传票据图像文件。系统自动识别票据的类别及所属单位信息所处的特征区域，并基于模板关联的特征区域在票据模板库中检索、匹配与该票据对应的票据定位模板。

S120，采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像。

具体的，本实施例的开票信息，即为特征区域所对应的信息，从而可获得至少一个特征候选框。深度学习模型可以是卷积神经网络模型，还可以是修改后的单发多功能检测器(Single Shot MultiBox Detector，SSD)深度卷积神经网络模型，具体的，这些模型都是本领域技术人员的公知技术，故此本实施例中不做详细的描述。

S130，提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像。

本实施例中，每个特征候选框都对应了票据的一个信息的单元，故此，提取出特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，并依据这两个信息特征来匹配票据模板库中的票据定位模板，从而匹配出与待审核识别票据同一类型的票据定位模板，提高模板匹配的准确度。

S140，基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片。

本实施例中，若用户上传的第二票据图像出现倾斜歪曲，可以通过现有的图像校正算法进行校正，以使票据图片的整体以及多个必要的票据字段能够与对应的票据定位模板中的特征区域一一对应。之后，对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；需要理解的是裁切处理是现有技术，此处不做多余叙述。

S150，利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

本实施例中，OCR算法是现有技术，此处对其的工作原理不做详细的叙述。每个图像切片均含有一些字段信息，例如对票据的信息是否符合要求进行审核，例如联系电话中间的小横线是否存在，中英文大小写是都符合标准，开票人是否是自然人等进行识别判断，在判断无误后，即可自动确定该票据审核通过，进一步的，作为本领域技术人员的常识，还可基于OCR算法生成票据的格式化内容，便于票据的自动录入，可以提高在财务报销过程中票据录入、校验等工作的效率，进一步，可以提高票据报销效率。

在一个实施例中，基于获取到的第一票据图像建立包括至少一个票据定位模板的票据模板库，具体为：提取第一票据图像所包含的至少一个特征区域，并根据至少一个特征区域对应的票面特征匹配对应的开票信息，其中开票信息包括票据字段、票据类别及单位信息；根据所述开票信息建立与所述第一票据图像对应的至少一个票据定位模板；将至少一个所述票据定位模板与票据类型进行关联，以建立包括至少一个所述票据定位模板的票据模板库。

本实施例中，每种票据都可以对应着一种票据类型，而每种票据类型都有各自需要录入的开票信息，例如车票、增值税发票等，相应地，每种票据类型的开票信息之间均是不同的，故此，依据开票信息建立与第一票据图像对应的至少一个票据定位模板，然后再基于票据定位模板来关联相应的票据类型，从而使得票据模板库的区分程度深层化，不再是依据字段信息、开票的单位信息等在票据上的所在位置来匹配模板库内与之对应的模板。

在一个实施例中，采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，包括：采用深度学习模型提取第二票据图像的开票信息，得到至少一个子特征候选框；根据每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数，计算每个子特征候选框的中心点坐标；根据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，得到包含开票信息的至少一个特征候选框。

具体的，本实施例还考虑在采用深度学习模型提取提取第二票据图像包含开票信息的至少一个特征候选框时，可能会出现多个互相重合的边框，其不仅会影响关于票据的开票信息的提取，且还会因为边框过多导致票据审核的整个过程耗时较多，影响审核识别的效率，故此，本发明针对深度学习模型提取开票信息所得到的至少一个子特征候选框作为原始的边框，然后每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数确定出每个子特征候选框的中心点坐标，再依据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，进而保证了边框整体的质量。

在一个实施例中，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，包括：确定横坐标相同的中心点坐标所属的子特征候选框的开票信息的信息关联度，基于信息关联度剔除不满足阈值的子特征候选框；或者，剔除重复的中心点坐标所属的子特征候选框。

进一步的，在上述提取特征候选框实施例的基础上，本实施例在剔除不符合坐标参考系的中心点坐标所属的子特征候选框时，还考虑票据图像在横向距离上的相邻子特征候选框所包含的开票信息的信息关联度，以此来作为剔除标准，或者剔除重复的中心点坐标所属的子特征候选框，从而保证了候选特征框的唯一性，从而可以更加准确的匹配到与待审核识别票据相同的票据定位模版。

在一个实施例中，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，包括：计算至少一个特征区域的标准文本框尺寸信息特征与至少一个特征候选框的文本框尺寸信息特征的至少一个尺寸相似度；预设尺寸相似度阈值，遍历至少一个尺寸相似度与尺寸相似度阈值的比较结果，确定出符合尺寸相似度阈值的至少一个票据定位模板；计算符合尺寸相似度阈值的至少一个票据定位模板的标准关键信息特征与关键信息特征的语义相似度，在语义相似度符合预设的语义相似度阈值时，从至少一个票据定位模板中确定对应的票据定位模板。

针对票据的具体类型，其不同类型之间的票据的票面格式(例如语义信息、文本框尺寸信息)是不同的，故此，针对这些不同，本实施例从文本框的尺寸信息出发，首先确定与标准文本框信息对应的至少一个票据定位模板，从而缩小模板的范围，然后在此基础上，计算每个特征候选框内的关键信息特征与票据定位模板的标准关键信息特征的语义相似度，在语义相似度符合预设的语义相似度阈值时，说明该票据定位模板与待审核识别票据是属于同一类型的，以此提高票据审核识别的准确度，从而解决现有技术中的：票据会因为类别的不同，其相邻位置之间的文字语义之间的关联关系也可能不同，若只是依据字段、开票单位信息等在票据上的位置来建立模板库，并以此建立不同类别票据的模板库，然后通过匹配的方式匹配出与待审核识别的票据图片的字段、开票单位信息相对应的识别模板，会导致匹配的模板并不是与待审核识别票据同属一个类别的票据，从而不能很好的完成对票据审核识别，并且依据字段、开票单位信息等在票据上的位置来建立模板库，并未考虑到每种票据的文本框的大小不一致的问题，这也会导致匹配的票据模块存在误差的问题，进而导致票据审核识别的准确度不高的问题。

在一个实施例中，关键信息特征包括但不限于发票号码、开票日期、购买方信息、货物或应税劳务、服务名称和规格型号、单位、数量、单价、金额、税率、税额、合计、价税合计、销售方信息、收款人、复核、开票人、销售方的一种或多种。

作为本领域技术人员的常识，关键信息特征除上述示例之外，还可以包括一些别的信息，本实施例不做具体的限制。

在一个实施例中，基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的多个图像切片，包括：基于匹配到的票据定位模板中的至少一个特征区域对第二票据图像进行裁切处理，获得与至少一个特征区域一一对应的票据字段的至少一个图像切片。

本实施例，票据识别装置可以基于票据定位模板中的至少一个特征区域对第二票据图像进行裁切处理，确定至少一张票据各自在第二票据图像中的四条边缘线，之后，可以基于至少一个特征区域各自在第二票据图像中的四条边缘线，将第二票据图像切分成至少一个特征区域各自对应的至少一个图像切片。示例性地，票据识别装置可以基于四个特征区域各自在第二票据图像中的区域位置，确定四个特征区域各自在第二票据图像中的四条边缘线，获得特征区域各自对应的矩形图像，即四条虚线构成的矩形图像，之后，可以按照这四个矩形图像将第二票据图像划分为四个特征区域各自对应的票据子图像。

基于同一发明构思，本发明实施例还提供一种票据审核识别装置，请参考图2所示，装置可以包括以下模块：

模板库建立模块210，用于基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

信息提取模块220，用于采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

模板匹配模块230，用于提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

图像切片模块240，用于基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

审核识别模块250，用于利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

本申请实施例中的票据审核识别装置，与上述图1所示的票据审核识别方法是基于同一构思下的发明，通过上述对票据审核识别方法的详细描述，本领域技术人员可以清楚的了解本实施例中的票据审核识别装置的实施过程，所以为了说明书的简洁，在此不再赘述。

相应地，本实施例提供的票据审核识别装置，考虑了每种标准票据图像的特征区域的文本框尺寸信息以及关键信息特征，来构建票据定位模板的票据模板库，在此基础上，采用深度学习模型来提取待审核识别票据的图像中包含开票信息的至少一个特征候选框，并提取每个特征候选框内的关键信息特征和以及特征候选框的文本框尺寸信息特征，并依据这两个信息特征来匹配票据模板库中的票据定位模板，从而匹配出与待审核识别票据同一类型的票据定位模板，再依据票据定位模板完成对待审核识别票据图像的裁切，以获得待审核识别票据中包括票据字段的至少一个图像切片，最后利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果，最终，解决票据审核识别的精确度不高的问题。本申请实施例中，通过上述各个模块之间的配合工作，可以能够自动、高效、准确的识别票据图像中各类票据，可以综合实现报销票据的分类、定位、内容识别和查验存储的全过程，可以提高审核识别的准确率以及票据报销效率。

本发明再一个实施例中，还提供了一种终端，请参考图3，图3示出了本申请实施例提供的一种终端的结构示意图。其中，终端400包括处理器310、存储器320、通信接口330和至少一个用于连接处理器310、存储器320、通信接口330的通信总线。存储器320包括但不限于是随机存储记忆体(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(PROM)或便携式只读存储器(CD-ROM)，该存储器320用于相关指令及数据。

通信接口330用于接收和发送数据。处理器310可以是一个或多个CPU，在处理器310是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。终端300中的处理器310用于读取存储器320中存储的一个或多个程序321，执行以下操作：基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

需要说明的是，各个操作的具体实现可以上述图1所示的方法实施例的相应描述，终端300可以用于执行本申请上述方法实施例的票据审核识别方法，在此不再具体赘述。

本发明再一个实施例中，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关票据审核识别方法的相应步骤。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种票据审核识别方法，其特征在于，方法包括：

基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

2.根据权利要求1所述的一种票据审核识别方法，其特征在于，基于获取到的第一票据图像建立包括至少一个票据定位模板的票据模板库，具体为：

提取第一票据图像所包含的至少一个特征区域，并根据至少一个特征区域对应的票面特征匹配对应的开票信息，其中开票信息包括票据字段、票据类别及单位信息；

根据所述开票信息建立与所述第一票据图像对应的至少一个票据定位模板；

将至少一个所述票据定位模板与票据类型进行关联，以建立包括至少一个所述票据定位模板的票据模板库。

3.根据权利要求1所述的一种票据审核识别方法，其特征在于，采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，包括：

采用深度学习模型提取第二票据图像的开票信息，得到至少一个子特征候选框；

根据每个子特征候选框的任意一个边角坐标和子特征候选框的长宽参数，计算每个子特征候选框的中心点坐标；

根据第二票据图像的长宽参数构建坐标参考系，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，得到包含开票信息的至少一个特征候选框。

4.根据权利要求3所述的一种票据审核识别方法，其特征在于，剔除不符合坐标参考系的中心点坐标所属的子特征候选框，包括：

确定横坐标相同的中心点坐标所属的子特征候选框的开票信息的信息关联度，基于信息关联度剔除不满足阈值的子特征候选框；

或者，剔除重复的中心点坐标所属的子特征候选框。

5.根据权利要求1所述的一种票据审核识别方法，其特征在于，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，包括：

计算至少一个特征区域的标准文本框尺寸信息特征与至少一个特征候选框的文本框尺寸信息特征的至少一个尺寸相似度；

预设尺寸相似度阈值，遍历至少一个尺寸相似度与尺寸相似度阈值的比较结果，确定出符合尺寸相似度阈值的至少一个票据定位模板；

计算符合尺寸相似度阈值的至少一个票据定位模板的标准关键信息特征与关键信息特征的语义相似度，在语义相似度符合预设的语义相似度阈值时，从至少一个票据定位模板中确定对应的票据定位模板。

6.根据权利要求5所述的一种票据审核识别方法，其特征在于，关键信息特征包括发票号码、开票日期、购买方信息、货物或应税劳务、服务名称和规格型号、单位、数量、单价、金额、税率、税额、合计、价税合计、销售方信息、收款人、复核、开票人、销售方的一种或多种。

7.根据权利要求1所述的一种票据审核识别方法，其特征在于，基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的多个图像切片，包括：基于匹配到的票据定位模板中的至少一个特征区域对第二票据图像进行裁切处理，获得与至少一个特征区域一一对应的票据字段的至少一个图像切片。

8.一种票据审核识别装置，其特征在于，系统包括：

模板库建立模块，用于基于第一票据图像建立包括至少一个票据定位模板的票据模板库，其中票据定位模板包含了至少一个特征区域对应的标准关键信息特征以及标准文本框尺寸信息特征，其中第一票据图像是指不同类型的标准票据的图像；

信息提取模块，用于采用深度学习模型提取第二票据图像包含开票信息的至少一个特征候选框，其中第二票据图像表示待识别票据的图像；

模板匹配模块，用于提取特征候选框内的关键信息特征以及特征候选框的文本框尺寸信息特征，根据关键信息特征和文本框尺寸信息特征从票据模板库中匹配对应的票据定位模板，其中第二票据图像表示待审核识别票据的图像；

图像切片模块，用于基于匹配到的票据定位模板对第二票据图像进行裁切处理，以获得第二票据图像中包括票据字段的至少一个图像切片；

审核识别模块，用于利用OCR算法对至少一个图像切片的字段信息的格式进行识别，确定待审核识别票据的审核结果。

9.一种终端，其特征在于，所述终端包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的一种票据审核识别方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一项所述的一种票据审核识别方法。