CN111489487B - 票据识别方法、装置、设备和存储介质 - Google Patents

Abstract

一种票据识别方法、票据识别装置、智能票据识别设备和非瞬时性计算机可读存储介质。票据识别方法包括：获得待识别的票据的图像；采用区域识别模型，识别图像中的各个字符区域；其中，各个字符区域为票据上的字符所在的区域；采用字符识别模型，识别各个字符区域中的每一字符区域中的字符内容；根据每一字符区域的字符内容，确定票据的时间信息、店铺名称以及付款金额；其中，根据每一字符区域的字符内容，确定票据的付款金额，包括：将包含至少一个预设关键词的字符内容所在的至少一个字符区域确定为至少一个关键词字符区域；根据至少一个关键词字符区域确定评分汇总区域；根据评分汇总区域中的字符内容，确定票据的付款金额。

Description

票据识别方法、装置、设备和存储介质

技术领域

本公开的实施例涉及一种票据识别方法、票据识别装置、智能票据识别设备和非瞬时性计算机可读存储介质。

背景技术

随着经济的不断发展，人们的消费水平不断的提高，为了维护人们的消费权益，票据成为了消费者的有力保障以及有效的报销凭证，因此财务人员每天需要处理大量的票据，获取票据上的相关信息，如开票时间、开票店铺、付款金额等。另外，也有越来越多的人通过记账分类统计以掌握自身的消费情况，目前人们通常是通过手动记录票据中相关信息的方式进行记账的。因此如何自动识别票据上的相关信息对财务人员以及有记账分类统计的个人来说是十分重要的。

发明内容

本公开至少一个实施例提供一种票据识别方法，包括：获得待识别的票据的图像；采用区域识别模型，识别所述图像中的各个字符区域；其中，所述各个字符区域为所述票据上的字符所在的区域，所述区域识别模型为基于神经网络的模型；采用字符识别模型，识别所述各个字符区域中的每一字符区域中的字符内容；其中，所述字符识别模型为基于神经网络的模型；根据所述每一字符区域的字符内容，确定所述票据的时间信息、店铺名称以及付款金额；其中，根据所述每一字符区域的字符内容，确定所述票据的付款金额，包括：将包含至少一个预设关键词的字符内容所在的至少一个字符区域确定为至少一个关键词字符区域；根据所述至少一个关键词字符区域确定评分汇总区域；根据所述评分汇总区域中的字符内容，确定所述票据的付款金额。

例如，在本公开至少一实施例提供的票据识别方法中，识别所述图像中的各个字符区域时，所述方法还包括：采用所述区域识别模型识别时间区域，并将所述时间区域进行标注，其中，所述时间区域为符合预设时间特征的字符区域；根据所述每一字符区域的字符内容，确定所述票据的时间信息，包括：根据所述时间区域的字符内容，确定所述票据的时间信息。

例如，在本公开至少一实施例提供的票据识别方法中，根据所述每一字符区域的字符内容，确定所述票据的店铺名称，包括：根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称。

例如，在本公开至少一实施例提供的票据识别方法中，当所述票据中包含图案时，所述方法还包括：采用所述区域识别模型，识别所述图像中图案所在的图案区域；根据所述图案区域判断店名数据库中是否存在与所述图案相匹配的店名图案；如果存在，则将与所述图案相匹配的店名图案对应的店铺名称确定为所述票据的店铺名称，如果不存在，则识别所述图案区域中的字符，如果所述图案区域中具有字符，则根据识别的所述图案区域中的字符作为所述票据的店铺名称；如果所述图案区域中没有字符，则根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称；其中，所述店名数据库中每一店名图案均标注有对应的店铺名称。

例如，在本公开至少一实施例提供的票据识别方法中，根据所述每一字符区域的字符内容，确定所述票据的店铺名称包括：根据所述每一字符区域的字符内容在店名数据库中进行搜索，若没有得到所述票据的店铺名称，则从所述每一字符区域的字符内容中确定店铺地址，将所述店铺地址作为所述票据的店铺名称。

例如，在本公开至少一实施例提供的票据识别方法中，从所述每一字符区域的字符内容中确定所述店铺地址，包括：若所述各个字符区域中的某一字符区域中出现用于标识地址的预设字符，则将所述预设字符后面的字符作为店铺地址；和/或，若所述各个字符区域中的某一字符区域中出现行政区域名称或者街道名称对应的字符，则将所述行政区域名称或者街道名称对应的字符作为店铺地址；将所述店铺地址作为所述票据的店铺名称，包括：选取所述店铺地址中用于表示较小区域的地址信息作为店铺名称。

例如，在本公开至少一实施例提供的票据识别方法中，根据所述评分汇总区域中的字符内容，确定所述票据的付款金额，包括：将所述评分汇总区域中的所有所述预设关键词组成待查询词组，从规则数据库中选择与所述待查询词组对应的目标金额确定规则；其中，所述规则数据库中存储有不同的多个待查询词组以及所述多个待查询词组对应的金额确定规则；根据所述目标金额确定规则，从所述评分汇总区域内的字符内容中确定所述票据的付款金额。

例如，在本公开至少一实施例提供的票据识别方法中，所述规则数据库中存储的金额确定规则为：指定所述待查询词组中的一预设关键词，并将所述一预设关键词对应的金额数值作为所述票据的付款金额；根据所述目标金额确定规则，从所述评分汇总区域的字符内容中确定所述票据的付款金额，包括：将所述目标金额确定规则所指定的预设关键词在所述评分汇总区域中对应的金额数值作为所述票据的付款金额。

例如，在本公开至少一实施例提供的票据识别方法中，将所述评分汇总区域中的所有所述预设关键词组成待查询词组，包括：将所述评分汇总区域中的所有所述预设关键词按照首字母排序的方式组成待查询词组。

本公开至少一实施例提供一种票据识别装置，包括：获得模块，用于获得待识别的票据的图像；第一识别模块，采用区域识别模型，识别所述图像中的各个字符区域；其中，所述各个字符区域为所述票据上的字符所在的区域，所述区域识别模型为基于神经网络的模型；第二识别模块，采用字符识别模型，识别所述各个字符区域中的每一字符区域中的字符内容；其中，所述字符识别模型为基于神经网络的模型；确定模块，用于根据所述每一字符区域的字符内容，确定所述票据的时间信息、店铺名称以及付款金额；其中，所述确定模块根据所述每一字符区域的字符内容，确定所述票据的付款金额，包括：将包含至少一个预设关键词的字符内容所在的至少一个字符区域确定为至少一个关键词字符区域；根据所述至少一个关键词字符区域确定评分汇总区域；根据所述评分汇总区域中的字符内容，确定所述票据的付款金额。

例如，在本公开至少一实施例提供的票据识别装置中，所述第一识别模块，还用于在识别所述图像中所述票据的各个字符区域时，采用所述区域识别模型识别时间区域，并将所述时间区域进行标注，其中，所述时间区域为符合预设时间特征的字符区域；所述确定模块根据所述每一字符区域的字符内容，确定所述票据的时间信息，包括：根据所述时间区域的字符内容，确定所述票据的时间信息。

例如，在本公开至少一实施例提供的票据识别装置中，所述确定模块根据所述每一字符区域的字符内容，确定所述票据的店铺名称，包括：根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称。

例如，在本公开至少一实施例提供的票据识别装置中，当所述票据中包含图案时，所述第一识别模块，还用于采用所述区域识别模型，识别所述图像中图案所在的图案区域；所述确定模块，还用于根据所述图案区域判断店名数据库中是否存在与所述图案相匹配的店名图案；如果存在，则将与所述图案相匹配的店名图案对应的店铺名称确定为所述票据的店铺名称，如果不存在，则识别所述图案区域中的字符，如果所述图案区域中具有字符，则根据识别的所述图案中的字符作为所述票据的店铺名称；如果所述图案区域中没有字符，则根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称；其中，所述店名数据库中每一店名图案均标注有对应的店铺名称。

例如，在本公开至少一实施例提供的票据识别装置中，所述确定模块根据所述每一字符区域的字符内容，确定所述票据的店铺名称包括：根据所述每一字符区域的字符内容在店名数据库中进行搜索，若没有得到所述票据的店铺名称，则从所述每一字符区域的字符内容中确定店铺地址，将所述店铺地址作为所述票据的店铺名称。

例如，在本公开至少一实施例提供的票据识别装置中，所述确定模块从所述每一字符区域的字符内容中确定店铺地址，包括：若所述各个字符区域中的某一字符区域中出现用于标识地址的预设字符，则将所述预设字符后面的字符作为店铺地址；和/或，若所述各个字符区域中的某一字符区域中出现行政区域名称或者街道名称对应的字符，则将所述行政区域名称或者街道名称对应的字符作为店铺地址；所述确定模块将所述店铺地址作为所述票据的店铺名称，包括：选取所述店铺地址中用于表示较小区域的地址信息作为店铺名称。

例如，在本公开至少一实施例提供的票据识别装置中，所述确定模块根据所述评分汇总区域中的字符内容，确定所述票据的付款金额，包括：将所述评分汇总区域中的所有所述预设关键词组成待查询词组，从规则数据库中选择所述待查询词组对应的目标金额确定规则；其中，所述规则数据库中存储有不同的多个待查询词组以及所述多个待查询词组对应的金额确定规则；根据所述目标金额确定规则，从所述评分汇总区域内的字符内容中确定所述票据的付款金额。

例如，在本公开至少一实施例提供的票据识别装置中，所述规则数据库中存储的金额确定规则为：指定所述待查询词组中的一预设关键词，并将所述一预设关键词对应的金额数值作为所述票据的付款金额；所述确定模块根据所述目标金额确定规则，从所述评分汇总区域的字符内容中确定所述票据的付款金额，包括：将所述目标金额确定规则所指定的预设关键词在所述评分汇总区域中对应的金额数值作为所述票据的付款金额。

例如，在本公开至少一实施例提供的票据识别装置中，所述确定模块将所述评分汇总区域中的所有所述预设关键词组成待查询词组，包括：将所述评分汇总区域中的所有所述预设关键词按照首字母排序的方式组成待查询词组。

本公开至少一实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的所述计算机程序时，实现上述任一实施例提供的所述的方法步骤。

本公开至少一实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例提供的所述的方法步骤。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A为本公开至少一实施例提供的一种票据识别方法的示意性流程图；

图1B为图1A所示的票据识别方法中的步骤S13的示意性流程图；

图2A为本公开至少一实施例提供的一种票据图像的示意图；

图2B为本公开至少一实施例提供的另一种票据图像的示意图；

图3A为本公开至少一实施例提供的一种票据图像的示意图；

图3B为本公开至少一实施例提供的另一种票据图像的示意图；

图4A为本公开至少一实施例提供的一种评分计算组的示意图；

图4B为本公开至少一实施例提供的另一种评分计算组的示意图；

图4C为本公开至少一实施例提供的又一种评分计算组的示意图；

图5A为本公开至少另一实施例提供的一种评分计算组的示意图；

图5B为本公开至少另一实施例提供的另一种评分计算组的示意图；

图6为本公开至少一实施例提供的一种票据识别装置的示意性框图；

图7为本公开至少一实施例提供的一种电子设备的示意性框图；

图8为本公开至少一实施例提供的一种智能票据识别设备的示意性框图；

图9为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图；

图10示出了为本公开至少一实施例提供的一种硬件环境的示意图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本公开至少一实施例提供一种票据识别方法、票据识别装置、智能票据识别设备和非瞬时性计算机可读存储介质。该票据识别方法包括：获得待识别的票据图像，其中，票据图像包括待识别的票据；利用区域识别模型识别票据图像，以得到多个字符区域；利用字符识别模型识别多个字符区域，以得到与多个字符区域对应的多个字符内容；根据多个字符内容，确定与待识别的票据对应的票据信息。票据信息包括目标信息，根据多个字符内容，确定与待识别的票据对应的票据信息，包括：根据多个字符内容，确定多个字符区域中与N个预设关键词对应的N个关键词字符区域；从多个字符区域中确定与N个关键词字符区域对应的M个候选字符区域；利用评分模型基于在票据图像中N个关键词字符区域和M个候选字符区域的距离和偏离角度进行评分，以确定与N个预设关键词对应的Q个字符内容；根据Q个字符内容，确定目标信息，其中，N、M和Q均为正整数。

本公开提供的票据识别方法，基于关键词的关键词字符区域和候选字符区域的距离和偏离角度进行评分，以确定多个字符区域中的多个字符内容中与关键词对应的字符内容，最后通过与关键词对应的字符内容确定待识别的票据中的票据信息，从而高效并准确地实现对票据上的票据信息的自动识别和显示，提高票据处理的效率，能够准确地确定关键词对应的字符内容，进而基于关键词对应的字符内容确定票据信息，提高了票据信息的获取的准确率和效率。例如，对于字符区域歪斜的、填写(由人工和/或机器)位置不规范等的票据图像，利用本公开的实施例的票据识别方法和票据识别装置均可以准确地识别出票据上的票据信息。

本公开实施例的票据识别方法可应用于本公开实施例的票据识别装置，该票据识别装置可被配置于电子设备上。该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等硬件设备。

下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。

图1A为本公开至少一实施例提供的一种票据识别方法的示意性流程图，图1B为图1A所示的票据识别方法中的步骤S13的示意性流程图。图2A为本公开至少一实施例提供的一种票据图像的示意图，图2B为本公开至少一实施例提供的另一种票据图像的示意图。

如图1A所示，该方法包括步骤S10至S13。首先，本公开的一实施例提供的票据识别方法在步骤S10，获得票据图像，其中，票据图像包括待识别的票据。

例如，在步骤S10中，票据图像可以为任何包括票据的图像，例如，如图2A和图2B所示，在一些实施例中，票据图像100可以为购物清单的图像。本公开不限于此，在另一些实施例中，票据图像100也可以为餐饮小票等。需要说明的是，票据图像100是指以可视化方式呈现票据的形式，例如票据的图片、视频等。

本公开所称的“待识别的票据”是指在其上记载有信息的实体，这些信息以一些模式被布置在票据上，并由中文字、外文字(例如，英文、日文、韩文、德文等)、数字、符号、图形等中的一种或多种形式来承载。本公开所称的“待识别的票据”的一些具体示例可以是，发票、账单、税单、收据、购物清单、餐饮小票等各种由人工和/或机器填写的票据。本领域技术人员可以理解，本公开所称的“待识别的票据”不限于本文所列出的这些具体示例，而且不限于与金融或商业有关的票据，可以是带有打印字体的票据也可以是带有手写字体的票据，可以是具有规定和/或通用格式的票据也可以不是具有规定和/或通用格式的票据。

例如，票据图像100中的待识别的票据的形状可以为矩形等规则形状，也可以为不规则形状。如图2A和图2B所示，购物清单的形状为矩形。值得注意的是，在本公开中，“票据的形状”表示票据的大体形状，例如，当票据的形状为矩形时，该矩形的每条边可能并不是一条直线段，而在图像中可能是具有细小的波浪形、锯齿形等形状的线段。

例如，票据图像100的形状也可以为矩形等。票据图像100的形状和尺寸等可以由用户根据实际情况自行设定。

例如，票据图像100可以为通过数码相机或手机拍摄的图像，票据图像100可以为灰度图像，也可以为彩色图像。例如，票据图像100可以为图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。例如，为了避免票据图像100的数据质量、数据不均衡等对于票据图像识别的影响，在处理票据图像100前，本公开的至少一实施例提供的票据图像识别方法还可以包括对票据图像100进行预处理的操作。预处理可以消除票据图像100中的无关信息或噪声信息，以便于更好地对票据图像100进行处理。

接下来，如图1A所示，在步骤S11，利用区域识别模型识别票据图像，以得到多个字符区域。

例如，区域识别模型可以采用机器学习技术实现并且例如运行在通用计算装置或专用计算装置上。该区域识别模型为预先训练得到的神经网络模型。例如，区域识别模型可以采用深度卷积神经网络(DEEP-CNN)等神经网络实现。将票据图像输入区域识别模型，区域识别模型可以识别出待识别的票据中的各个字符所在的区域，并将识别出的各个字符区域标注出来。

接下来，如图1A所示，在步骤S12，利用字符识别模型识别多个字符区域，以得到与多个字符区域对应的多个字符内容。

例如，字符识别模型可以基于光学字符识别等技术实现并且例如运行在通用计算装置或专用计算装置上，例如，字符识别模型也可以为预先训练好的神经网络模型。在一些实施例中，例如，识别得到的多个字符内容可能存在语义错误、逻辑错误等，因此，需要对字符识别模型识别得到的字符内容进行校验，纠正字符内容中的语义错误、逻辑错误等，以得到准确的字符内容。

例如，多个字符区域和多个字符内容一一对应。

例如，每个字符区域对应的字符内容包括至少一个字符，每个字符可以为单个中文字、单个外文字(例如，单个英文字母或单个英文单词等)、单个数字、单个符号、单个图形、单个标点符号等。

例如，每张票据记载的字符内容可以包括该票据的相关文字信息等，例如，当票据为发票时，票据的相关文字信息可以为开票公司的名称、地址等文字信息；当票据为购物小票时，票据的相关文字信息可以为购买商品的商店的名称、地址等文字信息。需要说明的是，该票据记载的字符内容还可以包括付款金额、找零金额、税等信息。

例如，如图2A所示，在该图2A所示的购物清单的票据图像上示出了该票据图像的多个字符区域(由多个矩形框示出的区域)，该多个字符区域包括与“SUBTOTAL”对应的字符区域、与“TOTAL”对应的字符区域、与“Cash”对应的字符区域、与“TOTAL PAYMENT”对应的字符区域、与“CHANGE”对应的字符区域、与“@hudson”对应的字符区域、与“LOGAN INT’LAIRPORT”对应的字符区域、与“300TERMINAL C”对应的字符区域、与“EAST BOSTON,MA02128”对应的字符区域等。例如，如图2B所示，在该图2B所示的购物清单的票据图像上示出了该票据图像的多个字符区域(由多个矩形框示出的区域)，该多个字符区域包括与“TAX”对应的字符区域、与“TOTAL AMOUNT”对应的字符区域、与“BALANCE”对应的字符区域、与“STORE#55”对应的字符区域、与“CHANGE”对应的字符区域、与“630CHAMPION DRIVECANTON,NC”对应的字符区域等。

需要说明的是，图2A示出的多个字符区域(由多个矩形框示出的区域)仅仅是该购物清单的票据图像中的部分字符区域，而不是该购物清单的票据图像的全部字符区域，例如，图2A所示的购物清单的票据图像还可以包括与“STORE:010”对应的字符区域等。类似地，图2B示出的多个字符区域(由多个矩形框示出的区域)仅仅是该购物清单的票据图像中的部分字符区域，而不是该购物清单的票据图像的全部字符区域，例如，图2B所示的购物清单的票据图像还可以包括与“Dell”对应的字符区域等。

例如，多个字符区域的形状可以均为矩形、圆形、菱形等规则形状，但不限定于此，多个字符区域的形状也可以为不规则形状。每个字符区域的具体尺寸根据该字符区域对应的字符内容确定。例如，图2A所示的多个字符区域的形状均为矩形，然而，与“SUBTOTAL”对应的字符区域的尺寸和与“TOTAL”对应的字符区域的尺寸不相同。

例如，每个字符区域对应的字符内容包括多个字符时，在该字符区域中，多个字符可以大致沿一条直线排列，例如，在一些实施例中，多个字符可以大致沿水平方向排列为一行或沿竖直方向排列为一列，水平方向与竖直方向彼此垂直，例如，如图2B所示，与“630CHAMPION DRIVE CANTON,NC”对应的字符区域中的多个字符(例如，字符“630”、字符“CHAMPION”、字符“DRIVE”、字符“CANTON”和字符“NC”)大致沿水平方向排列为一行。又例如，当字符区域对应的字符内容包括多个字符时，在该字符区域中，多个字符也可以排列为多行多列，例如，两行一列，一行两列等。

例如，多个字符区域可以彼此不交叠，或者也可以至少部分字符区域部分交叠。例如，图2A所示的多个字符区域彼此不交叠，而在图2B所示的示例中，与“STORE#55”对应的字符区域和与“630CHAMPION DRIVE CANTON,NC”对应的字符区域彼此部分交叠。本领域技术人员可以理解，图2A和图2B中示出的票据图像100仅仅是示意性的，其不能用来限制本公开，票据图像中的票据和字符区域等可以根据实际具体情况确定。

例如，在一些实施例中，识别得到多个字符区域后，可以直接利用字符识别模型对标注有字符区域的票据图像进行字符识别。例如，在步骤S12中，可以利用字符识别模型同时识别多个字符区域中的字符，以得到与多个字符区域一一对应的多个字符内容；又例如，利用字符识别模型可以分别识别多个字符区域中的每个字符区域中的字符，以得到与每个字符区域对应的字符内容，从而得到与多个字符区域一一对应的多个字符内容。也就是说，字符识别模型可以同时对所有字符区域进行字符识别，也可以分别对所有字符区域依次进行字符识别。

例如，在另一些实施例中，在识别得到多个字符区域后，可以切割并获取多个字符区域中的每个字符区域对应的字符图像。例如，在识别多个字符区域后，票据识别方法还包括：对于多个字符区域中的每个字符区域，对每个字符区域进行切割处理以得到与每个字符区域对应的字符图像，从而得到与多个字符区域一一对应的多个字符图像。例如，在将每个字符区域进行切割以得到字符图像后，步骤S12可以包括：通过字符识别模型识别多个字符图像，以得到与多个字符区域一一对应的多个字符内容。例如，可以通过字符识别模型同时识别与多个字符区域对应的多个字符图像，以得到与多个字符区域一一对应的多个字符内容；或者，也可以通过字符识别模型依次识别每个字符区域对应的字符图像，以得到与每个字符区域对应的字符内容，从而得到与多个字符区域一一对应的多个字符内容。也就是说，字符识别模型可以同时对所有字符图像进行字符识别，也可以分别对所有字符图像依次进行字符识别。

例如，待识别的票据中的字符可以是打印字体的字符，也可以是手写字体的字符，为了提高字符识别的准确率，针对不同字体采用不同的字符识别模型。字符识别模型可以包括针对打印字体的识别模型和针对手写字体的识别模型，针对打印字体的识别模型和针对手写字体的识别模型分别经过各自独立的训练而成，针对手写字体和打印字体可以采用不同的字符训练集来训练相应的字符识别模型。

接下来，如图1A所示，在步骤S13，根据多个字符内容，确定与待识别的票据对应的票据信息。

例如，票据信息包括目标信息。如图1B所示，步骤S13包括：

步骤S131：根据多个字符内容，确定多个字符区域中与N个预设关键词对应的N个关键词字符区域；

步骤S132：从多个字符区域中确定与N个关键词字符区域对应的M个候选字符区域；

步骤S133：利用评分模型基于在票据图像中N个关键词字符区域和M个候选字符区域的距离和偏离角度进行评分，以确定与N个预设关键词对应的Q个字符内容；

步骤S134：根据Q个字符内容，确定目标信息。

例如，N、M和Q均为正整数。N、M和Q的具体数值根据实际情况确定，本公开的实施例对此不作限定。

例如，在一些实施例中，目标信息为项目数量且由数字表示，M个候选字符区域每个内的字符内容为数字。

例如，在一些实施例中，目标信息可以包括付款金额、找零金额等信息，预设关键词用于表示付款区域中各个付款项目的项目名称，例如，预设关键词可以包括：小计、总计、现金、找零、折扣等，又如在国际票据中关键词可以包括：subtotal、total、ttl、tax、gratuity、cash、change、discount、service、payment、visa等等。根据每一字符区域的字符内容，可以确定包含预设关键词的关键词字符区域。

需要说明的是，预设关键词的数量和具体类型可以由用户预先设定。

例如，在一些实施例中，步骤S132包括：区域识别模型基于N个预设关键词，确定评分汇总区域；基于评分汇总区域，从多个字符区域中确定M个候选字符区域，其中，M个候选字符区域位于评分汇总区域内。

例如，评分汇总区域是由区域识别模型来确定的。在训练区域识别模型的过程中，可以根据人为标注的评分汇总区域后进行学习以建立训练后的区域识别模型，从而经过训练后的区域识别模型可以根据N个预设关键词直接找到并划分出评分汇总区域。

例如，在另一些实施例中，步骤S132包括：根据N个关键词字符区域，确定评分汇总区域；基于评分汇总区域，从多个字符区域中确定M个候选字符区域。

例如，M个候选字符区域位于评分汇总区域内。在识别字符区域时，区域识别模型会同时检测N个关键词字符区域的右侧和下侧一定区域(即评分汇总区域)内是否存在与数字字符对应的字符区域，若存在与数字字符对应的字符区域，则可以将数字字符对应的字符区域确定为候选字符区域。

例如，M可以大于N，也可以小于N，还可以等于N，M和N根据实际情况确定，本公开不作具体限定。

例如，根据N个关键词字符区域，确定评分汇总区域，包括：确定N个关键词字符区域的排列方向；确定N个关键词字符区域中的位于排列方向上的两端的第一个关键词字符区域和最后一个关键词字符区域；在排列方向上，沿第一个关键词字符区域远离最后一个关键词字符区域的方向延伸第一距离，以确定评分汇总区域的第一边界，沿最后一个关键词字符区域远离第一个关键词字符区域的方向延伸第二距离，以确定评分汇总区域的第二边界；根据票据图像的在垂直于排列方向的方向上的两个边界确定评分汇总区域的第三边界和第四边界，从而确定评分汇总区域。

图3A为本公开至少一实施例提供的一种票据图像的示意图；图3B为本公开至少一实施例提供的另一种票据图像的示意图。

例如，如图3A和图3B所示，在一些实施例中，票据图像包括第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC。如图3A所示，第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC的排列方向为P2方向，在P2方向上，第一关键词字符区域AA和第三关键词字符区域CC分别为位于排列方向上的两端的第一个关键词字符区域和最后一个关键词字符区域，也就是说，第一关键词字符区域AA为第一个关键词字符区域，第三关键词字符区域CC为最后一个关键词字符区域，第二关键词字符区域BB位于第一关键词字符区域AA和第三关键词字符区域CC之间，第一关键词字符区域AA位于第二关键词字符区域BB的上侧，第三关键词字符区域CC位于第二关键词字符区域BB的下侧。

如图3B所示，第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC的排列方向为P1方向，在P1方向上，第一关键词字符区域AA和第三关键词字符区域CC分别为位于排列方向上的两端的第一个关键词字符区域和最后一个关键词字符区域，也就是说，第一关键词字符区域AA为第一个关键词字符区域，第三关键词字符区域CC为最后一个关键词字符区域，第二关键词字符区域BB位于第一关键词字符区域AA和第三关键词字符区域CC之间，第一关键词字符区域AA位于第二关键词字符区域BB的左侧，第三关键词字符区域CC位于第二关键词字符区域BB的右侧。

例如，如图3A和图3B所示，斜线表示的区域为评分汇总区域110，评分汇总区域110的形状也可以为矩形等规则形状，但本公开不限于此，评分汇总区域110的形状也可以为不规矩形状，例如，不规则的四边形等。如图3A所示，在P2方向上，沿第一个关键词字符区域(即第一关键词字符区域AA)远离最后一个关键词字符区域(即第三关键词字符区域CC)的方向延伸第一距离d1，则可以确定评分汇总区域110的第一边界；沿最后一个关键词字符区域(即第三关键词字符区域CC)远离第一个关键词字符区域(即第一关键词字符区域AA)的方向延伸第二距离d2，则可以确定评分汇总区域110的第二边界。然后，根据票据图像100的在垂直于排列方向的方向(即图3A所示的P1方向)上的两个边界确定评分汇总区域110的第三边界和第四边界，从而确定评分汇总区域110，也就是说，在P1方向上，评分汇总区域110的两个边界与票据图像100的两个边界重叠。

值得注意的是，本公开确定评分汇总区域的方式不限于此，在另一些实施例中，还可以采用其他方式确定评分汇总区域，以图3A所示的示例为例进行说明，在P2方向上，沿第一个关键词字符区域(即第一关键词字符区域AA)远离最后一个关键词字符区域(即第三关键词字符区域CC)的方向延伸第一距离d1，则可以确定评分汇总区域110的第一边界；沿最后一个关键词字符区域(即第三关键词字符区域CC)远离第一个关键词字符区域(即第一关键词字符区域AA)的方向延伸第二距离d2，则可以确定评分汇总区域110的第二边界。然后，确定N个关键词字符区域中的位于垂直于排列方向的方向(即图3A所示的P1方向)上的两端的第一个关键词字符区域和最后一个关键词字符区域；在P1方向上，在P1方向上的第一个关键词字符区域(即第一关键词字符区域AA)沿P1方向的反方向延伸(即沿途3A所示的第一关键词字符区域AA的左侧延伸)第三距离，以确定评分汇总区域的第三边界，在P1方向上的最后一个关键词字符区域沿P1方向延伸(即沿途3A所示的第三关键词字符区域CC的右侧延伸)第四距离，以确定评分汇总区域的第四边界，从而确定评分汇总区域。

需要说明的是，第四距离大于第一距离、第二距离和第三距离中的任意一个。“在P1方向上的第一个关键词字符区域”可以表示N个关键词字符区域的中心的P1轴的坐标值最小的关键词字符区域，“在P1方向上的最后一个关键词字符区域”可以表示N个关键词字符区域的中心的P1轴的坐标值最大的关键词字符区域，在图3A所示的示例中，第一关键词字符区域AA的中心的P1轴的坐标值、第二关键词字符区域BB的中心的P1轴的坐标值和第三关键词字符区域CC的中心的P1轴的坐标值相同，则任意选择第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC中的两个关键词字符区域分别作为在P1方向上的第一个关键词字符区域和在P1方向上的最后一个关键词字符区域。

例如，第一距离和第二距离等可以根据实际情况由用户设定，第一距离和第二距离可以相同，也可以不相同。在一些实施例中，在图3A所示的示例中，第一距离可以为第一关键词字符区域AA在P2方向上的宽度的1～3倍，第二距离可以为第三关键词字符区域CC在P2方向上的宽度的1～3倍；在图3B所示的示例中，第一距离可以为第一关键词字符区域AA在P1方向上的宽度的1～3倍，第二距离可以为第三关键词字符区域CC在P1方向上的宽度的1～3倍。

需要说明的是，在本公开的实施例中，“N个关键词字符区域的排列方向”可以表示：在图3A和图3B所示的P1-P2直角坐标系(例如，基于票据图像建立的直角坐标系)中，若N个关键词字符区域的N个中心对应的大致连线与P1轴之间的夹角大于N个关键词字符区域的N个中心对应的大致连线与P2轴之间的夹角，则N个关键词字符区域的排列方向为P2方向，若N个关键词字符区域的N个中心对应的大致连线与P2轴之间的夹角大于N个关键词字符区域的N个中心对应的大致连线与P1轴之间的夹角，则N个关键词字符区域的排列方向为P1方向。

例如，如图3A所示，第一关键词字符区域AA的中心、第二关键词字符区域BB的中心和第三关键词字符区域CC的中心之间的连线与P2方向平行，因此，第一关键词字符区域AA的中心、第二关键词字符区域BB的中心和第三关键词字符区域CC的中心对应的大致连线与P1轴之间的夹角(90°)大于第一关键词字符区域AA的中心、第二关键词字符区域BB的中心和第三关键词字符区域CC的中心对应的大致连线与P2轴之间的夹角(0°)，从而第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC的排列方向为P2方向。

例如，如图3B所示，第一关键词字符区域AA的中心、第二关键词字符区域BB的中心和第三关键词字符区域CC的中心之间的连线与P1方向平行，因此，第一关键词字符区域AA的中心、第二关键词字符区域BB的中心和第三关键词字符区域CC的中心对应的大致连线与P1轴之间的夹角(0°)小于第一关键词字符区域AA的中心、第二关键词字符区域BB的中心和第三关键词字符区域CC的中心对应的大致连线与P2轴之间的夹角(90°)，从而第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC的排列方向为P1方向。

例如，在N个关键词字符区域的排列方向上，N个关键词字符区域可以彼此至少部分重叠，从图3A中可以看出，在P2方向上，第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC彼此完全重叠；从图3B中可以看出，在P1方向上，第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC彼此完全重叠。

例如，在一些实施例中，N和/或M大于等于2，步骤S133包括：根据N个关键词字符区域和M个候选字符区域，确定多个评分计算组；基于N个关键词字符区域和M个候选字符区域的距离和偏离角度，计算多个评分计算组对应的多个评分，并将多个评分中最高评分对应的评分计算组确定为目标评分计算组；根据目标评分计算组表示的N个关键词字符区域和M个候选字符区域的对应关系，确定与N个预设关键词对应的Q个字符内容。

图4A为本公开至少一实施例提供的一种评分计算组的示意图，图4B为本公开至少一实施例提供的另一种评分计算组的示意图，图4C为本公开至少一实施例提供的又一种评分计算组的示意图。

例如，如图4A至图4C所示，在一些实施例中，N和M均为3，即票据图像包括三个关键词字符区域和三个候选字符区域，三个关键词字符区域分别为第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC，三个候选字符区域分别为第一候选字符区域XX、第二候选字符区域YY和第三候选字符区域ZZ。第一关键词字符区域AA、第二关键词字符区域BB和第三关键词字符区域CC的排列方向为P2方向，第一候选字符区域XX、第二候选字符区域YY和第三候选字符区域ZZ的排列方向也为P2方向。

例如，由于某些票据会有项目数量在项目的下方和右侧同时出现的情况，从而每个关键词字符区域对应的候选字符区域位于每个关键词字符区域的右侧或/和下侧。如果关键词字符区域的下侧的一定区域内的字符均是字母、汉字等，则确定关键词字符区域对应的数值在右侧的一定区域；如果关键词字符区域的下侧的一定区域内的字符包括数字，且关键词字符区域的右侧的一定区域内的字符也包括数字，则可以将关键词字符区域的下侧和右侧中的数字区域均作为该关键词字符区域的候选字符区域。

例如，每个评分计算组表示N个关键词字符区域和M个候选字符区域的一种对应关系。需要说明的是，在某些对应关系中，N个关键词字符区域中的部分关键词字符区域可能不具有对应的候选字符区域。

例如，N个关键词字符区域和M个候选字符区域的对应关系不能出现交叉的情况，也就是说，例如，在图4B所示的示例中，在一种对应关系中，第一关键词字符区域AA和第二候选字符区域YY对应，则第二关键词字符区域BB和第三候选字符区域ZZ对应，此时，第三关键词字符区域CC没有对应的候选字符区域。值得注意的是，此时，由于第三关键词字符区域CC和第一候选字符区域XX之间的连线与第一关键词字符区域AA和第二候选字符区域YY之间的连线、第二关键词字符区域BB和第三候选字符区域ZZ之间的连线均交叉，即N个关键词字符区域和M个候选字符区域的对应关系出现交叉的情况，从而第三关键词字符区域CC不能与第一候选字符区域XX对应。

例如，在图4A至图4C所示的示例中，三个关键词字符区域和三个候选字符区域可以具有多种对应关系，即具有多个评分计算组，例如，如图4A和图4C示出的对应关系：第一关键词字符区域AA和第一候选字符区域XX对应，第二关键词字符区域BB和第二候选字符区域YY对应，第三关键词字符区域CC和第三候选字符区域ZZ对应；如图4B示出的对应关系：第一关键词字符区域AA和第二候选字符区域YY对应，第二关键词字符区域BB和第三候选字符区域ZZ对应，第三关键词字符区域CC没有对应的候选字符区域。还可以包括以下对应关系：第一关键词字符区域AA和第三候选字符区域ZZ对应，第二关键词字符区域BB和第三关键词字符区域CC没有对应的候选字符区域；第一关键词字符区域AA没有对应的候选字符区域，第二关键词字符区域BB和第一候选字符区域XX对应，第三关键词字符区域CC和第二候选字符区域YY对应等等。本公开在此不作穷举，只要N个关键词字符区域和M个候选字符区域的对应关系不出现交叉的情况即可。

需要说明的是，在本公开的实施例中，两个区域之间的连线可以表示两个区域的中心之间的连线，也可以表示两个区域的彼此靠近的两条边的中点之间的连线。如图4A所示，第一关键词字符区域AA和第一候选字符区域XX之间的连线为第一关键词字符区域AA的中心和第一候选字符区域XX的中心之间的连线；如图4C所示，第一关键词字符区域AA和第一候选字符区域XX之间的连线为第一关键词字符区域AA的靠近第一候选字符区域XX的边的中点和第一候选字符区域XX的靠近第一关键词字符区域AA的中点之间的连线。

例如，计算多个评分计算组对应的多个评分包括：对于多个评分计算组中的每个评分计算组，根据该评分计算组中的N个关键词字符区域和N个关键词字符区域对应的候选字符区域的距离和偏离角度，计算得到N个关键词字符区域对应的N个评分，其中，在该评分计算组中，每个关键词字符区域的中心及其对应的候选字符区域的中心之间的连线的距离越大，则每个关键词字符区域对应的评分越小，每个关键词字符区域及其对应的候选字符区域的偏离角度表示每个关键词字符区域的中心及其对应的候选字符区域的中心之间的连线和预设方向之间的夹角，每个关键词字符区域及其对应的候选字符区域的偏离角度越小，则每个关键词字符区域对应的评分越大；对N个评分进行求和以得到该评分计算组对应的评分，从而得到多个评分计算组对应的多个评分。

例如，对于图4A所示的评分计算组，第一关键词字符区域AA和第一候选字符区域XX之间的连线的距离为dt1，第二关键词字符区域BB和第二候选字符区域YY之间的连线的距离为dt2，第三关键词字符区域CC和第三候选字符区域ZZ之间的连线的距离为dt3。若dt1大于dt2，且dt1小于dt3，第一关键词字符区域AA对应的评分小于第二关键词字符区域BB对应的评分，第一关键词字符区域AA对应的评分大于第三候选字符区域ZZ对应的评分。

例如，对于图4B所示的评分计算组，第一关键词字符区域AA和第二候选字符区域YY之间的连线的距离为dt4，第二关键词字符区域BB和第三候选字符区域ZZ之间的连线的距离为dt5。若dt4大于dt5，第一关键词字符区域AA对应的评分小于第二关键词字符区域BB对应的评分。

例如，预设方向可以为水平方向或竖直方向。在一些实施例中，水平方向可以为图4A至图4C所示的P1方向，竖直方向可以为图4A至图4C所示的P2方向。

例如，预设方向为水平方向，对于图4A所示的评分计算组，第一关键词字符区域AA和第一候选字符区域XX的相对于预设方向的偏离角度为θ1，第二关键词字符区域BB和第二候选字符区域YY的相对于预设方向的偏离角度为θ2，第三关键词字符区域CC和第三候选字符区域ZZ的相对于预设方向的偏离角度为θ3。若θ1大于θ2，且θ1小于θ3，第一关键词字符区域AA对应的评分小于第二关键词字符区域BB对应的评分，第一关键词字符区域AA对应的评分大于第三候选字符区域ZZ对应的评分。

例如，预设方向为水平方向，对于图4B所示的评分计算组，第一关键词字符区域AA和第二候选字符区域YY的相对于预设方向的偏离角度为θ4，第二关键词字符区域BB和第三候选字符区域ZZ的相对于预设方向的偏离角度为θ5。若θ4大于θ5，第一关键词字符区域AA对应的评分小于第二关键词字符区域BB对应的评分。

需要说明的是，需要结合距离和偏离角度计算关键词字符区域对应的评分，从而可以提高计算得到的关键词字符区域对应的评分准确性。

例如，在一些实施例中，对于图4A所示的评分计算组，第一关键词字符区域AA对应的评分为0.8，第二关键词字符区域BB对应的评分为0.8，第三关键词字符区域CC对应的评分为0.8，由此，图4A所示的评分计算组对应的评分为2.4(0.8+0.8+0.8)；对于图4B所示的评分计算组，第一关键词字符区域AA对应的评分为0.9，第二关键词字符区域BB对应的评分为0.9，第三关键词字符区域CC对应的评分为0，由此，图4B所示的评分计算组对应的评分为1.8(0.9+0.9+0)。由于图4A所示的评分计算组对应的评分高于图4B所示的评分计算组对应的评分，因此，在图4A和图4B所示的实施例中，图4A所示的评分计算组为目标评分计算组。

例如，根据图4A所示的目标评分计算组表示的三个关键词字符区域和三个候选字符区域的对应关系，可以确定与三个关键词字符区域对应的目标字符区域即为三个候选字符区域，即第一关键词字符区域AA对应的目标字符区域为第一候选字符区域XX，第二关键词字符区域BB对应的目标字符区域为第二候选字符区域YY，第三关键词字符区域CC对应的目标字符区域为第三候选字符区域ZZ。从而可以确定与三个关键词字符区域中的关键词对应的字符内容为三个候选字符区域中的字符内容，即第一关键词字符区域AA中的关键词对应的字符内容为第一候选字符区域XX中的字符内容，第二关键词字符区域BB中的关键词对应的字符内容为第二候选字符区域YY中的字符内容，第三关键词字符区域CC中的关键词对应的字符内容为第三候选字符区域ZZ中的字符内容。

图5A为本公开至少另一实施例提供的一种评分计算组的示意图，图5B为本公开至少另一实施例提供的另一种评分计算组的示意图。

例如，图5A示出的对应关系为：第一关键词字符区域AA和第一候选字符区域XX对应，第二关键词字符区域BB和第二候选字符区域YY对应，第三关键词字符区域CC和第三候选字符区域ZZ对应；图5B示出的对应关系为：第一关键词字符区域AA和第二候选字符区域YY对应，第二关键词字符区域BB和第三候选字符区域ZZ对应，第三关键词字符区域CC没有对应的候选字符区域。

例如，预设方向为水平方向，对于图5A所示的评分计算组，第一关键词字符区域AA和第一候选字符区域XX之间的连线的距离为dt6，第二关键词字符区域BB和第二候选字符区域YY之间的连线的距离为dt7，第三关键词字符区域CC和第三候选字符区域ZZ之间的连线的距离为dt8。第一关键词字符区域AA和第一候选字符区域XX的相对于预设方向的偏离角度为θ6，第二关键词字符区域BB和第二候选字符区域YY的相对于预设方向的偏离角度为θ7，第三关键词字符区域CC和第三候选字符区域ZZ的相对于预设方向的偏离角度为θ8。

例如，预设方向为水平方向，对于图5B所示的评分计算组，第一关键词字符区域AA和第二候选字符区域YY之间的连线的距离为dt9，第二关键词字符区域BB和第三候选字符区域ZZ之间的连线的距离为dt10。第一关键词字符区域AA和第二候选字符区域YY的相对于预设方向的偏离角度为θ9，第二关键词字符区域BB和第三候选字符区域ZZ的相对于预设方向的偏离角度为θ10。

例如，θ9和θ10均小于θ6、θ7和θ8中的任意一个，dt9和dt10均小于dt6、dt7和dt8中的任意一个。对于图5A所示的评分计算组，第一关键词字符区域AA对应的评分为0.4，第二关键词字符区域BB对应的评分为0.4，第三关键词字符区域CC对应的评分为0.4，由此，图4A所示的评分计算组对应的评分为1.2(0.4+0.4+0.4)；对于图5B所示的评分计算组，第一关键词字符区域AA对应的评分为1.1，第二关键词字符区域BB对应的评分为1.1，第三关键词字符区域CC对应的评分为0，由此，图5B所示的评分计算组对应的评分为2.2(1.1+1.1+0)。由于图5A所示的评分计算组对应的评分低于图5B所示的评分计算组对应的评分，因此，在图5A和图5B所示的实施例中，图5B所示的评分计算组为目标评分计算组。

例如，根据图5B所示的目标评分计算组表示的三个关键词字符区域和三个候选字符区域的对应关系，可以确定与三个关键词字符区域对应的目标字符区域为第二候选字符区域YY和第三候选字符区域ZZ，即第一关键词字符区域AA对应的目标字符区域为第二候选字符区域YY，第二关键词字符区域BB对应的目标字符区域为第三候选字符区域ZZ，第三关键词字符区域CC没有对应的目标字符区域。从而可以确定与三个关键词字符区域中的关键词对应的字符内容为第二候选字符区域YY和第三候选字符区域ZZ中的字符内容，即第一关键词字符区域AA中的关键词对应的字符内容为第二候选字符区域YY中的字符内容，第二关键词字符区域BB中的关键词对应的字符内容为第三候选字符区域ZZ中的字符内容，第三关键词字符区域CC中的关键词没有对应的字符内容。

例如，在N和M均等于1的情况下，在一些实施例中，在步骤S133中，可以直接输出该关键词字符区域对应的候选字符区域的字符内容，也可以在直接输出候选字符区域的字符内容后，将候选字符区域进行切割，并将切割后的候选字符区域图像输出，以供用户进行比对。

例如，在N和M均等于1的情况下，在另一些实施例中，步骤S133也可以包括：基于N个关键词字符区域和M个候选字符区域的距离和偏离角度，计算N个关键词字符区域对应的评分；判断N个关键词字符区域对应的评分是否大于预设评分，当N个关键词字符区域对应的评分大于等于预设评分，则确定与N个关键词字符区域对应的Q个目标字符区域为M个候选字符区域，当N个关键词字符区域对应的评分小于预设评分，则确定不存在与N个关键词字符区域对应的目标字符区域。例如，当仅包括一个关键词字符区域和一个候选字符区域时，可以根据该关键词字符区域和候选字符区域的距离和偏离角度，计算该关键词字符区域对应的评分，当该关键词字符区域对应的评分大于等于预设评分，则确定与该关键词字符区域对应的目标字符区域即为该候选字符区域，当N个关键词字符区域对应的评分小于预设评分，则确定不存在与该关键词字符区域对应的目标字符区域，即该候选字符区域和该关键词字符区域不对应。

例如，预设评分可以根据实际情况由用户进行设定，本公开对预设评分的具体值不作限制。

例如，N个预设关键词包括金额关键词。步骤S134可以包括：将N个预设关键词组成待查询词组，从规则数据库中选择待查询词组对应的目标金额确定规则，其中，规则数据库中存储有不同的多个待查询词组以及多个待查询词组对应的金额确定规则；根据目标金额确定规则，确定N个预设关键词中的金额关键词；根据金额关键词确定Q个字符内容中与金额关键词对应的字符内容；根据与金额关键词对应的字符内容，确定项目数量。

例如，与金额关键词对应的字符内容即为项目数量。

例如，将N个预设关键词组成待查询词组包括：将N个预设关键词按照首字母排序的方式组成待查询词组。

例如，将N个预设关键词排列组合得到待查询词组，例如，可以按照预设关键词的首字母顺序进行排列组合。例如，某张票据包含的预设关键词为subtotal、tax、total，按首字母顺序排列组合得到待查询词组为subtotal-tax-total。对于中文票据，可以按照N个预设关键词的中文拼音简称的首字母排序的方式组成待查询词组，例如预设关键词为小计、税、总计，按中文拼音简称的首字母顺序排列组合得到待查询词组为税-小计-总计。

例如，在本公开的一些实施例中，金额关键词可以为与付款金额对应的关键词，项目数量可以为付款金额。规则数据库中存储的金额确定规则可以为：指定待查询词组中的一预设关键词，以便于将该预设关键词对应的金额数值作为待识别的票据对应的付款金额。因此，确定付款金额可以包括：将目标金额确定规则所指定的预设关键词确定为金额关键词；接着，根据金额关键词确定与金额关键词对应的字符内容；最后，将与金额关键词对应的字符内容作为待识别的票据对应的付款金额。

例如，规则数据库中一词组为subtotal-tax-total，其对应的金额确定规则设定为选取预设关键词total对应的金额数值作为付款金额，那么若待查询词组也为subtotal-tax-total，则目标金额确定规则即为选取预设关键词total对应的金额数值作为付款金额，因此，将Q个字符内容中与预设关键词total对应的字符内容作为付款金额。又如，规则数据库中一词组为subtotal-tax-total-visa，其对应的金额确定规则设定为选取预设关键词visa对应的金额数值作为付款金额，那么若待查询词组也为subtotal-tax-total-visa，则目标金额确定规则即为选取预设关键词visa对应的金额数值作为付款金额，因此，将Q个字符内容中与预设关键词visa对应的字符内容作为付款金额。例如，一些待查询词组及其对应的金额确定规则包括：待查询词组为gratuity-purchase-total，金额确定规则确定的关键词为total；待查询词组为credit-fuel-total，金额确定规则确定的关键词为credit。

例如，在一些实施例中，票据信息还包括项目名称。步骤13还包括：利用文本分类识别模型对多个字符内容进行分类，以确定至少一个候选项目名称；根据至少一个候选项目名称确定与待识别的票据对应的项目名称。

例如，文本分类识别模型可以为预先训练得到的神经网络模型。在识别得到待识别的票据上的多个字符内容后，可以将多个字符内容输入文本分类识别模型，从而通过文本分类识别模型对该多个字符内容进行分类识别，从而获得项目名称对应的候选项目名称，然后根据候选项目名称确定与待识别的票据对应的项目名称。

需要说明的是，在本公开的实施例中，文本分类识别模型进行文本分类主要是针对每一行字符进行，从而可以确定每行字符的类别，例如，确定每行字符是与金额相关的文本、与项目地址相关的文本、或与项目名称相关的文本等；继而进行后续提取或者匹配相关的内容，来确定金额/项目地址/项目名称的候选范围。例如，在一些实施例中，每个字符内容对应一行字符区域，从而每个字符内容为一行字符，即文本分类识别模型对各个行字符进行文本分类。

例如，在一些实施例中，根据至少一个候选项目名称确定与待识别的票据对应的项目名称包括：对至少一个候选项目名称进行排序，以确定至少一个候选项目名称组，其中，至少一个候选项目名称组中的每个候选项目名称组中的所有候选项目名称相同；根据至少一个候选项目名称组，确定目标候选项目名称组，其中，目标候选项目名称组中的候选项目名称的数量多于至少一个候选项目名称组中的其余任一候选项目名称组中的候选项目名称的数量；将目标候选项目名称组对应的候选项目名称作为项目名称。当待识别的票据上识别得到的某个候选项目名称的数量大于其余任一一个候选项目名称的数量，则该候选项目名称则很有可能为该待识别的票据对应的项目名称。

例如，在通过文本分类识别模型仅仅获取到一个候选项目名称的情况下，则可以直接输出该候选项目名称作为待识别的票据对应的项目名称；在通过文本分类识别模型获取到多个候选项目名称的情况下，根据排序的方式确定多个候选项目名称中数量最多的相同候选项目名称作为项目名称，然后输出该候选项目名称。

例如，在一些示例中，在步骤S13中，可以得到W个候选项目名称，W为大于或等于2的整数，在W为大于等于3的情况下，若在W个候选项目名称中的(W-1)个候选项目名称均相同，则确定该相同的(W-1)个候选项目名称中的任意一个候选项目名称为项目名称。或者，在W为2的情况下，若W个候选项目名称均相同，则确定该相同的W个候选项目名称中的任意一个候选项目名称为项目名称。若W个候选项目名称各不相同，则可以输出所有的候选项目名称，由用户进行判断。

例如，在另一些实施例中，根据至少一个候选项目名称确定与待识别的票据对应的项目名称包括：基于项目名称统计表，从至少一个候选项目名称中确定项目名称。

例如，在一些实施例中，项目名称可以为店铺名称，相应地，项目名称统计表为店铺名称统计表。又例如，项目名称还可以为供应商、品牌等。

例如，项目名称被记录在项目名称统计表中，且项目名称在项目名称统计表中的统计量高于至少一个候选项目名称中的其余任一候选项目名称的统计量。项目名称统计表可以为：在先前识别票据的过程中，对各个票据对应的项目名称进行统计记录得到的统计表。若识别出来的至少一个候选项目名称中某一个候选项目名称在项目名称统计表中出现过，则该候选项目名称有较大可能为待识别的票据对应的项目名称，从而可以被选择作为该待识别的票据对应的项目名称。

例如，在一些实施例中，票据信息还包括项目地址。步骤S13还包括：利用文本分类识别模型对多个字符内容进行分类，以确定至少一个候选项目地址；根据至少一个候选项目地址确定与待识别的票据对应的项目地址。

例如，在一些实施例中，根据至少一个候选项目地址确定与待识别的票据对应的项目地址包括：对至少一个候选项目地址进行排序，以确定至少一个候选项目地址组，其中，至少一个候选项目地址组中的每个候选项目地址组中的所有候选项目地址相同；根据至少一个候选项目地址组，确定目标候选项目地址组，其中，目标候选项目地址组中的候选项目地址的数量多于至少一个候选项目地址组中的其余任一候选项目地址组中的候选项目地址的数量；将目标候选项目地址组对应的候选项目地址作为项目地址。

也就是说，首先，可以将至少一个候选项目地址划分为多个候选项目地址组，其中，每个候选项目地址组中的所有候选项目地址相同；然后，将多个候选项目地址组中数量最多的候选项目地址组对应的候选项目地址作为项目地址。当待识别的票据上识别得到的某个候选项目地址的数量大于其余任一一个候选项目地址的数量，则该候选项目地址则很有可能为该待识别的票据对应的项目地址。

例如，在通过文本分类识别模型仅仅获取到一个候选项目地址的情况下，则可以直接输出该候选项目地址作为待识别的票据对应的项目地址；在通过文本分类识别模型获取到多个候选项目地址的情况下，根据排序的方式确定多个候选项目地址中数量最多的相同候选项目地址作为项目地址，然后输出该候选项目地址作为该待识别的票据对应的项目地址。

例如，在一些示例中，在步骤S13中，可以得到T个候选项目地址，T为大于或等于2的整数，在T为大于等于3的情况下，若在T个候选项目地址中的(T-1)个候选项目地址均相同，则确定该相同的(T-1)个候选项目地址中的任意一个候选项目地址为项目地址。或者，在T为2的情况下，若T个候选项目地址均相同，则确定该相同的T个候选项目地址中的任意一个候选项目地址为项目地址。若T个候选项目地址各不相同，则可以输出所有的候选项目地址，由用户进行判断。

例如，在另一些实施例中，根据至少一个候选项目地址确定与待识别的票据对应的项目地址包括：基于项目地址统计表，从至少一个候选项目地址中确定项目地址。例如，项目地址被记录在项目地址统计表中，且项目地址在项目地址统计表中的统计量高于至少一个候选项目地址中的其余任一候选项目地址的统计量。

例如，在一些实施例中，项目地址可以为店铺地址，相应地，项目地址统计表为店铺地址统计表。

例如，项目地址被记录在项目地址统计表中，且项目地址在项目地址统计表中的统计量高于至少一个候选项目地址中的其余任一候选项目地址的统计量。项目地址统计表可以为：在先前识别票据的过程中，对各个票据对应的项目地址进行统计记录得到的统计表。若识别出来的至少一个候选项目地址中某一个候选项目地址在项目名称统计表中出现过，则该候选项目地址有较大可能为待识别的票据对应的项目地址，从而可以被选择作为该待识别的票据对应的项目地址。

需要说明的是，项目名称统计表和项目地址统计表可以为两个独立的统计表，也可以整合为一个统计表。

由此，在本公开的实施例提供的票据识别方法中，利用文本分类识别模型对待识别的票据中的所有字符内容进行分类识别，以确定项目名称和项目地址，当待识别的票据有部分残缺或者被遮盖，也有可能识别出待识别的票据对应的项目名称和项目地址，提高项目名称和项目地址的识别准确率。

例如，当票据信息还包括项目名称的情况下，步骤S13还包括：利用文本分类识别模型对多个字符内容进行分类，以确定至少一个第一候选项目名称；根据多个字符内容在项目名称数据库中进行搜索，确定至少一个第二候选项目名称；根据至少一个第一候选项目名称和至少一个第二候选项目名称，确定与待识别的票据对应的项目名称。

例如，首先，可以对至少一个第一候选项目名称和至少一个第二候选项目名称进行排序，以确定至少一个候选项目名称组，其中，至少一个候选项目名称组中的每个候选项目名称组中的所有候选项目名称相同；然后，根据至少一个候选项目名称组，确定目标候选项目名称组，其中，目标候选项目名称组中的候选项目名称的数量多于至少一个候选项目名称组中的其余任一候选项目名称组中的候选项目名称的数量；将目标候选项目名称组对应的候选项目名称作为待识别的票据对应的项目名称。

在本公开的实施例中，可以采用不同方法确定项目名称，然后对由不同方法确定的项目名称进行综合判断，从而确定与待识别的票据对应的项目名称，进一步提高项目名称的识别准确率。

例如，当待识别的票据中包含图案时，则项目名称可以通过图案确定。此时，根据多个字符内容在项目名称数据库中进行搜索，确定至少一个第二候选项目名称包括：采用区域识别模型识别票据图像中图案所在的图案区域；根据图案区域判断项目名称数据库中是否存在与图案相匹配的项目图案，如果项目名称数据库中存在与图案相匹配的项目图案，则将与图案相匹配的项目图案对应的项目名称确定为至少一个第二候选项目名称，如果项目名称数据库中不存在与图案相匹配的项目图案，则判断图案区域中是否存在字符，如果图案区域中具有字符，则识别图案区域中的图案字符，将识别的图案字符作为至少一个第二候选项目名称；如果图案区域中没有字符，则根据多个字符内容确定项目地址，并确定该项目地址为至少一个第二候选项目名称。

例如，项目名称数据库中每一项目图案均标注有对应的项目名称。

例如，如图2A所示，位于待识别的票据的顶部的“Hudson News”为图像；如图2B所示，位于待识别的票据的顶部的“ingles”为图像。

例如，项目名称数据库中预先存储有各个项目名称，则逐一将各个字符区域内的字符内容在项目名称数据库中进行搜索，若某一字符区域内的字符内容能够在项目名称数据库中搜索到，则将在项目名称数据库中搜索到的项目名称作为第二候选项目名称。若多个字符区域内的字符内容均无法在项目名称数据库搜索到，也就是说，项目名称数据库不包括多个字符区域中的任一个字符区域内的字符内容，则可以从多个字符区域的字符内容中确定项目地址，将该项目地址作为第二候选项目名称。

需要说明的是，关于确定第一候选项目名称的详细描述可以参考上面的根据文本分类识别模型确定候选项目名称的相关说明，在此不再赘述。

例如，项目名称数据库可以为店名数据库。

例如，本实施例中，项目地址的确定有如下方式：1、若某一字符区域中出现用于标识地址的预设字符例如“地址”“address”“add.”等字符，可以判断这些预设字符后面的字符为地址信息；2、若出现行政区域名称或者街道名称号码对应的字符，则这些字符为地址信息。

将项目地址确定为项目名称，可以选取项目地址中用于表示较小区域的地址信息作为项目名称，例如可以选取项目地址中的街道+号码或者建筑物+楼层房号的信息作为项目名称，用于表示较小区域的地址信息可以是行政区域名称中最小一级或者最小两级区域的地址信息，其一般是中文地址的最后部分或英文地址的最前部分的字符。例如，如果项目地址信息中包含有南京东路10号，则选取“南京东路10号”作为项目名称，如果项目地址信息中包含有来福士广场702，则选取“来福士广场702”作为项目名称，如果项目地址信息中包含有“XX商场601店铺”，则选取“XX商场601店铺”作为项目名称。项目地址信息中用于表示较大区域的地址信息不计入项目名称中，以便使得项目名称简短，例如项目地址信息中包含有上海市黄浦区南京东路10号，则忽略“上海市黄浦区”、只选取“南京东路10号”作为项目名称，可以简化项目名称。

需要说明的是，如果项目名称数据库中存在与待识别的票据中的图案相匹配的项目图案，将相匹配的项目图案对应的项目名称确定为第二候选项目名称，则不根据图案中的字符或项目地址确定候选项目名称，或者将根据图案中的字符确定的候选项目名称和根据项目地址确定的候选项目名称丢弃不用；如果项目名称数据库中不存在与待识别的票据中的图案相匹配的项目图案，但是能识别到图案中的字符，则将识别的图案中的字符作为第二候选项目名称，同样的，则不根据项目地址确定候选项目名称，或者将根据项目地址确定的候选项目名称丢弃不用；如果既出现项目名称数据库中不存在与待识别的票据中的图案相匹配的项目图案，图案中又没有字符或者没有能识别到图案中的字符，则根据多个字符区域的字符内容确定项目地址，将项目地址作为第二候选项目名称，然后根据第一候选项目名称和第二候选项目名称，确定与待识别的票据对应的项目名称。由此可以进一步提高项目名称识别的可靠性。

需要说明的是，若根据图案在项目名称数据库中搜不到项目名称，图案中也没有字符，并且根据多个字符区域的字符内容在项目名称数据库中也搜不到项目名称的情况下，也可以从多个字符区域的字符内容中确定项目地址，将项目地址作为第二候选项目名称。

例如，若第一候选项目名称和第二候选项目名称相同，则选择第一项目名称和第二候选项目名称中的任一一个作为待识别的票据对应的项目名称，若第一候选项目名称和第二候选项目名称不相同，根据第一候选项目名称的评分和第二候选项目名称的评分，确定与待识别的票据对应的项目名称，或者，也可以同时将第一候选项目名称和第二候选项目名称输出，由用户进行判断。

在本公开的实施例中，可以参考根据通过文本分类识别模型获取的候选项目名称、项目名称统计表中的数据、票据上的logo图像对应的候选项目名称、识别出来的项目地址在数据库或地图中对应的候选项目名称等综合进行判断，最终确定与待识别的票据对应的项目名称。

例如，在确定待识别的票据的项目名称时，第一候选项目名称的权重大于第二候选项目名称的权重，基于与待识别的票据中的图案相匹配的项目图案对应的第二候选项目名称的权重大于基于待识别的票据中的图案中的字符确定的第二候选项目名称的权重，基于待识别的票据中的图案中的字符确定的第二候选项目名称的权重大于基于项目地址确定的第二候选项目名称的权重。

例如，可以根据至少一个第一候选项目名称的权重和至少一个第二候选项目名称的权重，确定各个候选项目名称的评分，并将评分最高的候选项目名称作为待识别的票据对应的项目名称。在一些实施例中，至少一个第一候选项目名称包括第一候选项目名称P1、第一候选项目名称P2和第一候选项目名称P3，至少一个第二候选项目名称包括第二候选项目名称P1’，其中，第一候选项目名称P1和第二候选项目名称P1’为相同的候选项目名称，第一候选项目名称P1的权重为pp1，第一候选项目名称P2的权重为pp2，第一候选项目名称P3的权重为pp3，第二候选项目名称P1’的权重为pp4，其中，pp4小于pp1、pp2和pp3中的任意一个，第一候选项目名称P1和第二候选项目名称P1’最终对应的评分可以为pp1+pp4，第一候选项目名称P2对应的评分可以为pp2，第一候选项目名称P3对应的评分可以为pp3，若(pp1+pp4)大于pp2，也大于pp3，则第一候选项目名称P1或第二候选项目名称P1’作为该待识别的票据的项目名称。

例如，当票据信息还包括项目地址的情况下，步骤S13还包括：利用文本分类识别模型对多个字符内容进行分类，以确定至少一个第一候选项目地址；若多个字符区域中的某一字符区域中出现用于标识地址的预设字符，则将预设字符后面的字符作为至少一个第二候选项目地址；和/或，若多个字符区域中的某一字符区域中出现行政区域名称或者街道名称对应的字符，则将行政区域名称或者街道名称对应的字符作为至少一个第二候选项目地址；根据至少一个第一候选项目地址和至少一个第二候选项目地址，确定与待识别的票据对应的项目地址。需要说明的是，第二候选项目地址还可以根据识别得到的项目名称确定。

在本公开的实施例中，可以采用不同方法确定项目地址，然后对由不同方法确定的项目地址进行综合判断，从而确定与待识别的票据对应的项目地址，进一步提高项目地址的识别准确率。

例如，首先，可以对至少一个第一候选项目地址和至少一个第二候选项目地址进行排序，以确定至少一个候选项目地址组，其中，至少一个候选项目地址组中的每个候选项目地址组中的所有候选项目地址相同；然后，根据至少一个候选项目地址组，确定目标候选项目地址组，其中，目标候选项目地址组中的候选项目地址的数量多于至少一个候选项目地址组中的其余任一候选项目地址组中的候选项目地址的数量；将目标候选项目地址组对应的候选项目地址作为待识别的票据对应的项目地址。

例如，若第一候选项目地址和第二候选项目地址相同，则选择第一候选项目地址和第二候选项目地址中的任一一个作为待识别的票据对应的项目地址；若第一候选项目地址和第二候选项目地址不相同，则可以同时将第一候选项目地址和第二候选项目地址输出，由用户进行判断。

需要说明的是，上面根据第一候选项目名称和第二候选项目名称确定项目名称的方式，在不矛盾的情况下均适用于根据第一候选项目地址和第二候选项目地址确定项目地址，重复之处不再赘述。

例如，在一些实施例中，票据信息还可以包括时间信息。对于时间信息，票据上显示的时间信息通常具有一定的时间格式，即时间信息符合一定的时间特征，例如日期斜杠特征、日期英文字符特征等等。例如，票据上显示的时间信息可以为：“30Jan’18”，“02/10/17”，“22/11/2017”，“Apr 06’18”，“Apr 4,2018”，“2018-02-02”，“26OCT 2017”，“Nov.18.2017”，“Mar 24,2018”，“01012017”，等。由此，可以从多个字符区域中找到符合预设的时间特征的区域，即为时间信息所在的区域(时间区域)，进而确定票据对应的时间信息，例如，可以通过神经网络模型识别多个字符区域中符合预设的时间特征的区域，神经网络模型是预先通过训练建立的，训练样本为各种格式的时间图片。例如，首先，在步骤S12识别票据图像中的多个字符区域的过程中，还包括：采用区域识别模型识别时间区域，并将时间区域进行标注，其中，时间区域为符合预设时间特征的字符区域。然后，在步骤S13中，根据时间区域的字符内容，确定票据对应的时间信息。例如，时间区域的字符为“2018-02-02”，则可以确定票据对应的时间信息为“2018年02月02日”。

下面以一些票据的具体示例对本实施例进行说明。

如图2A所示的待识别的票据，区域识别模型在识别各个字符区域的过程中，可以识别出时间区域T1，进而通过字符识别模型的识别结果可以确定时间信息为8/8/2017。例如，可以通过文本分类识别模型对识别的多个字符内容进行识别，以确定与待识别的票据对应的店铺名称，例如，可以在全部文本中找到下面的“@hudson”。若该待识别的票据中包含图案，区域识别模型还可以识别出图案所在的区域M1，并根据图案在店名数据库中搜索相匹配的店名图案，以确定该待识别的票据的店铺名称。如果在店名数据库中搜不到与待识别的票据上的图像相匹配的店名图案，则利用字符识别模型识别图案中的字符“HudsonNews”作为店铺名称。例如，如果待识别的票据上的图案无法识别，则可以根据地址信息库确定店铺名称。如果待识别的票据上的图案可以通过字符识别或者店铺名称数据库等方式获取店铺名称，或者通过识别到的地址字符根据地址信息库确定店铺名称，可以结合该识别出的店铺名称和根据文本分类识别模型确定的店铺名称进行综合判断。根据多个字符区域的字符识别结果，可以确定该待识别的票据中包含预设关键词subtotal、total、cash、change，从而确定多个关键词字符区域，根据这些关键词，确定评分汇总区域，基于评分汇总区域，确定这些关键词字符区域对应的候选字符区域，基于这些关键词字符区域及其对应的候选字符区域的距离和偏离角度进行评分，以确定与这些关键词对应的字符内容。将这些关键词组成待查询词组cash-change-subtotal-total，并从规则数据库中查找对应的金额确定规则，若查找到的金额确定规则是将关键词total对应的金额数值作为付款金额，则将关键词total对应的字符内容作为付款金额，如图2A所示，即关键词total对应的金额数值为2.54，即2.54作为付款金额。

如图2B所示的待识别的票据，区域识别模型在识别各个字符区域的过程中，可以识别出时间区域T2，进而通过字符识别模型的识别结果可以确定时间信息为08/03/17。例如，通过文本分类识别模型可以在图2B所示的待识别的票据的多处获取到店铺名称为ingles。还可以综合不同方式确定的店铺名称进行综合判断。根据多个字符区域的字符识别结果，可以确定该待识别的票据中包含预设关键词TAX、BALANCE、TOTAL AMOUNT、CHANGE，从而确定多个关键词字符区域，根据这些关键词，确定评分汇总区域，基于评分汇总区域，确定这些关键词字符区域对应的候选字符区域，基于这些关键词字符区域及其对应的候选字符区域的距离和偏离角度进行评分，以确定与这些关键词对应的字符内容。将这些关键词组成待查询词组BALANCE-CHANGE-TAX-TOTAL AMOUNT，并从规则数据库中查找对应的金额确定规则，若查找到的金额确定规则是将关键词TOTAL AMOUNT对应的金额数值作为付款金额，则将关键词TOTAL AMOUNT对应的字符内容作为付款金额，如图2B所示，关键词TOTALAMOUNT对应的金额数值为4.44，即4.44作为付款金额。

下面再对区域识别模型、字符识别模型和文本分类识别模型的训练过程进行简单介绍。

区域识别模型可以通过如下训练过程得到：对票据图像样本集中的每个票据图像样本进行标注处理，以标注出每个票据图像样本中的各个字符区域；通过经过标注处理的票据图像样本集，对第一神经网络进行训练，以得到区域识别模型。在标注出各个字符区域时，还可以标注出其中符合预设时间特征的区域作为时间区域，这样，通过大量多种类型的时间区域样本训练得到的区域识别模型在识别各个字符区域的同时，也可以识别出时间区域并进行标注。

字符识别模型可以通过如下训练过程得到：对区域识别模型训练过程中所标注的各个字符区域进行标注处理，以标注出每个字符区域内的字符；通过经过标注处理的各个字符区域，对第二神经网络进行训练，以得到字符识别模型。

文本分类识别模型可以通过如下训练过程得到：对票据图像样本集中的每个票据图像样本进行标注处理，以标注出每个票据图像样本上相应的项目名称和项目地址在票据图像样本上的位置、类型(店名、地址、金额还是其他)和内容；通过经过分类标注处理的票据图像样本集，对第三神经网络进行训练，以得到文本分类识别模型。

当然，字符识别模型的训练集、区域识别模型的训练集和文本分类识别模型的训练集也可以不同，本实施例对此不作限定。

本公开至少一实施例还提供一种票据识别装置，图6为本公开至少一实施例提供的一种票据识别装置的示意性框图。

如图6所示，票据识别装置可以包括：获取模块601、第一识别模块602、第二识别模块603和确定模块604。

例如，获取模块601用于获得票据图像，其中，票据图像包括待识别的票据。第一识别模块602用于利用区域识别模型识别票据图像，以得到多个字符区域。第二识别模块603用于利用字符识别模型识别多个字符区域，以得到与多个字符区域对应的多个字符内容。确定模块604用于根据多个字符内容，确定与待识别的票据对应的票据信息。

例如，获取模块601、第一识别模块602、第二识别模块603和/或确定模块604包括存储在存储器中的代码和程序；处理器可以执行该代码和程序以实现如上所述的获取模块601、第一识别模块602、第二识别模块603和/或确定模块604的一些功能或全部功能。例如，获取模块601、第一识别模块602、第二识别模块603和/或确定模块604可以是专用硬件器件，用来实现如上所述的该获取模块601、第一识别模块602、第二识别模块603和/或确定模块604的一些或全部功能。例如，获取模块601、第一识别模块602、第二识别模块603和/或确定模块604可以是一个电路板或多个电路板的组合，用于实现如上所述的功能。在本公开实施例中，该一个电路板或多个电路板的组合可以包括：(1)一个或多个处理器；(2)与处理器相连接的一个或多个非暂时的存储器；以及(3)处理器可执行的存储在存储器中的固件。

需要说明的是，获取模块601用于实现图1A所示的步骤S10，第一识别模块602用于实现图1A所示的步骤S11，第二识别模块603用于实现图1A所示的步骤S12，确定模块604用于实现图1A所示的步骤S13。从而关于获取模块601的具体说明可以参考上述票据识别方法的实施例中图1A所示的步骤S10的相关描述，关于第一识别模块602的具体说明可以参考上述票据识别方法的实施例中图1A所示的步骤S11的相关描述，关于第二识别模块603的具体说明可以参考上述票据识别方法的实施例中图1A所示的步骤S12的相关描述，关于确定模块604的具体说明可以参考上述票据识别方法的实施例中图1A所示的步骤S13的相关描述。此外，票据识别装置可以实现与前述票据识别方法相似的技术效果，在此不再赘述。

本公开至少一实施例还提供一种电子设备，图7为本公开至少一实施例提供的一种电子设备的示意性框图。

例如，如图7所示，电子设备包括处理器701、通信接口702、存储器703和通信总线704。处理器701、通信接口702、存储器703通过通信总线704实现相互通信，处理器701、通信接口702、存储器703等组件之间也可以通过网络连接进行通信。本公开对网络的类型和功能在此不作限制。

例如，存储器703用于非瞬时性地存储计算机可读指令。处理器701用于执行计算机可读指令时，实现根据上述任一实施例所述的票据识别方法。关于该票据识别方法的各个步骤的具体实现以及相关解释内容可以参见上述票据识别方法的实施例，在此不做赘述。

例如，处理器701执行存储器703上所存放的程序而实现票据识别方法的实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。

例如，通信总线704可以是外设部件互连标准(PCI)总线或扩展工业标准结构(EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

例如，通信接口702用于实现电子设备与其他设备之间的通信。

例如，处理器701和存储器703可以设置在服务器端(或云端)。

例如，处理器701可以控制电子设备中的其它组件以执行期望的功能。处理器701可以是中央处理器(CPU)、网络处理器(NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(CPU)可以为X86或ARM架构等。

例如，存储器703可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器701可以运行所述计算机可读指令，以实现电子设备的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。

例如，关于电子设备执行票据识别的过程的详细说明可以参考票据识别方法的实施例中的相关描述，重复之处不再赘述。

图8为本公开至少一实施例提供的一种智能票据识别设备的示意性框图。

本公开至少一实施例还提供一种智能票据识别设备。如图8所示，智能票据识别设备800可以包括存储器801、处理器802和图像获取部件803。应当注意，图8所示的智能票据识别设备800的组件只是示例性的，而非限制性的，根据实际应用需要，该智能票据识别设备800还可以具有其他组件。

例如，图像获取部件803用于获得票据图像，其中，票据图像包括待识别的票据，待识别的票据可以为纸质的票据。存储器801用于存储票据图像以及计算机可读指令。处理器802用于读取票据图像，并运行计算机可读指令。计算机可读指令被处理器802运行时执行根据上述任一实施例所述的票据识别方法中的一个或多个步骤。

例如，图像获取部件803即为上述票据图像识别方法的实施例中描述的图像采集装置，例如，图像获取部件803可以是智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、网络摄像头以及其它用于图像采集的装置。

例如，票据图像可以是图像获取部件803直接采集到的原始票据图像，也可以是对原始票据图像进行预处理之后获得的图像。预处理可以消除原始票据图像中的无关信息或噪声信息，以便于更好地对票据图像进行处理。预处理例如可以包括对原始票据图像进行图像扩充(Data Augment)、图像缩放、伽玛(Gamma)校正、图像增强或降噪滤波等处理。

例如，处理器802可以控制智能票据识别设备800中的其它组件以执行期望的功能。处理器802可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器(GPU)等具有数据处理能力和/或程序执行能力的器件。

例如，存储器801可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器802可以运行计算机可读指令，以实现智能票据识别设备800的各种功能。

例如，关于智能票据识别设备800执行票据图像识别的过程的详细说明可以参考票据识别方法的实施例中的相关描述，重复之处不再赘述。

图9为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如，如图9所示，在存储介质900上可以非暂时性地存储一个或多个计算机可读指令901。例如，当计算机可读指令901由处理器执行时可以执行根据上文所述的票据识别方法中的一个或多个步骤。

例如，该存储介质900可以应用于上述电子设备和/或智能票据识别设备800中，例如，其可以包括电子设备中的存储器703和/或智能票据识别设备800中的存储器801。

例如，关于存储介质900的说明可以参考电子设备和/或智能发票识别设备800的实施例中对于存储器的描述，重复之处不再赘述。

图10示出了为本公开至少一实施例提供的一种硬件环境的示意图。本公开提供的电子设备和/或智能票据识别设备可以应用在互联网系统。

利用图10中提供的计算机系统可以实现本公开中涉及的票据识别装置、电子设备和/或智能发票识别设备。这类计算机系统可以包括个人电脑、笔记本电脑、平板电脑、手机、个人数码助理、智能眼镜、智能手表、智能指环、智能头盔及任何智能便携设备或可穿戴设备。本实施例中的特定系统利用功能框图解释了一个包含用户界面的硬件平台。这种计算机设备可以是一个通用目的的计算机设备，或一个有特定目的的计算机设备。两种计算机设备都可以被用于实现本实施例中的票据识别装置、电子设备和/或智能发票识别设备。计算机系统可以实施当前描述的实现票据图像识别所需要的信息的任何组件。例如，计算机系统能够被计算机设备通过其硬件设备、软件程序、固件以及它们的组合所实现。为了方便起见，图10中只绘制了一台计算机设备，但是本实施例所描述的实现票据图像识别所需要的信息的相关计算机功能是可以以分布的方式、由一组相似的平台所实施的，分散计算机系统的处理负荷。

如图10所示，计算机系统可以包括通信端口250，与之相连的是实现数据通信的网络，例如，计算机系统可以通过通信端口250发送和接收信息及数据，即通信端口250可以实现计算机系统与其他电子设备进行无线或有线通信以交换数据。计算机系统还可以包括一个处理器组220(即上面描述的处理器)，用于执行程序指令。处理器组220可以由至少一个处理器(例如，CPU)组成。计算机系统可以包括一个内部通信总线210。计算机系统可以包括不同形式的程序储存单元以及数据储存单元(即上面描述的存储器或存储介质)，例如硬盘270、只读存储器(ROM)230、随机存取存储器(RAM)240，能够用于存储计算机处理和/或通信使用的各种数据文件，以及处理器组220所执行的可能的程序指令。计算机系统还可以包括一个输入/输出组件260，输入/输出组件260用于实现计算机系统与其他组件(例如，用户界面280等)之间的输入/输出数据流。

通常，以下装置可以连接输入/输出组件260：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信接口。

虽然图10示出了具有各种装置的计算机系统，但应理解的是，并不要求计算机系统具备所有示出的装置，可以替代地，计算机系统可以具备更多或更少的装置。

对于本公开，还有以下几点需要说明：

(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种票据识别方法，包括：

获得待识别的票据的图像；

采用区域识别模型，识别所述图像中的各个字符区域；其中，所述各个字符区域为所述票据上的字符所在的区域，所述区域识别模型为基于神经网络的模型；

采用字符识别模型，识别所述各个字符区域中的每一字符区域中的字符内容；其中，所述字符识别模型为基于神经网络的模型；

根据所述每一字符区域的字符内容，确定所述票据的时间信息、店铺名称以及付款金额；

其中，根据所述每一字符区域的字符内容，确定所述票据的付款金额，包括：

将包含至少一个预设关键词的字符内容所在的至少一个字符区域确定为至少一个关键词字符区域；

根据所述至少一个关键词字符区域确定评分汇总区域；

根据所述评分汇总区域中的字符内容，确定所述票据的付款金额；

其中，根据所述评分汇总区域中的字符内容，确定所述票据的付款金额，包括：

将所述评分汇总区域中的所有所述预设关键词组成待查询词组，从规则数据库中选择所述待查询词组对应的目标金额确定规则；其中，所述规则数据库中存储有不同的多个待查询词组以及所述多个待查询词组对应的金额确定规则；

根据所述目标金额确定规则，从所述评分汇总区域内的字符内容中确定所述票据的付款金额。

2.如权利要求1所述的票据识别方法，其中，识别所述图像中的各个字符区域时，所述方法还包括：采用所述区域识别模型识别时间区域，并将所述时间区域进行标注，其中，所述时间区域为符合预设时间特征的字符区域；

根据所述每一字符区域的字符内容，确定所述票据的时间信息，包括：

根据所述时间区域的字符内容，确定所述票据的时间信息。

3.如权利要求1所述的票据识别方法，其中，根据所述每一字符区域的字符内容，确定所述票据的店铺名称，包括：

根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称。

4.如权利要求1所述的票据识别方法，其中，当所述票据中包含图案时，所述方法还包括：

采用所述区域识别模型，识别所述图像中图案所在的图案区域；

根据所述图案区域判断店名数据库中是否存在与所述图案相匹配的店名图案；如果存在，则将与所述图案相匹配的店名图案对应的店铺名称确定为所述票据的店铺名称，如果不存在，则识别所述图案区域中的字符，如果所述图案区域中具有字符，则根据识别的所述图案区域中的字符作为所述票据的店铺名称；如果所述图案区域中没有字符，则根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称；

其中，所述店名数据库中每一店名图案均标注有对应的店铺名称。

5.如权利要求3或4所述的票据识别方法，其中，根据所述每一字符区域的字符内容，确定所述票据的店铺名称包括：

根据所述每一字符区域的字符内容在店名数据库中进行搜索，若没有得到所述票据的店铺名称，则从所述每一字符区域的字符内容中确定店铺地址，将所述店铺地址作为所述票据的店铺名称。

6.如权利要求5所述的票据识别方法，其中，从所述每一字符区域的字符内容中确定所述店铺地址，包括：

若所述各个字符区域中的某一字符区域中出现用于标识地址的预设字符，则将所述预设字符后面的字符作为店铺地址；和/或，

若所述各个字符区域中的某一字符区域中出现行政区域名称或者街道名称对应的字符，则将所述行政区域名称或者街道名称对应的字符作为店铺地址；

将所述店铺地址作为所述票据的店铺名称，包括：

选取所述店铺地址中用于表示较小区域的地址信息作为店铺名称。

7.如权利要求1所述的票据识别方法，其中，所述规则数据库中存储的金额确定规则为：指定所述待查询词组中的一预设关键词，并将所述一预设关键词对应的金额数值作为所述票据的付款金额；

根据所述目标金额确定规则，从所述评分汇总区域的字符内容中确定所述票据的付款金额，包括：

将所述目标金额确定规则所指定的预设关键词在所述评分汇总区域中对应的金额数值作为所述票据的付款金额。

8.如权利要求1所述的票据识别方法，其中，将所述评分汇总区域中的所有所述预设关键词组成待查询词组，包括：

将所述评分汇总区域中的所有所述预设关键词按照首字母排序的方式组成待查询词组。

9.一种票据识别装置，包括：

获得模块，用于获得待识别的票据的图像；

第一识别模块，采用区域识别模型，识别所述图像中的各个字符区域；其中，所述各个字符区域为所述票据上的字符所在的区域，所述区域识别模型为基于神经网络的模型；

第二识别模块，采用字符识别模型，识别所述各个字符区域中的每一字符区域中的字符内容；其中，所述字符识别模型为基于神经网络的模型；

确定模块，用于根据所述每一字符区域的字符内容，确定所述票据的时间信息、店铺名称以及付款金额；

其中，所述确定模块根据所述每一字符区域的字符内容，确定所述票据的付款金额，包括：

将包含至少一个预设关键词的字符内容所在的至少一个字符区域确定为至少一个关键词字符区域；

根据所述至少一个关键词字符区域确定评分汇总区域；

根据所述评分汇总区域中的字符内容，确定所述票据的付款金额；

其中，所述确定模块根据所述评分汇总区域中的字符内容，确定所述票据的付款金额，包括：

将所述评分汇总区域中的所有所述预设关键词组成待查询词组，从规则数据库中选择所述待查询词组对应的目标金额确定规则；其中，所述规则数据库中存储有不同的多个待查询词组以及所述多个待查询词组对应的金额确定规则；

根据所述目标金额确定规则，从所述评分汇总区域内的字符内容中确定所述票据的付款金额。

10.如权利要求9所述的票据识别装置，其中，所述第一识别模块，还用于在识别所述图像中所述票据的各个字符区域时，采用所述区域识别模型识别时间区域，并将所述时间区域进行标注，其中，所述时间区域为符合预设时间特征的字符区域；

所述确定模块根据所述每一字符区域的字符内容，确定所述票据的时间信息，包括：

根据所述时间区域的字符内容，确定所述票据的时间信息。

11.如权利要求9所述的票据识别装置，其中，所述确定模块根据所述每一字符区域的字符内容，确定所述票据的店铺名称，包括：

根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称。

12.如权利要求9所述的票据识别装置，其中，当所述票据中包含图案时，所述第一识别模块，还用于采用所述区域识别模型，识别所述图像中图案所在的图案区域；

所述确定模块，还用于根据所述图案区域判断店名数据库中是否存在与所述图案相匹配的店名图案；如果存在，则将与所述图案相匹配的店名图案对应的店铺名称确定为所述票据的店铺名称，如果不存在，则识别所述图案区域中的字符，如果所述图案区域中具有字符，则根据识别的所述图案中的字符作为所述票据的店铺名称；如果所述图案区域中没有字符，则根据所述每一字符区域的字符内容在店名数据库中进行搜索，确定所述票据的店铺名称；

其中，所述店名数据库中每一店名图案均标注有对应的店铺名称。

13.如权利要求11或12所述的票据识别装置，其中，所述确定模块根据所述每一字符区域的字符内容，确定所述票据的店铺名称包括：根据所述每一字符区域的字符内容在店名数据库中进行搜索，若没有得到所述票据的店铺名称，则从所述每一字符区域的字符内容中确定店铺地址，将所述店铺地址作为所述票据的店铺名称。

14.如权利要求13所述的票据识别装置，其中，所述确定模块从所述每一字符区域的字符内容中确定店铺地址，包括：

若所述各个字符区域中的某一字符区域中出现用于标识地址的预设字符，则将所述预设字符后面的字符作为店铺地址；和/或，

若所述各个字符区域中的某一字符区域中出现行政区域名称或者街道名称对应的字符，则将所述行政区域名称或者街道名称对应的字符作为店铺地址；

所述确定模块将所述店铺地址作为所述票据的店铺名称，包括：

选取所述店铺地址中用于表示较小区域的地址信息作为店铺名称。

15.如权利要求9所述的票据识别装置，其中，所述规则数据库中存储的金额确定规则为：指定所述待查询词组中的一预设关键词，并将所述一预设关键词对应的金额数值作为所述票据的付款金额；

所述确定模块根据所述目标金额确定规则，从所述评分汇总区域的字符内容中确定所述票据的付款金额，包括：

将所述目标金额确定规则所指定的预设关键词在所述评分汇总区域中对应的金额数值作为所述票据的付款金额。

16.如权利要求9所述的票据识别装置，其中，所述确定模块将所述评分汇总区域中的所有所述预设关键词组成待查询词组，包括：

将所述评分汇总区域中的所有所述预设关键词按照首字母排序的方式组成待查询词组。

17.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的所述计算机程序时，实现权利要求1-8中任一所述的方法步骤。

18.一种计算机可读存储介质，其中，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法步骤。

Images