CN110516664A - 票据识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种票据识别方法、装置、电子设备及存储介质。所述方法包括：对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中的位置信息；将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。本发明实施例能够快速识别并获取目标图像所包括的票据的内容。

Description

票据识别方法、装置、电子设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种票据识别方法、装置、电子设备及存储介质。

背景技术

随着经济发展，许多公司都使用财务系统来处理公司的各类财务相关事项。其中，绝大多数财务事项均包括各类票据的识别。为了减轻财务人员的工作量，财务系统通常采用OCR(Optical Character Recognition，光学字符识别)技术对票据进行识别，提取票据有效信息。

OCR技术对文字的识别不能一目十行，必须逐行切割，票据的格式、摆放位置及方向等均会影响OCR识别文字的准确率，尤其多张票据并排粘贴在同一张报销单的情况，现有技术首先通过特征匹配对报销单的多张票据图像进行分割，然后对分割后的票据图像分别进行识别。由于票据种类过多，且存在票据格式不规范的问题，造成现有的多票据分割不准确，最终使得后续OCR识别过程的准确率低。

发明内容

针对现有技术问题，本发明实施例提供一种票据识别方法、装置、电子设备及存储介质。

本发明实施例提供一种票据识别方法，所述方法包括：

对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中的位置信息；

将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；

可选地，所述模型包括三个定位点信息和一个校正点信息，所述校正点信息包括用于校正的文本信息及对应的位置信息；

所述将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型包括：

将所述目标图像的文本信息及对应的位置信息与所述模型的三个定位点信息及一个校正点信息进行匹配，确定与所述文本信息及对应的位置信息相匹配的模型，以及所述模型所对应的票据种类。

可选地，所述根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容包括：

根据匹配成功的模型的三个定位点信息和一个校正点信息，以及所述模型所属于的票据种类，将所述目标图像中的票据内容进行定位并提取。

可选地，所述方法还包括建立目标票据的模型子库的步骤，具体包括：

对目标票据的图像进行识别，确定所述目标票据的文本信息，及所述文本信息在图像中的位置信息；

将所述文本信息及对应的位置信息与预设的票据基本信息数据库进行比对，提取出所述目标票据的固定信息及对应的位置信息，确定所述固定信息的文本类型及所述目标票据的类型；其中，所述票据基本信息数据库包括票据类型、每种票据的固定信息及每个固定信息的文本类型；

根据预定条件选取三个指定文本类型的固定信息及对应的位置信息作为定位点信息，并选取一个除所述定位点以外的一个固定信息及对应的位置信息作为校正点信息，建立所述目标票据的模型子库。

可选地，所述方法还包括：

计算所述票据基本信息数据库中同一类票据中的每个固定信息的重复比例，所述重复比例为在所述同一类票据中当前固定信息出现的次数占所述同一类票据中所有固定信息出现的次数的比例；

根据每个固定信息的重复比例，以编号的方式标记所述票据基本信息数据库中每种票据的固定信息的文本类型。

可选地，所述根据预定条件选取三个指定文本类型的固定信息及对应的位置信息作为定位点信息，并选取一个除所述定位点以外的一个固定信息及对应的位置信息作为校正点信息，建立所述目标票据的模型子库包括：

选取所述目标票据中指定文本类型的固定信息的位置信息作为候选定位点；

提取任意三个候选定位点作为一个候选组合，计算每个候选组合中三个候选定位点组成的三角形的面积；

选取三角形面积大于等于所述目标票据面积指定比例的候选组合，得到选中的候选组合的集合；

计算所述集合中的每个候选组合的校正点，所述校正点为所述目标票据中除所述候选组合中的三个定位点之外的、与所述三个定位点距离之和最大的固定信息的位置信息；

根据所述集合中的候选组合的三个定位点和一个校正点，建立所述目标票据的模型子库，其中，所述目标票据的模型子库包括所述集合中的每个候选组合对应的模型，所述模型根据对应的候选组合的三个定位点和一个校正点生成，所述模型按照对应的候选组合的三个定位点的文本类型编号之和递增进行排序。

可选地，所述将所述文本信息及对应的位置信息与模型进行比对包括：

按照所述模型在所述模型子库中的排序，将所述文本信息及对应的位置信息依次与所述模型进行比对，直至比对成功。

本发明实施例提供一种票据识别装置，所述装置包括：

第一确定单元，用于对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中位置信息；

第一比对单元，用于将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

第一获取单元，用于根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

本发明实施例还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述票据识别方法。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述票据识别方法。

本发明实施例提供的票据识别方法、装置、电子设备及存储介质，通过识别出目标图像所包含的票据的文本信息及对应的位置信息，根据文本信息及对应的位置信息匹配出目标图像所包含的票据的模型，再根据匹配出的模型提取出目标图像包括的票据内容，能够快速识别并获取目标图像所包括的票据的内容。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的票据识别方法的流程示意图；

图2为本发明一实施例提供的建立目标票据的模型子库的方法的流程示意图；

图3为本发明一实施例提供的票据识别装置的结构示意图；

图4为本发明一实施例提供的建立目标票据的模型子库的装置的结构示意图；

图5为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的一种票据识别方法的流程示意图。

如图1所示，所述方法包括以下步骤：

S11、对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中位置信息；

具体地，目标图像可为包括两个以上票据的图像，具体可以通过扫描仪或照相设备对粘贴有多个票据的报销单进行扫描或照相，获取目标图像。

随后，可以通过OCR技术，识别出目标图像中的文本内容，以及文本内容的位置信息。

S12、将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

具体地，本发明实施例中的模型包括该模型所属类型的票据的定位点信息，所述定位点信息包括用于定位的该模型所属类型的票据的文本信息及对应的位置信息。

将获得的目标图像的文本信息和位置信息，和模型进行比对，通过比对，可以获取和目标图像所包含的文本信息和位置信息相匹配的多个模型。可以理解，经过比对后，可以获得目标图像所包括的多个票据的模型。

S13、根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

具体地，匹配成功的模型包括该模型所属类型的票据的定位点信息，根据定位点信息对目标图像中属于该模型所属票据类型的票据的内容进行定位和提取。

本发明实施例提供的票据识别方法，通过识别出目标图像所包含的票据的文本信息及对应的位置信息，根据文本信息及对应的位置信息匹配出目标图像所包含的票据的模型，再根据匹配出的模型提取出目标图像包括的票据内容，能够快速识别并获取目标图像所包括的票据的内容。

在上述实施例的基础上，所述模型包括三个定位点信息和一个校正点信息，所述校正点信息包括用于校正的文本信息及对应的位置信息；其中，所述三个定位点信息的位置信息组成的三角形面积大于等于目标票据面积的指定比例，所述目标票据为所述模型所对应的票据种类的票据；所述校正点信息的位置信息为所述目标票据中除了所述三个定位点信息之外的、与所述三个定位点信息的位置信息的距离之和最大的位置信息。

具体地，本发明实施例提供票据模型库，票据模型库由多种票据的模型子库组成。每种票据具有多个模型，多个模型组成该票据的模型子库。票据模型库中的每个模型包括三个定位点信息和一个校正点信息，定位点信息包括用于定位的该模型所属类型的票据的文本信息和位置信息，校正点信息包括用于校正的该模型所属类型的票据的文本信息和位置信息。模型中三个定位点信息的位置信息组成一个三角形，该三角形的面积大于等于该模型所属类型的票据的面积的指定比例，例如大于等于该模型所属类型的票据的面积的50％，模型中的一个校正点的位置信息是除三个校正点信息以外的与三个定位点的位置信息的距离之和最大的位置信息。

在上述实施例的基础上，步骤S12具体包括：

将所述目标图像的文本信息及对应的位置信息与所述模型的三个定位点信息及一个校正点信息进行匹配，确定与所述文本信息及对应的位置信息相匹配的模型，以及所述模型所对应的票据种类。

具体地，将目标图像获得的固定信息的文本信息和位置信息，与模型库中的模型的三个定位点信息及一个校正点信息进行比对，实际操作时可以选用现有的匹配算法，在此不做赘述，通过比对，可以获得和目标图像所包含的文本信息和位置信息相匹配的多个模型，即得到目标图像所包括的多个票据的模型，如模型1，模型2，模型3，并根据模型库中以上模型所对应的票据种类，确定各模型所代表的票据种类，如模型1为增值税发票，模型2为火车票，模型3为银行回票。

在上述实施例的基础上，步骤S13具体包括：

根据匹配成功的模型的三个定位点信息和一个校正点信息，以及所述模型所对应的票据种类，将所述目标图像中的票据内容进行定位并提取。

具体地，经匹配成功的模型，包括三个定位点和一个校正点的文本信息以及位置信息。随后根据三个定位点定位目标图像中票据的所有固定信息的位置信息，然后根据校正点辅助确定票据的方向、边界等，对目标图像中的票据的所有固定信息进行一一定位并提取出文本内容。

例如，和目标图像的文本信息和位置信息相匹配的票据模型为三种，即目标图像包括三种票据，如模型1为增值税发票，模型2为火车票，模型3为银行回票。基于模型1包括的三个定位点，使用三点定位的方式，将目标图像的文本信息中属于增值税发票的票据内容一一进行定位并提取，在此过程中，基于校正点的名称、位置，实现辅助确定票据的方向、边界等作用；然后基于模型2包括的三个定位点，定位并提取属于火车票的票据内容；最后基于模型3包括的三个定位点，定位并提取属于银行回票的票据内容。

在上述实施例的基础上，步骤S11具体包括：

获取所述目标图像包含的文本内容及文本内容中每个字的位置坐标；

根据所述文本内容的文本特征将所述文本内容分割为多个文本信息；其中，所述文本特征包括空格、换行及标点；

提取每个文本信息的第一个字的位置坐标，作为所述每个文本信息的位置信息。

具体地，通过OCR识别技术对目标图像进行识别，获取目标图像包含的文本内容以及文本内容中每个字的位置坐标；基于文本特征将文本内容分割为多个文本信息；提取每个文本信息的第一个字的位置坐标，作为其所在文本信息的位置信息。

其中，文本特征可以是空格、换行等格式，也可以是冒号等标点。也就是说，通过空格，冒号等文本特征，将文本内容分割为多个文本信息，每个文本信息均为连续的字组成。

图2示出了本发明实施例提供的建立目标票据的模型子库的方法的流程示意图。

如图2所示，所述方法包括：

S21、获取目标票据的图像；

具体地，可以通过扫描仪或照相设备对目标票据进行扫描和照相，获取目标票据的图像。

S22、对所述目标票据的图像进行识别，确定所述目标票据的文本信息，及所述文本信息在图像中的位置信息；

具体地，可以通过OCR识别技术，识别出目标票据的图像中的文本内容，以及文本内容的位置信息。

本发明实施例结合OCR识别引擎使用，可以扩大OCR识别的应用场景。

S23、将所述文本信息及对应的位置信息与预设的票据基本信息数据库进行比对，提取出所述目标票据的固定信息及对应的位置信息，标注所述固定信息的文本类型，并确定所述目标票据的类型；其中，所述票据基本信息数据库包括票据类型、每种票据的固定信息及每个固定信息的文本类型，所述固定信息为空白票据必须具备的格式信息；

具体地，预设的票据基本信息数据库可以是经多种票据数据统计获得的，也可以是由票据制作方提供的基本信息汇总获得的。

票据基本信息数据库包括：票据类型、固定信息名称以及固定信息字段类型。其中，票据类型可以按照汇票、本票、支票、发票等进行划分，每一类还可以进一步细分。如，发票又细分为一类、二类、三类和四类，一类票据为增值税普通发票、增值税专用发票、增值税电子普通发票、机动车发票和卷式发票，固定信息包括发票代码、发票号码、日期、金额、校验码、税额、销售方名称、购买方名称和服务名称等；二类票据为银行回单，固定信息包括银行名称、单据名称、收款方名称、付款方名称、日期、金额和备注信息等；三类票据为机打发票，固定信息为金额等；四类票据为定额发票，固定信息为金额等。

固定信息是指空白票据必须具备的格式信息，可通过票据制作方提供的票据模板提取。如，增值税专用发票中的，名称、纳税人识别号、开户行及账号等，均为固定信息。与此相对应的是可变信息，可变信息是指本次填写的内容信息，如，增值税专用发票中的，XX公司，中国银行北京支行等信息。

每种票据有多个固定信息，本发明实施例对同一类票据中的每个固定信息进行文本类型的分类，具体可以采用编号表示每个固定信息的文本类型。

本发明实施例通过将步骤S22识别出目标票据的图像中的文本信息，以及文本信息对应的位置信息与票据基本信息数据库进行比对，具体可以通过常用的各种匹配算法实现。根据比对的结果，从目标票据图像中识别出的各个文本信息中，提取出固定信息，并分别标注固定信息的文本类型。实现方式可为：根据票据基本信息数据库中的每种票据的固定信息提取出文本信息中的固定信息，以及固定信息对应的位置信息。根据票据基本信息数据库中每个固定信息的文本类型的编号对提取出的固定信息进行编号。

本发明实施例按照对比出的目标票据的固定信息在每一种票据种类中的占比确定目标票据的种类，如对比出的固定信息中，在某个种类的票据中占比最高且超过预设数值，则确定目标票据为该票据种类。

S24、根据预定条件选取三个指定文本类型的固定信息及对应的位置信息作为定位点信息，并选取一个除所述定位点以外的一个固定信息及对应的位置信息作为校正点信息，建立所述目标票据的模型子库。

具体地，根据预定条件从标注好文本类型编号的固定信息中选取出三个定位点和一个校正点形成目标票据的一个模型，定位点为用于定位的三个固定信息的文本内容以及位置信息，校正点信息为用于校正的一个固定信息的文本内容以及位置信息。所有符合预设条件的模型，组成目标票据的模型子库。

本发明实施例提供的票据模型的构建方法，可快速对票据进行建模，模型准确度较高、通用性和可靠度高。

在上述实施例的基础上，所述方法还包括：

计算所述票据基本信息数据库中同一类票据中的每个固定信息的重复比例，所述重复比例为在所述同一类票据中当前固定信息出现的次数占所述同一类票据中所有固定信息出现的次数的比例；

根据每个固定信息的重复比例，以编号的方式标记所述票据基本信息数据库中每种票据的固定信息的文本类型。

具体地，以编号表示固定信息的文本类型，在实现方式上，可以将仅存在于某一种票据的字段类型设置为1，将存在于多种票据中的通用字段类型设置为0，其余的字段，按照在同一类票据中重复出现的比例，由小到大自2开始依次整数编号。如，“纳税人识别号”仅存在于增值税专用发票中，则该固定信息的字段类型设定为1，如“名称”可存在于多种票据中，则设定为0，如“开户行及账号”在一类票据中的重复比例最小，则设定为2，按照重复比例增加，对其他固定信息字段类型依次编号。

在上述实施例的基础上，步骤S24具体包括：

选取所述目标票据中指定文本类型的固定信息的位置信息作为候选定位点；

具体地，对步骤S23标注文本类型的固定信息进行统计，由于文本类型为1的固定信息为仅存在于某一种票据的文本类型，比较少见且能够直接判定类型，可对此类型的票据单独处理。而文本类型为0的固定信息为所有票据通用的文本信息，不具有代表性。因此，可以选取从目标票据图像中识别出的所有文本信息中文本类型为不为1和0的固定信息作为候选定位点。

提取任意三个候选定位点作为一个候选组合，计算每个候选组合中三个候选定位点组成的三角形的面积；

具体地，选取的定位点应尽可能距离较远，如组成的三角形较小，则代表定位点彼此距离较近，而差异性小的定位点，在后续用于三点定位时准确度较低。

选取三角形面积大于等于所述目标票据面积指定比例的候选组合，得到选中的候选组合的集合；

具体地，当选择建模用的三点处于目标票据不同边界侧，且三点构成的三角形面积需要大于等于票据面积的一定比例，如50％以上时，三点的可代表性较高，模型精确度高。同时，文本类型编号是根据重复比例进行排序的，编号越大，则重复比例越高，作为定位点的代表性越低。

计算所述集合中的每个候选组合的校正点，所述校正点为所述目标票据中除所述候选组合中的三个定位点之外的、与所述三个定位点距离之和最大的固定信息的位置信息；

具体地，校正点的选取原则可以计算该票据中每一个固定信息点与该三点的距离，选取一个固定信息点与该三点的距离之和最大的点，作为校正点，主要用于票据类型确认、模型校对、票据方向、票据边界等辅助作用。

根据所述集合中的候选组合的三个定位点和一个校正点，建立所述目标票据的模型子库，其中，所述目标票据的模型子库包括所述集合中的每个候选组合对应的模型，所述模型根据对应的候选组合的三个定位点和一个校正点生成，所述模型按照对应的候选组合的三个定位点的文本类型编号之和递增进行排序。

具体地，每一组符合条件的三点组合、校正点均形成目标票据的一个模型，该模型包括三个定位点和一个校正点的固定信息的文本信息以及位置信息，所有符合条件的模型，组成目标票据的模型子库，比如，增值税普通发票，对应可选取的三点组合和校正点模型有20种。

在上述实施例的基础上，步骤S12具体用于按照所述模型在所述模型子库中的排序，将所述文本信息及对应的位置信息依次与所述模型进行比对，直至比对成功。

具体地，每个目标票据的模型子库中的模型按照对应的候选组合的三个定位点的文本类型编号之和递增进行排序。在将目标图像中文本信息及对应的位置信息与模型进行比对时，按照每个票据的模型子库中的模型排序进行比对，优先比对各模型子库中排序第一的模型，未匹配，再依次进行比对，直到匹配成功。

在上述实施例的基础上，步骤S23中确定所述目标票据的类型具体包括：

若提取出的所述目标票据的固定信息占特定类型的票据中所有固定信息的比例大于占其他类型票据中所有固定信息的比例，且占所述特定类型的票据中所有固定信息的比例大于预设数值，确定所述目标票据为所述特定类型的票据。

具体地，计算目标票据的固定信息在每一种票据种类中的占比，如目标票据的固定信息在一类发票中所有固定信息的比例超过在二类、三类和四类中的比例，且占比大于预设阈值，则确定目标票据的种类为一类。

在上述实施例的基础上，步骤S22具体包括：

获取所述目标票据的图像包含的文本内容以及文本内容中每个字的位置坐标；

根据所述文本内容的文本特征将所述文本内容分割为多个文本信息；

其中，所述文本特征包括空格、换行及标点；

提取每个文本信息的第一个字的位置坐标，作为所述每个文本信息的位置信息。

具体地，通过OCR识别技术对目标票据图像进行识别，获取目标票据图像包含的文本内容以及文本内容中每个字的位置坐标；基于文本特征将文本内容分割为多个文本信息；提取每个文本信息的第一个字的位置坐标，作为其所在文本信息的位置信息。

其中，文本特征可以是空格、换行等格式，也可以是冒号等标点。也就是说，通过空格，冒号等文本特征，将文本内容分割为多个文本信息，每个文本信息均为连续的字组成。

图3示出了本发明实施例提供的一种票据识别装置的结构示意图。

如图3所示，所述装置包括：第一确定单元11、第一比对单元12和第一获取单元，其中：

所述第一确定单元11，用于对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中位置信息；

具体地，目标图像可为包括两个以上票据的图像，具体可以通过扫描仪或照相设备对粘贴有多个票据的报销单进行扫描或照相，获取目标图像。

随后，可以通过OCR技术，识别出目标图像中的文本内容，以及文本内容的位置信息。

所述第一比对单元12，用于将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

具体地，本发明实施例提供票据模型库，票据模型库由多种票据的模型子库组成。每种票据具有多个模型，多个模型组成该票据的模型子库，每个模型包括该模型所属类型的票据的定位点信息，所述定位点信息包括用于定位的该模型所属类型的票据的文本信息及对应的位置信息。

将获得的目标图像的文本信息和位置信息，和模型库中的模型进行比对，通过比对，可以获取和目标图像所包含的文本信息和位置信息相匹配的多个模型。可以理解，经过比对后，可以获得目标图像所包括的多个票据的模型。

所述第一获取单元13，用于根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

具体地，匹配成功的模型包括该模型所属类型的票据的定位点信息，根据定位点信息对目标图像中属于该模型所属票据类型的票据的内容进行定位和提取。

本发明实施例提供的票据识别装置，通过识别出目标图像所包含的票据的文本信息及对应的位置信息，根据文本信息及对应的位置信息匹配出目标图像所包含的票据的模型，再根据匹配出的模型提取出目标图像包括的票据内容，能够快速识别并获取目标图像所包括的票据的内容。

在上述实施例的基础上，所述模型包括三个定位点信息和一个校正点信息，所述校正点信息包括用于校正的文本信息及对应的位置信息；其中，所述三个定位点信息的位置信息组成的三角形面积大于等于目标票据面积的指定比例，所述目标票据为所述模型所对应的票据种类的票据；所述校正点信息的位置信息为所述目标票据中除了所述三个定位点信息之外的、与所述三个定位点信息的位置信息的距离之和最大的位置信息。

具体地，票据模型库中的每个模型包括三个定位点信息和一个校正点信息，定位点信息包括用于定位的该模型所属类型的票据的文本信息和位置信息，校正点信息包括用于校正的该模型所属类型的票据的文本信息和位置信息。模型中三个定位点信息的位置信息组成一个三角形，该三角形的面积大于等于该模型所属类型的票据的面积的指定比例，例如大于等于该模型所属类型的票据的面积的50％，模型中的一个校正点的位置信息是除三个校正点信息以外的与三个定位点的位置信息的距离之和最大的位置信息。

在上述实施例的基础上，所述第一比对单元12具体用于将所述目标图像的文本信息及对应的位置信息与所述模型的三个定位点信息及一个校正点信息进行匹配，确定与所述文本信息及对应的位置信息相匹配的模型，以及所述模型所对应的票据种类。

具体地，将目标图像获得的固定信息的文本信息和位置信息，与模型库中的模型的三个定位点信息及一个校正点信息进行比对，实际操作时可以选用现有的匹配算法，在此不做赘述，通过比对，可以获得和目标图像所包含的文本信息和位置信息相匹配的多个模型，即得到目标图像所包括的多个票据的模型，如模型1，模型2，模型3，并根据模型库中以上模型所对应的票据种类，确定各模型所代表的票据种类，如模型1为增值税发票，模型2为火车票，模型3为银行回票。

需要说明的是，在比对时，按照每个票据的模型子库中的排序进行比对，优先比对各模型子库中排序第一的模型，未匹配，再依次进行比对，直到匹配成功。

在上述实施例的基础上，所述第一获取单元13，具体用于根据匹配成功的模型的三个定位点信息和一个校正点信息，以及所述模型所对应的票据种类，将所述目标图像中的票据内容进行定位并提取。

具体地，经匹配成功的模型，包括三个定位点和一个校正点的文本信息以及位置信息。随后根据三个定位点定位目标图像中票据的所有固定信息的位置信息，然后根据校正点辅助确定票据的方向、边界等，对目标图像中的票据的所有固定信息进行一一定位并提取出文本内容。

例如，和目标图像的文本信息和位置信息相匹配的票据模型为三种，即目标图像包括三种票据，如模型1为增值税发票，模型2为火车票，模型3为银行回票。基于模型1包括的三个定位点，使用三点定位的方式，将目标图像的文本信息中属于增值税发票的票据内容一一进行定位并提取，在此过程中，基于校正点的名称、位置，实现辅助确定票据的方向、边界等作用；然后基于模型2包括的三个定位点，定位并提取属于火车票的票据内容；最后基于模型3包括的三个定位点，定位并提取属于银行回票的票据内容。

在上述实施例的基础上，所述第一确定单元11具体包括：

第一获取模块，用于获取所述目标图像包含的文本内容及文本内容中每个字的位置坐标；

第一分割模块，用于根据所述文本内容的文本特征将所述文本内容分割为多个文本信息；其中，所述文本特征包括空格、换行及标点；

第一提取模块，用于提取每个文本信息的第一个字的位置坐标，作为所述每个文本信息的位置信息。

具体地，通过OCR识别技术对目标图像进行识别，获取目标图像包含的文本内容以及文本内容中每个字的位置坐标；基于文本特征将文本内容分割为多个文本信息；提取每个文本信息的第一个字的位置坐标，作为其所在文本信息的位置信息。

其中，文本特征可以是空格、换行等格式，也可以是冒号等标点。也就是说，通过空格，冒号等文本特征，将文本内容分割为多个文本信息，每个文本信息均为连续的字组成。

图4示出了本发明实施例提供的建立目标票据的模型子库的装置的结构示意图。

如图4所示，所述装置包括：第二获取单元21、第二确定单元22、第二比对单元23、第三确定单元24和建立单元25，其中：

所述第二获取单元21，用于获取目标票据的图像；

具体地，可以通过扫描仪或照相设备对目标票据进行扫描和照相，获取目标票据的图像。

所述第二确定单元22，用于对所述目标票据的图像进行识别，确定所述目标票据的文本信息，及所述文本信息在图像中的位置信息；

具体地，可以通过OCR识别技术，识别出目标票据的图像中的文本内容，以及文本内容的位置信息。

所述第二比对单元23，用于将所述文本信息及对应的位置信息与预设的票据基本信息数据库进行比对，提取出所述目标票据的固定信息及对应的位置信息，标注所述固定信息的文本类型；其中，所述票据基本信息数据库包括票据类型、每种票据的固定信息及每个固定信息的文本类型，所述固定信息为空白票据必须具备的格式信息；

具体地，预设的票据基本信息数据库可以是经多种票据数据统计获得的，也可以是由票据制作方提供的基本信息汇总获得的。

票据基本信息数据库包括：票据类型、固定信息名称以及固定信息字段类型。其中，票据类型可以按照汇票、本票、支票、发票等进行划分，每一类还可以进一步细分。如，发票又细分为一类、二类、三类和四类，一类票据为增值税普通发票、增值税专用发票、增值税电子普通发票、机动车发票和卷式发票，固定信息包括发票代码、发票号码、日期、金额、校验码、税额、销售方名称、购买方名称和服务名称等；二类票据为银行回单，固定信息包括银行名称、单据名称、收款方名称、付款方名称、日期、金额和备注信息等；三类票据为机打发票，固定信息为金额等；四类票据为定额发票，固定信息为金额等。

固定信息是指空白票据必须具备的格式信息，可通过票据制作方提供的票据模板提取。如，增值税专用发票中的，名称、纳税人识别号、开户行及账号等，均为固定信息。与此相对应的是可变信息，可变信息是指本次填写的内容信息，如，增值税专用发票中的，XX公司，中国银行北京支行等信息。

每种票据有多个固定信息，本发明实施例对同一类票据中的每个固定信息进行文本类型的分类，具体可以采用编号表示每个固定信息的文本类型。

本发明实施例通过将第二确定单元S22识别出目标票据的图像中的文本信息，以及文本信息对应的位置信息与票据基本信息数据库进行比对，具体可以通过常用的各种匹配算法实现。根据比对的结果，从目标票据图像中识别出的各个文本信息中，提取出固定信息，并分别标注固定信息的文本类型。实现方式可为：根据票据基本信息数据库中的每种票据的固定信息提取出文本信息中的固定信息，以及固定信息对应的位置信息。根据票据基本信息数据库中每个固定信息的文本类型的编号对提取出的固定信息进行编号。

第三确定单元24，用于根据提取的所述目标票据的固定信息确定所述目标票据的类型；

具体地，本发明实施例按照对比出的目标票据的固定信息在每一种票据种类中的占比确定目标票据的种类，如对比出的固定信息中，在某个种类的票据中占比最高且超过预设数值，则确定目标票据为该票据种类。

所述建立单元25，用于根据预定条件选取三个指定文本类型的固定信息及对应的位置信息作为定位点信息，并选取一个除所述定位点以外的一个固定信息及对应的位置信息作为校正点信息，建立所述目标票据的模型子库。

具体地，根据预定条件从标注好文本类型编号的固定信息中选取出三个定位点和一个校正点形成目标票据的一个模型，定位点为用于定位的三个固定信息的文本内容以及位置信息，校正点信息为用于校正的一个固定信息的文本内容以及位置信息。所有符合预设条件的模型，组成目标票据的模型子库。

本发明实施例提供的票据模型的构建装置，可快速对票据进行建模，模型准确度较高、通用性和可靠度高。

在上述实施例的基础上，所述装置还包括：

计算单元，用于计算所述票据基本信息数据库中同一类票据中的每个固定信息的重复比例，所述重复比例为在所述同一类票据中当前固定信息出现的次数占所述同一类票据中所有固定信息出现的次数的比例；

标记单元，用于根据每个固定信息的重复比例，以编号的方式标记所述票据基本信息数据库中每种票据的固定信息的文本类型。

具体地，以编号表示固定信息的文本类型，在实现方式上，可以将仅存在于某一种票据的字段类型设置为1，将存在于多种票据中的通用字段类型设置为0，其余的字段，按照在同一类票据中重复出现的比例，由小到大自2开始依次整数编号。如，“纳税人识别号”仅存在于增值税专用发票中，则该固定信息的字段类型设定为1，如“名称”可存在于多种票据中，则设定为0，如“开户行及账号”在一类票据中的重复比例最小，则设定为2，按照重复比例增加，对其他固定信息字段类型依次编号。

在上述实施例的基础上，所述建立单元25具体包括：

第一选取模块，用于选取所述目标票据中指定文本类型的固定信息的位置信息作为候选定位点；

具体地，对第二比对单元23提取出的固定信息的文本类型进行统计，由于文本类型为1的固定信息为仅存在于某一种票据的文本类型，比较少见且能够直接判定类型，可对此类型的票据单独处理。而文本类型为0的固定信息为所有票据通用的文本信息，不具有代表性。因此，可以选取从目标票据图像中识别出的所有文本信息中文本类型为不为1和0的固定信息作为候选定位点。

第一计算模块，用于提取任意三个候选定位点作为一个候选组合，计算每个候选组合中三个候选定位点组成的三角形的面积；

具体地，选取的定位点应尽可能距离较远，如组成的三角形较小，则代表定位点彼此距离较近，而差异性小的定位点，在后续用于三点定位时准确度较低。

第二选取模块，用于选取三角形面积大于等于所述目标票据面积指定比例的候选组合，得到选中的候选组合的集合；

具体地，当选择建模用的三点处于目标票据不同边界侧，且三点构成的三角形面积需要大于等于票据面积的一定比例，如50％以上时，三点的可代表性较高，模型精确度高。同时，文本类型编号是根据重复比例进行排序的，编号越大，则重复比例越高，作为定位点的代表性越低。

第二计算模块，用于计算所述集合中的每个候选组合的校正点，所述校正点为所述目标票据中除所述候选组合中的三个定位点之外的、与所述三个定位点距离之和最大的固定信息的位置信息；

具体地，校正点的选取原则可以计算该票据中每一个固定信息点与该三点的距离，选取一个固定信息点与该三点的距离之和最大的点，作为校正点，主要用于票据类型确认、模型校对、票据方向、票据边界等辅助作用。

建立模块，用于根据所述集合中的候选组合的三个定位点和一个校正点，建立所述目标票据的模型子库，其中，所述目标票据的模型子库包括所述集合中的每个候选组合对应的模型，所述模型根据对应的候选组合的三个定位点和一个校正点生成，所述模型按照对应的候选组合的三个定位点的文本类型编号之和递增进行排序。

具体地，每一组符合条件的三点组合、校正点均形成目标票据的一个模型，该模型包括三个定位点和一个校正点的固定信息的文本信息以及位置信息，所有符合条件的模型，组成目标票据的模型子库，比如，增值税普通发票，对应可选取的三点组合和校正点模型有20种。

在上述实施例的基础上，所述第一比对单元12，用于按照所述模型在所述模型子库中的排序，将所述文本信息及对应的位置信息依次与所述模型进行比对，直至比对成功。

具体地，每个目标票据的模型子库中的模型按照对应的候选组合的三个定位点的文本类型编号之和递增进行排序。在将目标图像中文本信息及对应的位置信息与模型进行比对时，按照每个票据的模型子库中的模型排序进行比对，优先比对各模型子库中排序第一的模型，未匹配，再依次进行比对，直到匹配成功。

在上述实施例的基础上，所述第三确定单元24具体用于若提取出的所述目标票据的固定信息占特定类型的票据中所有固定信息的比例大于占其他类型票据中所有固定信息的比例，且占所述特定类型的票据中所有固定信息的比例大于预设数值，确定所述目标票据为所述特定类型的票据。

具体地，计算目标票据的固定信息在每一种票据种类中的占比，如目标票据的固定信息在一类发票中所有固定信息的比例超过在二类、三类和四类中的比例，且占比大于预设阈值，则确定目标票据的种类为一类。

在上述实施例的基础上，所述第二确定单元22具体包括：

第二获取模块，用于获取所述目标票据的图像包含的文本内容以及文本内容中每个字的位置坐标；

第二分割模块，用于根据所述文本内容的文本特征将所述文本内容分割为多个文本信息；其中，所述文本特征包括空格、换行及标点；

第二提取模块，用于提取每个文本信息的第一个字的位置坐标，作为所述每个文本信息的位置信息。

具体地，通过OCR识别技术对目标票据图像进行识别，获取目标票据图像包含的文本内容以及文本内容中每个字的位置坐标；基于文本特征将文本内容分割为多个文本信息；提取每个文本信息的第一个字的位置坐标，作为其所在文本信息的位置信息。

其中，文本特征可以是空格、换行等格式，也可以是冒号等标点。也就是说，通过空格，冒号等文本特征，将文本内容分割为多个文本信息，每个文本信息均为连续的字组成。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)31、通信接口(Communications Interface)32、存储器(memory)33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的逻辑指令，以执行如下方法：

对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中的位置信息；

将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：

对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中的位置信息；

将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种票据识别方法，其特征在于，所述方法包括：

对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中的位置信息；

将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

2.根据权利要求1所述的票据识别方法，其特征在于，所述模型包括三个定位点信息和一个校正点信息，所述校正点信息包括用于校正的文本信息及对应的位置信息；

所述将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型包括：

将所述目标图像的文本信息及对应的位置信息与所述模型的三个定位点信息及一个校正点信息进行匹配，确定与所述文本信息及对应的位置信息相匹配的模型，以及所述模型所对应的票据种类。

3.根据权利要求2所述的票据识别方法，其特征在于，所述根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容包括：

根据匹配成功的模型的三个定位点信息和一个校正点信息，以及所述模型所属于的票据种类，将所述目标图像中的票据内容进行定位并提取。

4.根据权利要求1所述的票据识别方法，其特征在于，所述方法还包括建立目标票据的模型子库的步骤，具体包括：

对目标票据的图像进行识别，确定所述目标票据的文本信息，及所述文本信息在图像中的位置信息；

将所述文本信息及对应的位置信息与预设的票据基本信息数据库进行比对，提取出所述目标票据的固定信息及对应的位置信息，确定所述固定信息的文本类型及所述目标票据的类型；其中，所述票据基本信息数据库包括票据类型、每种票据的固定信息及每个固定信息的文本类型；

根据预定条件选取三个指定文本类型的固定信息及对应的位置信息作为定位点信息，并选取一个除所述定位点以外的一个固定信息及对应的位置信息作为校正点信息，建立所述目标票据的模型子库。

5.根据权利要求4所述的票据识别方法，其特征在于，所述方法还包括：

计算所述票据基本信息数据库中同一类票据中的每个固定信息的重复比例，所述重复比例为在所述同一类票据中当前固定信息出现的次数占所述同一类票据中所有固定信息出现的次数的比例；

根据每个固定信息的重复比例，以编号的方式标记所述票据基本信息数据库中每种票据的固定信息的文本类型。

6.根据权利要求5所述的票据识别方法，其特征在于，所述根据预定条件选取三个指定文本类型的固定信息及对应的位置信息作为定位点信息，并选取一个除所述定位点以外的一个固定信息及对应的位置信息作为校正点信息，建立所述目标票据的模型子库包括：

选取所述目标票据中指定文本类型的固定信息的位置信息作为候选定位点；

提取任意三个候选定位点作为一个候选组合，计算每个候选组合中三个候选定位点组成的三角形的面积；

选取三角形面积大于等于所述目标票据面积指定比例的候选组合，得到选中的候选组合的集合；

计算所述集合中的每个候选组合的校正点，所述校正点为所述目标票据中除所述候选组合中的三个定位点之外的、与所述三个定位点距离之和最大的固定信息的位置信息；

根据所述集合中的候选组合的三个定位点和一个校正点，建立所述目标票据的模型子库，其中，所述目标票据的模型子库包括所述集合中的每个候选组合对应的模型，所述模型根据对应的候选组合的三个定位点和一个校正点生成，所述模型按照对应的候选组合的三个定位点的文本类型编号之和递增进行排序。

7.根据权利要求6所述的票据识别方法，其特征在于，所述将所述文本信息及对应的位置信息与模型进行比对包括：

按照所述模型在所述模型子库中的排序，将所述文本信息及对应的位置信息依次与所述模型进行比对，直至比对成功。

8.一种票据识别装置，其特征在于，所述装置包括：

第一确定单元，用于对目标图像进行识别，确定所述目标图像中票据的文本信息，以及所述文本信息在目标图像中的位置信息；

第一比对单元，用于将所述文本信息及对应的位置信息与模型进行比对，得到与所述目标图像中的票据相匹配的模型；所述模型包括定位点信息，所述定位点信息包括用于定位的文本信息及对应的位置信息；

第一获取单元，用于根据匹配成功的模型的定位点信息获取所述目标图像包括的票据内容。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述票据识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述票据识别方法的步骤。