CN107622255B - 基于位置模板与语义模板的票据图像字段定位方法及系统 - Google Patents

Abstract

本发明提供了一种基于位置模板与语义模板的票据图像字段定位方法及系统，包括：分析字段在票据图像中四类位置属性；为不同的票据类型分别制定不同的模板配置xml文件；通过票据分类系统分析票据图像的票据类型，并加载与该票据图像具有相同的票据类型的模板配置xml文件；定位票据图像中全部的字段位置坐标；通过模板配置xml文件并根据四类位置属性进行定位计算获取所需要识别的字段在票据图像的位置坐标，并获取该字段局部图像；文字识别系统采用OCR技术将字段局部图像识别成字符串。本发明能有效的获得字段在票据图像的具体位置坐标，有效的保存了大量关于发票类型特点规律的数据，为发票文字定位、文字识别提供更多的数据支持。

Description

基于位置模板与语义模板的票据图像字段定位方法及系统

技术领域

本发明属于图像识别、视频分析领域，尤其涉及一种基于位置模板与语义模板的票据图像字段定位方法及系统。

背景技术

现代社会的各种商业活动，广泛使用各种票据，尽管电子支付、电子票据等发展日益增多，传统纸质票据仍然被广泛使用，如各类纸质发票、金融票据等。目前，财务部门平均每天有大量的票据影像，多岗位员工需要对同一张票据进行重复稽核，不仅耗费人力，而且降低了报账效率。通过图像OCR技术实现票面信息的提取，将提取的票面信息与报账信息进行对比，实现自动稽核；OCR提取的票据信息存入数据库中，相当于一个具有极强记忆力的大脑，可以很容易发现报账名称和纳税人识别号不一致，拆分报账等问题。同时，在互联网+财务的发展趋势背景下，借助OCR技术，将非结构化扫描影像数据中的有用信息转换为结构化的字符串数据，为有效数据挖掘和财务大数据分析提供数据基础。

票据OCR智能识别系统，一般有三个系统组成：票据类型分类系统、票据图像字段定位系统、票据图像文字识别系统。票据分类系统，基于图像特征，分析票据的类型，输出票据的类型给字段定位系统；字段定位系统根据票据的类型，采取相应的策略，获取每个字段的位置和局部图像；定位系统将字段局部图像输出到文字识别系统中，文字识别系统将图像文件OCR识别成字符串文件。

专利CN201310082322“票据信息区域自动识别和提取方法及设备”侧重使用级联分类器对发票进行分类，在字段定位模块中，只是使用固定位置来提取特定的字段，适用的票据范围太小。

专利CN201610070970“一种基于OCR的票据自动识别与处理系统”是针对增值税发票，适用票据类型不具有广泛性，而且在增值税发票处理中，只是对指定的几个字段做固定位置定位获取。

发明内容

本发明的目的为了克服现有技术中的不足，提供一种基于位置模板与语义模板的票据图像字段定位方法及系统，本基于位置模板与语义模板的票据图像字段定位方法及系统能有效的获得字段在票据图像的具体位置坐标，有效的保存了大量关于发票类型特点规律的数据，为发票文字定位、文字识别提供更多的数据支持。

为实现上述技术目的，本发明采取的技术方案之一是：

一种基于位置模板与语义模板的票据图像字段定位方法，其特征在于包括以下步骤：

步骤1：字段定位系统分析字段在票据图像中四类位置属性；

步骤2：字段定位系统根据不同票据类型的格式规律，为不同的票据类型分别制定不同的模板配置xml文件；

步骤3：票据分类系统分析票据图像的票据类型并发送票据类型到字段定位系统，字段定位系统加载与该票据图像具有相同的票据类型的模板配置xml文件；

步骤4: 获取票据图像中全部的字段位置坐标；

步骤5：字段定位系统通过模板配置xml文件并根据四类位置属性进行定位计算从而获取所需要识别的字段在票据图像的具体位置坐标，并获取该字段局部图像；

步骤6：字段定位系统将字段局部图像输入到文字识别系统中，文字识别系统采用OCR技术将字段局部图像识别成字符串。

优选的，所述的步骤1中四类位置属性包括：

（a）固定位置属性，字段在票据图像中的位置固定不动；

（b）套打位置属性，票据图像中的字段的打印是套用一定格式打印的，每个字段之间的相对位置不动，但字段在票据上的位置却不固定；选取车辆训练正样本和负样本，建立样本标签数据表；

（c）标题语义属性，字段在票据图像上位置变化不定，且每个字段有一个标题；

（d）关键语义属性，字段在票据图像上位置变化不定，且每个字段没有标题，但有一定关键语义。

优选的，所述的步骤2包括以下步骤：

（a）字段定位系统收集不同票据类型的高清票据图像，根据所需要识别的字段为不同的票据类型分别制定不同的模板配置xml文件；

（b）每个模板配置xml文件中，均写明票据类型ID、票据名称和票据图像的中所需要识别的字段数目，写明所需要识别的每个字段的ID、每个字段的名称、每个字段的定位属性、每个字段在票据图像中的位置、每个字段的存在标题和每个字段的关键语义，计算并记录每个字段间相对位置；

（c）字段定位系统将每个模板配置xml文件均以其所属的票据图像的类型ID命名并保存。

优选的，所述的步骤3包括以下步骤：

（a）票据分类系统分析出票据图像的票据类型，并将该票据图像的票据类型ID输出到字段定位系统；

（b）字段定位系统根据票据类型ID，从所有的模板配置xml文件中加载与该票据图像的票据类型ID相同的模板配置xml文件, 获取该类型票据的定位属性，即票据图像中字段的位置属性。

优选的，所述步骤5具体包括以下步骤：

（a）字段定位系统获取与该票据图像对应的模板配置xml文件中的字段位置坐标数据；

（b）如果步骤1中判断的字段在票据图像中的位置属性属于固定位置属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中提取与模板配置xml文件中的对应相同的字段位置坐标，该一致的字段位置坐标即为所需要识别的字段位置坐标，获取所需要识别的字段局部图像；

（c）如果步骤1中判断的字段在票据图像中的位置属性属于套打位置属性，字段定位系统通过图像特征方法从步骤4的票据图像中的全部的字段位置坐标中获取有标志特征的字段，命名为标志字段；分析模板配置xml文件的字段中与标志字段具有相同的字段的位置坐标和标志字段在票据图像中的位置坐标之间的关系，计算模板配置xml文件中其他的字段位置坐标，从而计算步骤4的票据图像中与模板配置xml文件中的全部字段具有相同的字段的位置坐标并获取该字段局部图像；

（d）如果步骤1中判断的字段在票据图像中的位置属性属于标题语义属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中识别字符串值，判断字符串中是否包含标题语义，如果包含，则提取标题后面的真实字段信息，从票据图像的真实字段信息中提取与模板配置xml文件中的对应相同的字段，根据相同的字段在票据图像中的位置坐标获取该字段局部图像；

（e）如果步骤1中判断的字段在票据图像中的位置属性属于关键语义属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中识别字符串值，判断字符串中是否包含关键语义，如果包含，提取关键的字段信息，从票据图像中关键的字段信息中提取与模板配置xml文件中相同的字段，根据相同的字段在票据图像中的位置坐标获取该字段局部图像。

为实现上述技术目的，本发明采取的技术方案之二是：

一种基于位置模板与语义模板的票据图像字段定位系统，其特征在于该系统包括字段定位系统、票据分类系统和文字识别系统，字段定位系统分别与票据分类系统和文字识别系统连接；

所述的字段定位系统包括：

分析模块，用于分析字段在票据图像中四类位置属性；

制作模块，用于根据不同票据类型的格式规律，为不同的票据类型分别制定不同的模板配置xml文件；

接收模块，用于接收票据分类系统发送的票据图像的票据类型；

加载模块，用于加载与该票据图像具有相同的票据类型的模板配置xml文件；

获取模块，用于根据票据图像的位置属性和模板配置xml文件中字段的位置坐标从而获取所需要识别的字段在票据图像的具体位置坐标并获取所需要识别的字段局部图像；

发送模块，用于发送字段局部图像到文字识别系统；

所述票据分类系统用于分析票据图像的票据类型并发送票据类型到字段定位系统；

所述文字识别系统用于接收字段定位系统中的发送模块发送的字段局部图像，并采用OCR技术将字段局部图像识别成字符串。

本发明的有益效果是：本发明综合分析了各种类型的发票格式规律，发票中字段位置总结了四类位置属性：固定位置属性、套打位置属性、标题语义属性和关键语义属性，设置上面四种位置属性，在定位每个字段位置时，根据该字段在模板中位置属性，采取相应策略进行定位计算，获得该字段在票据的具体坐标，并获取该字段局部图像，这样可以灵活设置不同类型发票的多种类型的组合，而不是使用单一的规律格式；发明定位系统为不同类型的票据，选择一张高清的票据图像，来制作模板配置xml文件，保存了大量关于发票类型特点规律的数据，为发票文字定位、文字识别提供更多的数据支持。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明的工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供了一种基于位置模板与语义模板的票据图像字段定位方法及系统，包括：分析字段在票据图像中四类位置属性；根据不同票据类型的格式规律，为不同的票据类型分别制定不同的模板配置xml文件；通过票据分类系统分析票据图像的票据类型，并加载与该票据图像具有相同的票据类型的模板配置xml文件；定位票据图像中全部的字段位置坐标；通过模板配置xml文件并根据四类位置属性进行定位计算从而获取所需要识别的字段在票据图像的具体位置坐标，并获取该字段局部图像；将字段局部图像输入到文字识别系统中，文字识别系统采用OCR技术将字段局部图像识别成字符串；本发明能有效的获得字段在票据图像的具体位置坐标，有效的保存了大量关于发票类型特点规律的数据，为发票文字定位、文字识别提供更多的数据支持。

实施例一。

一种基于位置模板与语义模板的票据图像字段定位方法，其包括以下步骤：

步骤1：字段定位系统分析字段在票据图像中四类位置属性；

步骤2：字段定位系统根据不同票据类型的格式规律，为不同的票据类型分别制定不同的模板配置xml文件；

步骤3：票据分类系统分析票据图像的票据类型并发送票据类型到字段定位系统，字段定位系统加载与该票据图像具有相同的票据类型的模板配置xml文件；

步骤4: 获取票据图像中全部的字段位置坐标；

步骤5：字段定位系统通过模板配置xml文件并根据四类位置属性进行定位计算从而获取所需要识别的字段在票据图像的具体位置坐标，并获取该字段局部图像；

步骤6：字段定位系统将字段局部图像输入到文字识别系统中，文字识别系统采用OCR技术将字段局部图像识别成字符串。

优选的，所述的步骤1中四类位置属性包括：

（a）固定位置属性，字段在票据图像中的位置固定不动；

（b）套打位置属性，票据图像中的字段的打印是套用一定格式打印的，每个字段之间的相对位置不动，但字段在票据上的位置却不固定；选取车辆训练正样本和负样本，建立样本标签数据表；

（c）标题语义属性，字段在票据图像上位置变化不定，且每个字段有一个标题；

（d）关键语义属性，字段在票据图像上位置变化不定，且每个字段没有标题，但有一定关键语义。

优选的，所述的步骤2包括以下步骤：

（a）字段定位系统收集不同票据类型的高清票据图像，根据所需要识别的字段为不同的票据类型分别制定不同的模板配置xml文件；

（b）每个模板配置xml文件中，均写明票据类型ID、票据名称和票据图像的中所需要识别的字段数目，写明所需要识别的每个字段的ID、每个字段的名称、每个字段的定位属性、每个字段在票据图像中的位置、每个字段的存在标题和每个字段的关键语义，计算并记录每个字段间相对位置；

（c）字段定位系统将每个模板配置xml文件均以其所属的票据图像的类型ID命名并保存。

优选的，所述的步骤3包括以下步骤：

（a）票据分类系统分析出票据图像的票据类型，并将该票据图像的票据类型ID输出到字段定位系统；

（b）字段定位系统根据票据类型ID，从所有的模板配置xml文件中加载与该票据图像的票据类型ID相同的模板配置xml文件, 获取该类型票据的定位属性，即票据图像中字段的位置属性。

优选的，所述步骤5具体包括以下步骤：

（a）字段定位系统获取与该票据图像对应的模板配置xml文件中的字段位置坐标数据；

（b）如果步骤1中判断的字段在票据图像中的位置属性属于固定位置属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中提取与模板配置xml文件中的对应相同的字段位置坐标，该一致的字段位置坐标即为所需要识别的字段位置坐标，获取所需要识别的字段局部图像；

（c）如果步骤1中判断的字段在票据图像中的位置属性属于套打位置属性，字段定位系统通过图像特征方法从步骤4的票据图像中的全部的字段位置坐标中获取有标志特征的字段，命名为标志字段；分析模板配置xml文件的字段中与标志字段具有相同的字段的位置坐标和标志字段在票据图像中的位置坐标之间的关系，计算模板配置xml文件中其他的字段位置坐标，从而计算步骤4的票据图像中与模板配置xml文件中的全部字段具有相同的字段的位置坐标并获取该字段局部图像；

（d）如果步骤1中判断的字段在票据图像中的位置属性属于标题语义属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中识别字符串值，判断字符串中是否包含标题语义，如果包含，则提取标题后面的真实字段信息，从票据图像的真实字段信息中提取与模板配置xml文件中的对应相同的字段，根据相同的字段在票据图像中的位置坐标获取该字段局部图像；

（e）如果步骤1中判断的字段在票据图像中的位置属性属于关键语义属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中识别字符串值，判断字符串中是否包含关键语义，如果包含，提取关键的字段信息，从票据图像中关键的字段信息中提取与模板配置xml文件中相同的字段，根据相同的字段在票据图像中的位置坐标获取该字段局部图像。

实施例二。

一种基于位置模板与语义模板的票据图像字段定位系统，该系统包括字段定位系统、票据分类系统和文字识别系统，字段定位系统分别与票据分类系统和文字识别系统连接；

所述的字段定位系统包括：

分析模块，用于分析字段在票据图像中四类位置属性；

制作模块，用于根据不同票据类型的格式规律，为不同的票据类型分别制定不同的模板配置xml文件；

接收模块，用于接收票据分类系统发送的票据图像的票据类型；

加载模块，用于加载与该票据图像具有相同的票据类型的模板配置xml文件；

获取模块，用于根据票据图像的位置属性和模板配置xml文件中字段的位置坐标从而获取所需要识别的字段在票据图像的具体位置坐标并获取所需要识别的字段局部图像；

发送模块，用于发送字段局部图像到文字识别系统；

所述票据分类系统用于分析票据图像的票据类型并发送票据类型到字段定位系统；

所述文字识别系统用于接收字段定位系统中的发送模块发送的字段局部图像，并采用OCR技术将字段局部图像识别成字符串。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (4)

1.一种基于位置模板与语义模板的票据图像字段定位方法，其特征在于包括以下步骤：

步骤1：字段定位系统分析字段在票据图像中四类位置属性；其中，四类位置属性包括：

（a）固定位置属性，字段在票据图像中的位置固定不动；

（b）套打位置属性，票据图像中的字段的打印套用一定格式打印，每个字段之间的相对位置不动，但字段在票据上的位置不固定；

（c）标题语义属性，字段在票据图像上位置变化不定，且每个字段有一个标题；

（d）关键语义属性，字段在票据图像上位置变化不定，且每个字段没有标题，但有一定关键语义；

步骤2：字段定位系统根据不同票据类型的格式规律，为不同的票据类型分别制定不同的模板配置xml文件；

步骤3：票据分类系统分析票据图像的票据类型并发送票据类型到字段定位系统，字段定位系统加载与该票据图像具有相同的票据类型的模板配置xml文件；

步骤4: 获取票据图像中全部的字段位置坐标；

步骤5：字段定位系统通过模板配置xml文件并根据四类位置属性进行定位计算从而获取所需要识别的字段在票据图像的具体位置坐标，并获取该字段局部图像；

步骤6：字段定位系统将字段局部图像输入到文字识别系统中，文字识别系统采用OCR技术将字段局部图像识别成字符串。

2.根据权利要求1所述的一种基于位置模板与语义模板的票据图像字段定位方法，其特征在于所述的步骤2包括以下步骤：

（a）字段定位系统收集不同票据类型的高清票据图像，根据所需要识别的字段为不同的票据类型分别制定不同的模板配置xml文件；

（b）每个模板配置xml文件中，均写明票据类型ID、票据名称和票据图像中所需要识别的字段数目，写明所需要识别的每个字段的ID、每个字段的名称、每个字段的定位属性、每个字段在票据图像中的位置、每个字段的存在标题和每个字段的关键语义，计算并记录每个字段间相对位置；

（c）字段定位系统将每个模板配置xml文件均以其所属的票据图像的类型ID命名并保存。

3.根据权利要求1所述的一种基于位置模板与语义模板的票据图像字段定位方法，其特征在于所述的步骤3包括以下步骤：

（a）票据分类系统分析出票据图像的票据类型，并将该票据图像的票据类型ID输出到字段定位系统；

（b）字段定位系统根据票据类型ID，从所有的模板配置xml文件中加载与该票据图像的票据类型ID相同的模板配置xml文件, 获取该类型票据的定位属性，即票据图像中字段的位置属性。

4.根据权利要求1所述的一种基于位置模板与语义模板的票据图像字段定位方法，其特征在于所述步骤5具体包括以下步骤：

（a）字段定位系统获取与该票据图像对应的模板配置xml文件中的字段位置坐标数据；

（b）如果步骤1中判断的字段在票据图像中的位置属性属于固定位置属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中提取与模板配置xml文件中的对应相同的字段位置坐标，该相同的字段位置坐标即为所需要识别的字段位置坐标，获取所需要识别的字段局部图像；

（c）如果步骤1中判断的字段在票据图像中的位置属性属于套打位置属性，字段定位系统通过图像特征方法从步骤4的票据图像中的全部的字段位置坐标中获取有标志特征的字段，命名为标志字段；分析模板配置xml文件的字段中与标志字段具有相同的字段的位置坐标和标志字段在票据图像中的位置坐标之间的关系，计算模板配置xml文件中其他的字段位置坐标，从而计算步骤4的票据图像中与模板配置xml文件中的全部字段具有相同的字段的位置坐标并获取该字段局部图像；

（d）如果步骤1中判断的字段在票据图像中的位置属性属于标题语义属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中识别字符串值，判断字符串中是否包含标题语义，如果包含，则提取标题后面的真实字段信息，从票据图像的真实字段信息中提取与模板配置xml文件中的对应相同的字段，根据相同的字段在票据图像中的位置坐标获取该字段局部图像；

（e）如果步骤1中判断的字段在票据图像中的位置属性属于关键语义属性，字段定位系统从步骤4的票据图像的全部的字段位置坐标中识别字符串值，判断字符串中是否包含关键语义，如果包含，提取关键的字段信息，从票据图像中关键的字段信息中提取与模板配置xml文件中相同的字段，根据相同的字段在票据图像中的位置坐标获取该字段局部图像。

Images