CN111860450A - 票证识别装置以及票证信息管理系统 - Google Patents

Abstract

本发明提供一种票证识别装置以及票证信息管理系统，用于对预定的多种票证上所记载的内容进行识别并对识别出的内容进行管理，其特征在于，票证识别装置包括：模板存储部、OCR控制部、通用OCR识别部、模板匹配部以及至少一个特定OCR识别部，其中，模板存储部存储有与每一种票证的票证模板相对应的票证模板数据，该票证模板数据包含与票证中需要特定OCR识别部进行识别的特定区域相对应的特定区域位置信息，OCR控制部控制通用OCR识别部对待识别票证图像进行初步识别，模板匹配部基于初步识别出的结果匹配出对应于待识别票证的票证模板数据作为当前票证模板数据，OCR控制部控制特定OCR识别部对特定区域中的字符进行特定识别从而识别出相应的特定内容。

Description

票证识别装置以及票证信息管理系统

技术领域

本发明涉及一种票证识别装置以及票证信息管理系统。

背景技术

企业机构中，当对发票等票证进行信息统计管理时，需要先将票证中的数据录入至计算机中。而在传统的票证录入方式中，往往需要相应人员手工核查票证中的内容，并将内容输入至计算机，这种录入方式非常容易出错，并且缺乏效率。

为了便于票证信息的录入，也有一些软件采用了光学字符识别(OpticalCharacter Recognition，OCR)技术，能够根据票证的图像将图像中全部的文字转换为文本格式，使得相应人员可以方便地从识别出的字符中拷贝所需内容，并录入至计算机中完成票证内容的整理。

然而，在票证数量较大时，这种方式的工作效率仍然不高，依旧需要相应人员对识别出的字符进行核查，并重复复制和粘贴的操作。同时，在采用OCR识别技术对票证的整体进行识别时，若在票证中出现一些不常用的字体、文字、装饰等影响识别的内容时，OCR识别技术就会产生识别错误并需要人为纠正，更进一步地降低了相应人员在票证识别上的工作效率。

发明内容

为解决上述问题，提供一种能够通过特定OCR对票证中的特定内容进行特定识别的票证识别装置以及票证信息管理系统，本发明采用了如下技术方案：

<结构一>

本发明提供了一种票证识别装置，用于对预定的多种票证上所记载的内容进行识别，其特征在于，包括：模板存储部、票证图像获取部、OCR控制部、通用OCR识别部、模板匹配部、特定区域获取部以及至少一个特定OCR识别部，其中，模板存储部存储有与每一种票证的票证模板相对应的票证模板数据，该票证模板数据包含票证识别名称、多个票证识别用关键词和每一个票证识别用关键词在相应票证中的关键词位置信息、以及与票证中至少一个需要特定OCR识别部进行识别的特定区域相对应的特定区域位置信息和与特定区域相对应的条目名称，票证图像获取部获取与待识别票证相对应的待识别票证图像，OCR控制部控制通用OCR识别部对待识别票证图像进行初步识别从而识别出该待识别票证图像中的所有字符以及每个字符的字符位置信息，模板匹配部基于初步识别出的字符和字符位置信息以及模板存储部中与每一种票证模板相对应的票证识别用关键词以及关键词位置信息匹配出对应于待识别票证的票证模板数据作为当前票证模板数据，特定区域获取部基于当前票证模板数据中的特定区域位置信息从待识别票证图像中获取相对应的特定区域，一旦特定区域被获取，OCR控制部就控制特定OCR识别部对该特定区域中的字符进行特定识别从而识别出相应的特定内容。

<结构二>

本发明提供了一种票证信息管理系统，其特征在于，包括：票证识别装置，用于对预定的多种票证上所记载的内容进行识别；以及票证信息管理装置，与票证识别装置相通信连接，其中，票证识别装置为结构一中的票证识别装置，票证信息管理装置至少对来自于票证识别装置的票证识别名称、特定内容以及相对应的条目名称进行管理。

发明作用与效果

根据本发明的票证识别装置以及票证信息管理系统，由于预先存储有对应各种类票证的票证模板数据，该票证模板数据中含有多个票证识别用关键词以及关键词位置信息，并且在获取到待识别票证图像后，通过通用OCR识别部识别出待识别票证图像中所有字符以及字符位置信息，因此，模板匹配部可以准确地匹配出与待识别票证图像的票证种类相对应的票证模板数据。还由于票证模板数据中还含有与票证中只能通过特定OCR识别部进行识别的特定区域相对应的特定区域位置信息，因此在匹配出票证模板数据后，特定OCR识别部可以对待识别票证图像中的特定区域进行特定识别，并准确地识别出相应的特定内容。通过这样的方式，可以在票证中存在特殊字体、特殊格式、非常用语言等通用OCR识别部难以识别的内容时，通过特定OCR识别部准确地完成识别。进一步地，由于票证模板数据中含有与特定区域相对应的条目名称，因此在特定内容被识别后还匹配有对应条目名称，使得本发明的票证识别装置最终输出了结构化的数据，方便后续针对票证中内容的进行统计以及管理。

附图说明

图1是本发明实施例中票证信息管理系统的结构框图；

图2是本发明实施例中模板存储部所存储的票证模板数据的示意图；

图3是本发明实施例中模板匹配部的结构框图；

图4是本发明实施例中相似度计算规则的流程图；

图5是本发明实施例中距离记录字符串的示意图；

图6是本发明实施例中特定区域的示意图；

图7是本发明实施例中模板数据输入画面的示意图；

图8是本发明实施例中票证识别过程的流程图；以及

图9是本发明实施例中票证模板匹配过程的流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的票证识别装置以及票证信息管理系统作具体阐述。

作为一种实施形态，本发明提供了一种票证识别装置，用于对预定的多种票证上所记载的内容进行识别，其特征在于，包括：模板存储部、票证图像获取部、OCR控制部、通用OCR识别部、模板匹配部、特定区域获取部以及至少一个特定OCR识别部，其中，模板存储部存储有与每一种票证的票证模板相对应的票证模板数据，该票证模板数据包含票证识别名称、多个票证识别用关键词和每一个票证识别用关键词在相应票证中的关键词位置信息、以及与票证中至少一个需要特定OCR识别部进行识别的特定区域相对应的特定区域位置信息和与特定区域相对应的条目名称，票证图像获取部获取与待识别票证相对应的待识别票证图像，OCR控制部控制通用OCR识别部对待识别票证图像进行初步识别从而识别出该待识别票证图像中的所有字符以及每个字符的字符位置信息，模板匹配部基于初步识别出的字符和字符位置信息以及模板存储部中与每一种票证模板相对应的票证识别用关键词以及关键词位置信息匹配出对应于待识别票证的票证模板数据作为当前票证模板数据，特定区域获取部基于当前票证模板数据中的特定区域位置信息从待识别票证图像中获取相对应的特定区域，一旦特定区域被获取，OCR控制部就控制特定OCR识别部对该特定区域中的字符进行特定识别从而识别出相应的特定内容。

在第一种实施形态中，还可以具有这样的技术特征，还包括：画面存储部以及输入显示部，其中，画面存储部存储有模板图像输入画面以及模板数据输入画面，输入显示部显示模板图像画面让用户输入用于作为模板的票证模板图像以及模板的票证识别名称，一旦用户确认票证模板图像以及票证识别名称的输入，输入显示部就显示模板数据输入画面让用户输入票证模板数据，模板数据输入画面包括用于让用户从票证模板图像中框选多个关键词位置区域的关键词位置框选部分、用于让用户从票证模板图像中框选至少一个特定区域并指定与该特定区域相对应的条目名称的特定区域设定部分以及用于让用户确认票证模板的创建的模板创建确认部分，每当用户确认框选一个关键词位置区域，OCR控制部就控制通用OCR识别部在票据模板图像中对关键词位置区域中的字符以及相应的字符位置信息进行识别并将识别出的字符作为票证识别用关键词以及将相应的字符位置信息作为相应的关键词位置信息，一旦用户确认票证模板的创建，模板存储部就将票证识别名称、票证识别用关键词和相应的关键词位置信息、特定区域位置信息和对应的条目名称作为一条新的票证模板数据进行对应存储。

在第一种实施形态中，还可以具有这样的技术特征，其中，模板匹配部包括：候选模板匹配单元，基于预定的关键词匹配规则将由初步识别出的所有字符组成的待匹配字符串分别与每一种票证模板的票证识别用关键词进行关键词匹配并将匹配出的票证模板作为候选模板；待匹配关键词获取单元，依次根据每一种候选模板的票证识别用关键词从待匹配字符串中获取对应的字符作为待匹配关键词，并获取相应的字符位置信息作为待匹配位置信息，关键词位置相似度计算单元，基于预定的相似度计算规则将待匹配位置信息分别与每一种候选模板的各个关键词位置信息进行相似度计算，并计算出待识别票证图像与每一种候选模板之间的关键词位置相似度；以及当前票证模板数据设定单元，将相应关键词位置相似度最大的候选模板所对应的票证模板数据设定为当前票证模板数据。

在第一种实施形态中，还可以具有这样的技术特征，其中，待匹配位置信息为对应待匹配关键词的外接矩形的对角两点的对角点坐标，关键词位置信息为对应票证识别用关键词的外接矩形的对角两点的对角点坐标，相似度计算规则为：步骤T1，根据对角点坐标计算待匹配关键词与票证识别用关键词之间的字符高度比例，并根据该字符高度比例将待匹配位置信息转换为规范后位置信息；步骤T2，根据规范后位置信息以及关键词位置信息计算票证识别用关键词与待匹配关键词之间的位置差距；步骤T3，根据位置差距计算关键词位置相似度。

在第一种实施形态中，还可以具有这样的技术特征，其中，票证模板数据中的特定区域为多个，特定OCR识别部为多个，票证模板数据还包含用于对特定区域进行识别的特定OCR识别部的OCR识别名称，OCR控制部就控制特定OCR识别部对特定区域中的字符进行特定识别从而识别出相应的特定内容时，根据当前票证模板数据中的识别信息控制相应的特定OCR识别部进行特定识别。

在第一种实施形态中，还可以具有这样的技术特征，其中，当特定区域为数字区域、账号区域、金额区域、带框数字区域中的任意一种时，特定OCR识别部为数字专用OCR识别器，当特定区域为特定字体区域时，特定OCR识别部为特定字体专用OCR识别器，当特定区域为外文字符区域时，特定OCR识别部为外文字符专用OCR识别器。

在第一种实施形态中，还可以具有这样的技术特征，还包括：特定内容修正部，其中，票证模板数据还包含与特定区域相对应的内容修正信息，OCR控制部控制特定OCR识别部对该特定区域中的字符进行特定识别从而识别出相应的特定内容后，还控制特定内容修正部基于当前票证模板数据中的内容修正信息对特定内容进行规范修正从而形成新的特定内容。

在第一种实施形态中，还可以具有这样的技术特征，其中，内容修正信息为用于规范特定内容用词的正则表达式或是包含多个用于规范特定内容用词的规范字段的字段词典。

作为第二种实施形态，本发明还提供了一种票证信息管理系统，其特征在于，包括：票证识别装置，用于对预定的多种票证上所记载的内容进行识别；以及票证信息管理装置，与票证识别装置相通信连接，其中，票证识别装置为第一种实施形态中的票证识别装置，票证信息管理装置至少对来自于票证识别装置的票证识别名称、特定内容以及相对应的条目名称进行管理。

<实施例>

图1是本发明实施例中票证信息管理系统的结构框图。

如图1所示，票证信息管理系统100包括票证识别装置101、票证信息管理装置102以及通信网络103。

其中，票证识别装置101用于对用户输入的与预定的多种票证相对应的待识别票证图像进行识别，并根据该待识别票证图像识别出票证上所记载的内容，票证信息管理装置102用于对这些识别出的内容进行管理。

本实施例中，票证为收据、发票、身份证、银行卡、保险证等各种具有固定格式的票证。票证识别装置101中预先存储有多个对应各种票证的票证模板，能够匹配出对应于待识别票证图像的票证模板并根据票证模板对待识别票证图像中的特定区域内的字符进行特定识别，进一步识别出结构化的识别结果，即识别出特定区域内的特定内容以及该特定内容所对应的条目名称。

具体地，如图1所示，票证识别装置101包括模板存储部11、票证图像获取部12、OCR控制部13、通用OCR识别部14、模板匹配部15、特定区域获取部16、多个特定OCR识别部17、特定内容修正部18、内容输出部19、画面存储部20、输入显示部21以及用于控制上述各部的识别侧控制部22。

模板存储部11中存储有与每一种票证的票证模板相对应的票证模板数据。该票证模板数据包含票证识别名称、多个票证识别用关键词和每一个票证识别用关键词在相应票证中的关键词位置信息、以及与票证中至少一个需要特定OCR识别部进行识别的特定区域相对应的特定区域位置信息与特定区域相对应的条目名称，同时，该票证模板数据中还包含与每个特定区域相对应且用于对该特定区域进行识别的特定OCR识别部的OCR识别名称、以及与每个特定区域相对应的内容修正信息。

图2是本发明实施例中模板存储部所存储的票证模板数据的示意图。

如图2所示，模板存储部11中存储有多个票证模板数据，每个票证模板数据具有唯一的票证识别名称111。

在每个票证模板数据中，都具有多个票证识别用关键词112和与每个票证识别用关键词112唯一对应的关键词位置信息113。该票证识别用关键词112以及关键词位置信息113用于在对票证进行识别时实现票证模板的匹配。

本实施例中，票证识别用关键词112为票证中固定出现的字符，可以是票证中的条目名称、标题、条款等在一种票证中不会变动的字符。每个票证识别用关键词112的具体坐标为票证识别用关键词112的外接矩形的坐标，如图2所示，将外接矩形左上角的坐标以及右下角的坐标(即外接矩形对角两点的对角点坐标)作为关键词位置信息113。另外，为了保证每个票证模板的匹配效果，每个票证模板数据中所包含的票证识别用关键词112不少于四个。

同时，在每个票证模板数据中，还具有与至少一个特定区域相对应的特定区域位置信息114、条目名称115、OCR识别名称116和内容修正信息117。

本实施例中，特定区域为一个用于将待识别的特定内容框选出来的矩形区域，特定区域位置信息113为该矩形区域左上角的坐标以及右下角的坐标(即矩形区域对角两点的对角点坐标)。条目名称115为对应于特定内容的条目名，例如，当特定内容中为金额数值时，该条目名称115即可以为“金额”。OCR识别名称116为每个特定OCR识别部17唯一的识别名称，OCR控制部13可以通过OCR识别名称116控制相应的特定OCR识别部17对特定区域进行特定识别。内容修正信息117用于对特定OCR识别部17识别出的内容进行规范修正。

另外，票证模板数据可以只包含一个特定区域及对应的信息，如图2中“票证模板1”、“票证模板2”、“票证模板3”所示；也可以包含多个特定区域及对应的信息，如图2中“身份证模板”、“银行卡模板”。

票证图像获取部12用于获取与待识别票证相对应的待识别票证图像。

其中，待识别票证图像为用户对待识别票证通过扫描仪扫描或是通过照相机拍摄得到的票证图像。

OCR控制部13用于对通用OCR识别部14以及特定OCR识别部17的工作进行控制。

本实施例中，OCR控制部13可以通过OCR识别名称116对相应的特定OCR识别部17进行控制。

通用OCR识别部14为通用的OCR识别器，可以对通常的文字进行准确识别，例如，可以对常规字体的中文文字和英文文字进行识别。

一旦票证图像获取部12获取到待识别票证图像，OCR控制部13就会控制通用OCR识别部14对整个待识别票证图像进行初步识别，从而识别出整个待识别票证图像中的所有字符以及每个字符的字符位置信息。

本实施例中，字符位置信息的识别为OCR识别器的固有功能，通用OCR识别部14在识别出字符时，同时可以识别出该字符的外接矩形，并将该外接矩形左上角的坐标以及右下角的坐标(即外接矩形对角两点的对角点坐标)作为识别出的字符位置信息。

模板匹配部15用于匹配出与待识别票证相对应的票证模板数据并作为当前票证模板数据。

本实施例中，模板匹配部15基于通用OCR识别部14通过初步识别出的所有字符和字符位置信息以及模板存储部11中与每一种票证模板相对应的票证识别用关键词和关键词位置信息匹配出当前票证模板数据。

图3是本发明实施例中模板匹配部的结构框图。

如图3所示，模板匹配部15包括候选模板匹配单元151、待匹配关键词获取单元152、关键词位置相似度计算单元153以及当前票证模板数据设定单元154。

候选模板匹配单元151能够基于预定的关键词匹配规则将由初步识别出的所有字符组成的待匹配字符串分别与每一种票证模板的票证识别用关键词进行关键词匹配并将匹配出的票证模板作为候选模板。

本实施例中，对于每一种票证模板所对应的N个票证识别用关键词，关键词匹配规则为：依次判断待匹配字符串中是否具有与票证识别用关键词完全一致的字符，并在具有对应字符的票证识别用关键词的数量M不小于当前的票证模板中所有票证识别用关键词的数量减一(即N-1)时，将当前的票证模板作为一个候选模板。

另外，因为候选模板匹配单元151仅通过关键词进行匹配，所以候选模板可能存在有多个。

待匹配关键词获取单元152用于针对每个候选模板，依次根据当前候选模板的票证识别用关键词从待匹配字符串中获取对应的字符作为对应于当前候选模板的待匹配关键词，并获取相应的字符位置信息作为待匹配位置信息。

关键词位置相似度计算单元153能够基于预定的相似度计算规则将待匹配位置信息分别与每一种候选模板的各个模板关键词的关键词位置信息进行相似度计算，并计算出待识别票证图像与每一种候选模板之间的关键词位置相似度。

本实施例中，对于每一种候选模板，关键词位置相似度计算单元153会通过相似度计算规则计算当前候选模板中各个票证识别用关键词的关键词位置信息与相应各个待匹配关键词的待匹配位置信息是否相似，并计算得到一个当前候选模板与待识别票证图像之间的关键词位置相似度。另外，当待匹配字符串中仅具有N-1个与票证识别用关键词相对应的待匹配关键词时，相似度计算规则会仅通过一致的N-1个票证识别用关键词以及待匹配关键词进行关键词位置相似度的计算。

图4是本发明实施例中相似度计算规则的流程图。

如图4所示，相似度计算规则具体包括步骤T1至步骤T3。

步骤T1，根据关键词位置信息以及待匹配位置信息计算待匹配关键词与票证识别用关键词之间的字符高度比例，并根据该字符高度比例将待匹配位置信息转换为规范后位置信息。

本实施例中，由于通用OCR识别部识别出的坐标值与图像本身的大小以及分辨率有关，因此若是在创建模板时采用的票证模板图像以及图像的分辨率大小不一致时，会导致关键词位置信息和待匹配位置信息的坐标比例不一致。例如，创建模板时所用的票证模板图像为300dpi，识别时所用的票证模板图像为600dpi，则关键词位置信息和待匹配位置信息的坐标比例会相差一倍。因此，需要通过上述步骤T1计算出字符高度比例，将待匹配位置信息转换为与关键词位置信息的坐标比例相一致的规范后位置信息。

具体地，在步骤T1中，首先根据待匹配位置信息以及关键词位置信息中的对角点坐标分别计算待匹配关键词与票证识别用关键词的字符高度(即对角点的纵坐标差值)，并将两者的字符高度相除形成字符高度比例。进一步，将待匹配位置信息中的坐标值与字符高度比例相乘，即可得到规范后位置信息。

步骤T2，根据规范后位置信息以及关键词位置信息计算票证识别用关键词与待匹配关键词之间的位置差距。

本实施例的步骤T2中，首先为相同的待匹配关键词与票证识别用关键词赋予相同的编号，例如，当关键词为“收款人、复核、记账”时，分别为这三个关键词赋予编号，即“收款人：1、复核：2、记账：3”。

其次，分别根据规范后位置信息以及关键词位置信息计算待匹配关键词以及票证识别用关键词的距离记录字符串。

图5是本发明实施例中距离记录字符串的示意图。

如图5所示，以框(a)为票证模板图像中含有关键词的部分示意图、框(b)为待识别票证图像中含有关键词的部分示意图为例。在框(a)中，关键词“收款人”的左上角坐标为(23，12)、关键词“复核”的左上角坐标为(37，28)、关键词“记账”的左上角坐标为(41，27)。在框(b)中，关键词“收款人”的左上角坐标为(40，32)、关键词“复核”的左上角坐标为(26，16)、关键词“记账”的左上角坐标为(44，31)。

在对框(a)的距离记录字符串进行计算时，会依次计算各个关键词(票证识别用关键词)之间的横坐标距离差以及纵坐标距离差，即得到图5中的横坐标距离差x1、x2以及纵坐标距离差y1、y2。进一步，根据距离差x1＝14、x2＝4、y1＝15、y2＝1以及编号生成相应的横向距离记录字符串1531以及竖向距离字符串1532。以横向距离记录字符串1531为例，可以看出，该横向距离记录字符串1531中对应于关键词“收款人”编号1占用的字串长度为14，该字串长度与关键词“收款人”和后一个关键词“复核”之间的距离差x1一致，同理关键词“复核”编号2占用的字串长度为4，最后的关键词“记账”默认占用一位字串长度。最后将横向距离记录字符串1531以及竖向距离字符串1532拼合即得到票证识别用关键词的距离记录字符串：

“1111111111111111111222231111111111111111111123”

同理，根据规范后位置信息，可以得出待匹配关键词的距离记录字符串为：

“222222222222222222211112222222222222222222213”

进一步，通过计算待匹配关键词以及票证识别用关键词的距离记录字符串之间的编辑距离，即可得知两者之间的位置差距。

步骤T3，根据距离差距计算相似度并作为关键词位置相似度。

本实施例的步骤T3中，关键词位置相似度＝(字符串总长度-编辑距离)/字符串总长度，其中，字符串总长度为票证识别用关键词的距离记录字符串的字串长度。

当前票证模板数据设定单元154用于将关键词位置相似度计算单元153计算出的待识别票证图像与各个候选模板之间的关键词位置相似度进行排序，并将相应的关键词位置相似度最大的候选模板所对应的票证模板数据设定为当前票证模板数据。

特定区域获取部16用于在模板匹配部15匹配出当前票证模板数据时，基于该当前票证模板数据中的特定区域位置信息从待识别票证图像中获取相对应的特定区域。

另外，本实施例中，当前票证模板数据中可能包含有多个特定区域的特定区域位置信息，此时，特定区域获取部16也会相应地获取多个特定区域。

特定OCR识别部17用于对待识别票证图像中特定区域内的字符进行特定识别，如识别特殊字体的字符、特殊语言的字符、带框的字符等，具体地：

当特定区域为数字区域、账号区域、金额区域、带框数字区域中的任意一种时，特定OCR识别部17为数字专用OCR识别器；

当特定区域为特定字体区域时，特定OCR识别部17为特定字体专用OCR识别器；

当特定区域为外文字符区域时，特定OCR识别部17为外文字符专用OCR识别器。

在特定OCR识别部17完成特定识别后，将识别出的内容(字符)作为特定内容。

图6是本发明实施例中特定区域的示意图。

如图6所示，该图6中示出了一张对应于银行卡的待识别票证图像(该图像中对银行卡号的后四位以及持卡人进行了遮掩处理)，区域171即为特定区域获取部16获取的对应于银行卡号的特定区域。

从图6中可以看出，在银行卡中，银行卡号采用了一种方正的字体，并且因为材质原因而具有反光、凹凸等影响识别的特征，因此在采用通用OCR对银行卡号进行识别时，非常容易产生识别错误，如将卡号6误识别为英文字符b、识别出乱码等。此时，特定OCR识别部为一个专门用于识别银行卡号的银行卡OCR识别器，即可针对性地识别出正确的银行卡号并作为识别出的特定内容。

在特定区域获取部16获取特定区域后，OCR控制部13就会根据当前票证模板数据中与该特定区域相对应的OCR识别名称116控制相应的特定OCR识别部17，对相应的特定区域进行特定识别从而得到特定内容。

特定内容修正部18用于在特定OCR识别部17识别出特定内容后，基于当前票证模板数据中的内容修正信息117对特定内容进行规范修正从而形成新的特定内容。

本实施例中，内容修正信息为用于规范特定内容用词的正则表达式或是包含多个用于规范特定内容用词的规范字段的字段词典。

当内容修正信息为正则表达式时，特定内容修正部18直接根据正则表达式对特定内容进行修正。例如，特定区域中的字符信息只可能为数字，此时，特定内容修正部18即可通过正则表达式对特定OCR识别部17识别出的特定内容进行修正并规范新的特定内容中只存在数字。

当内容修正信息为字段词典时，特定内容修正部18根据字段词典将识别出的特定内容与字段词典中的各个规范字段进行相似度计算并将相似度最高的字段作为修正后的特定内容。例如，特定区域中的字符信息为城市名称，规范字段为标准的所有城市的城市名称，此时，一旦特定OCR识别部17识别出对应于城市名称的特定内容后，特定内容修正部18就会将该特定内容与各个规范字段进行相似度匹配，并将相似度最高的规范字段作为新的特定内容。

另外，本实施例中，内容修正信息也可以为不修正信息，此时，特定内容修正部18就会不对特定OCR识别部17识别出的特定内容进行修正而直接将其作为新的修正内容。

内容输出部19用于在特定内容修正部18规范修成形成新的特定内容时，将该特定内容与当前票证模板数据中对应的条目名称以及票证识别名称作为票证识别内容进行输出。

本实施例中，内容输出部19将识别出的票证识别内容输出给票证信息管理装置102，从而让该票证信息管理装置102对票证识别信息进行管理。

画面存储部20存储有操作选择画面、模板图像输入画面以及模板数据输入画面以及票证识别画面。

操作选择画面用于在票证识别装置101启动时显示并让用户通过该画面选择所要进行的操作。本实施例中，用户可以选择模板创建操作以及票证识别操作。

模板图像输入画面用于在用户选择模板创建操作时显示，从而让用户输入用于作为模板的票证模板图像以及模板的票证识别名称。

本实施例中，票证模板图像即为一般的票证图像，当用户需要识别新种类的票证时，即可将该种类的票证扫描成票证图像，并通过模板图像输入画面创建对应的票证模板，进一步使得票证识别装置101通过票证模板识别出对应该种类的票证的待识别票证图像。

模板数据输入画面用于在用户通过模板图像输入画面确认输入票证模板图像以及票证识别名称后显示，并在该画面中显示票证模板图像并让用户输入相应的票证模板数据。

图7是本发明实施例中模板数据输入画面的示意图。

如图7所示，模板数据输入画面201具有关键词位置框选部分2011、特定区域设定部分2012以及模板创建确认部分2013。具体地：

关键词位置框选部分2011用于让用户从票证模板图像中框选多个关键词位置区域。

本实施例中，每当用户确认框选一个关键词位置区域，OCR控制部13就控制通用OCR识别部14在票据模板图像中对关键词位置区域中的字符以及相应的字符位置信息进行识别，并将识别出的字符作为票证识别用关键词以及将相应的字符位置信息作为相应的关键词位置信息。通过这种识别方式，可以使得关键词位置信息以及待匹配位置信息都是由通用OCR识别部14识别出的坐标信息，保证在匹配当前票证模板数据时位置信息的一致性。另外，识别出的票证时别用关键词以及关键词位置信息通过关键词位置框选部分2011中相应的显示框20111以及20112显示给用户查看。

特定区域设定部分2012用于让用户从票证模板图像中框选至少一个特定区域，并在相应的条目名称输入框20121、OCR识别名称输入框20122和修正信息选择框20123中，指定与每个特定区域相对应的条目名称、特定OCR识别部的OCR识别名称和内容修正信息。

本实施例中，每当用户确认框选一个特定区域，OCR控制部13就根据被指定OCR识别名称，控制相应的特定OCR识别部17对票证模板图像的特别区域进行识别，并在识别结果显示框20124中进行显示。此时，用户可以通过识别结果显示框20124中显示的识别结果，指定一个能够进行准确识别的特定OCR识别部17。

本实施例中，在用户通过关键词位置框选部分2011以及特定区域设定部分2012框选关键词位置区域以及特定区域时，都可以让该用户在模板数据输入画面201中显示出的票证模板图像上框选区域来实现。

模板创建确认部分2013为一个确认按钮，用于让用户确认票证模板的创建。

本实施例中，一旦用户通过点击确认按钮确认票证模板的创建，模板存储部11就将用户通过模板数据输入画面输入的票证识别名称、通过模板数据输入画面201输入的票证识别用关键词、关键词位置信息、特定区域位置信息、条目名称OCR识别名称和内容修正信息作为一条新的票证模板数据进行对应存储。

票证识别画面用于在用户选择票证识别操作时显示并让用户输入待识别票证图像。

本实施例中，一旦用户通过票证识别画面输入待识别票证图像，票证图像获取部12就会获取该待识别票证图像并进行后续的票证识别过程识别出该待识别票证图像中的票证识别内容。

输入显示部21用于显示上述画面，从而让用户通过这些画面完成相应的人机交互。

识别侧控制部22中存储有用于对票证识别装置的各个构成部件的工作进行控制的计算机程序。

票证信息管理装置102与票证识别装置101相通信连接。本实施例中，票证信息管理装置包括票证识别内容存储部23、管理侧通信部24以及用于控制上述各部的管理侧控制部25。

票证识别内容存储部23用于对管理侧通信部24从票证识别装置101接收的票证识别内容进行存储。

本实施例中，票证识别内容存储部23为一个数据库，存储有待识别票证被识别出的票证识别名称、以及特定内容和对应的条目名称。根据票证模板的不同，每张待识别票证会对应有一个或多个特定内容，但每个特定内容都会对应有一个条目名称。

在用户需要管理票证中的内容时，可以通过筛选条目名称以及票证识别名称，从而筛选出所需的票证并对特定内容进行查看或统计。例如，当用户为会计员、票证为各类收据时，会计员可以通过条目名称“金额”来对所有收据中对应“金额”的特定内容进行统计，从而得到相应的金额总数。

图8是本发明实施例中票证识别过程的流程图。

如图8所示，当用户通过输入显示部21显示的票证识别画面输入待识别票证图像后，票证识别装置101就开始如下的票证识别过程：

步骤S1，票证图像获取部12获取用户输入的待识别票证图像，然后进入步骤S2；

步骤S2，OCR控制部13控制通用OCR识别部14对步骤S1中获取的待识别票证图像进行初步识别，从而识别出该待识别票证图像中的所有字符以及每个字符的字符位置信息，然后进入步骤S3；

步骤S3，模板匹配部15基于初步识别出的字符和字符位置信息以及模板存储部11中与每一种票证模板相对应的票证识别用关键词以及关键词位置信息，匹配出对应于待识别票证的票证模板数据作为当前票证模板数据，然后进入步骤S4；

步骤S4，特定区域获取部16基于步骤S3匹配出的当前票证模板数据中的特定区域位置信息，从待识别票证图像中获取相对应的特定区域，然后进入步骤S5；

步骤S5，OCR控制部13根据当前票证模板数据中与特定区域相对应的OCR识别名称，控制相应的特定OCR识别部17对该特定区域中的字符进行特定识别从而识别出相应的特定内容，然后进入步骤S6；

步骤S6，特定内容修正部18基于当前票证模板数据中与特定区域相对应的内容修正信息，对步骤S5中识别出的特定内容进行规范修正从而形成新的特定内容，然后进入步骤S7；

步骤S7，内容输出部19将步骤S6中形成的特定内容与当前票证模板数据中对应的条目名称以及票证识别名称作为票证识别内容进行输出，然后进入结束状态。

通过上述过程，就可以完成待识别票证图像中内容的识别及输出。每当用户输入一个待识别票证图像，就会通过上述票证识别过程完成一次识别。

图9是本发明实施例中票证模板匹配过程的流程图。

如图9所示，在步骤S2中通过初步识别得到所有字符以及字符位置信息后，步骤S3会开始如下子步骤：

步骤S3-1，候选模板匹配单元151基于预定的关键词匹配规则，将步骤S2中初步识别出的所有字符组成的待匹配字符串分别与每一种票证模板的票证识别用关键词进行关键词匹配，并将匹配出的票证模板作为候选模板，然后进入步骤S3-2；

步骤S3-2，针对步骤S3-1中得到的每个候选模板，待匹配关键词获取单元152依次根据当前候选模板的票证识别用关键词从待匹配字符串中获取对应的字符作为对应于当前候选模板的待匹配关键词，并获取相应的字符位置信息作为待匹配位置信息，然后进入步骤S3-3；

步骤S3-3，关键词位置相似度计算单元153基于预定的相似度计算规则，将待匹配位置信息分别与每一种候选模板的各个模板关键词的关键词位置信息进行相似度计算，并计算出待识别票证图像与每一种候选模板之间的关键词位置相似度，然后进入步骤S3-4；

步骤S3-4，当前票证模板数据设定单元154将步骤S3-3计算出的各个关键词位置相似度进行排序，并将相应的关键词位置相似度最大的候选模板所对应的票证模板数据设定为当前票证模板数据，然后进入步骤S4。

实施例作用与效果

根据本实施例提供的票证识别装置以及票证信息管理系统，由于预先存储有对应各种类票证的票证模板数据，该票证模板数据中含有多个票证识别用关键词以及关键词位置信息，并且在获取到待识别票证图像后，通过通用OCR识别部识别出待识别票证图像中所有字符以及字符位置信息，因此，模板匹配部可以准确地匹配出与待识别票证图像的票证种类相对应的票证模板数据。还由于票证模板数据中还含有与票证中只能通过特定OCR识别部进行识别的特定区域相对应的特定区域位置信息，因此在匹配出票证模板数据后，特定OCR识别部可以对待识别票证图像中的特定区域进行特定识别，并准确地识别出相应的特定内容。通过这样的方式，可以在票证中存在特殊字体、特殊格式、非常用语言等通用OCR识别部难以识别的内容时，通过特定OCR识别部准确地完成识别。进一步地，由于票证模板数据中含有与特定区域相对应的条目名称，因此在特定内容被识别后还匹配有对应条目名称，使得本发明的票证识别装置最终输出了结构化的数据，方便后续针对票证中内容的进行统计以及管理。

实施例中，由于票证识别装置还具有能够显示模板图像输入画面以及模板数据输入画面的输入显示部，可以让用户在输入票证模板图像后，通过在票证模板图像中以框选的方式来设定票证识别用关键词以及特定区域，因此用户可以在需要识别新种类的票证时快速、便捷地构建新的票证模板，并在构建模板后就批量地对新种类的票证进行准确的识别。

进一步，在实施例中，由于在特定OCR识别部为多个时，用户在框选特定区域时，OCR控制部会控制被指定的特定OCR识别部对特定区域进行识别，并在模板数据输入画面中会实时显示，因此便于用户指定能够准确识别特定区域中内容的特定OCR识别部。

实施例中，由于模板匹配部在匹配当前票证模板数据时，首先通过关键词匹配的方式匹配出候选模板，因此可以快速地匹配出可能与待识别票证图像相一致的候选模板。其次通过关键词位置信息来计算待识别票证图像与每一种候选模板之间的关键词位置相似度，最终选出关键词位置相似度最高的票证模板，因此可以通过关键词及其位置来准确地匹配出相符的模板。

进一步，在实施例中，由于首先计算待匹配关键词以及票证识别用关键词之间的字符高度，因此可以避免因为在拍摄、扫描图像时分辨率或是拍摄距离的差距导致待匹配位置信息与关键词位置信息的坐标比例不匹配，保证后续的位置匹配更准确，有助于匹配出一致的票证图像。

实施例中，由于特定OCR识别部为多个，因此可以针对不同的特定区域采用不同的特定OCR识别部进行特定识别，保证对存在不同规格、形式、字体的字符的各种票证进行有效识别。

实施例中，由于具有特定内容修正部，因此在特定OCR识别部识别出特定内容后，还可以根据预先设定的内容修正信息对特定内容进行规范修正，进一步地保证了特定内容的识别准确性。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，在上述实施例中，OCR控制部会根据OCR识别名称控制特定OCR识别部对特定区域进行识别。在本发明的其他方案中，如用户只需要识别票证中的通用内容，在这样的情况下，用户也可以设定通用OCR识别部作为一种特定OCR识别部并对框选出的特定区域进行识别。

例如，在上述实施例中，特定OCR识别部设置有多个。在本发明的其他方案中，若特定区域的识别特性相近，能够通过一个特定OCR识别部完成，此时特定OCR识别部也可以只设定有一个。例如，特定区域中的内容都是数字，可以通过一个数字专用OCR识别器进行识别。

例如，在上述实施例中，票证识别装置具有特定内容修正部。然而，在本发明的其他方案中，票证识别装置也可以不具有特定内容修正部，直接将特定OCR识别部识别出的特定内容进行输出。

再例如，上述实施例中仅列举了特定OCR识别部为数字专用OCR识别器、特定字体专用OCR识别器、外文字符专用OCR识别器。在本发明的其他方案中，特定OCR识别部还可以是更多其他种类的OCR识别器。

Claims (9)

1.一种票证识别装置，用于对预定的多种票证上所记载的内容进行识别，其特征在于，包括：

模板存储部、票证图像获取部、OCR控制部、通用OCR识别部、模板匹配部、特定区域获取部以及至少一个特定OCR识别部，

其中，所述模板存储部存储有与每一种所述票证的票证模板相对应的票证模板数据，该票证模板数据包含票证识别名称、多个票证识别用关键词和每一个票证识别用关键词在相应票证中的关键词位置信息、以及与所述票证中至少一个需要所述特定OCR识别部进行识别的特定区域相对应的特定区域位置信息和与所述特定区域相对应的条目名称，

所述票证图像获取部获取与待识别票证相对应的待识别票证图像，

所述OCR控制部控制所述通用OCR识别部对所述待识别票证图像进行初步识别从而识别出该待识别票证图像中的所有字符以及每个字符的字符位置信息，

所述模板匹配部基于初步识别出的所述字符和所述字符位置信息以及所述模板存储部中与每一种所述票证模板相对应的所述票证识别用关键词和所述关键词位置信息匹配出对应于所述待识别票证的票证模板数据作为当前票证模板数据，

所述特定区域获取部基于所述当前票证模板数据中的所述特定区域位置信息从所述待识别票证图像中获取相对应的特定区域，

一旦所述特定区域被获取，所述OCR控制部就控制所述特定OCR识别部对该特定区域中的字符进行特定识别从而识别出相应的特定内容。

2.根据权利要求1所述的票证识别装置，其特征在于，还包括：

画面存储部以及输入显示部，

其中，所述画面存储部存储有模板图像输入画面以及模板数据输入画面，

所述输入显示部显示所述模板图像画面让所述用户输入用于作为模板的票证模板图像以及模板的票证识别名称，

一旦所述用户确认所述票证模板图像以及所述票证识别名称的输入，所述输入显示部就显示所述模板数据输入画面让所述用户输入票证模板数据，

所述模板数据输入画面包括用于让所述用户从所述票证模板图像中框选多个关键词位置区域的关键词位置框选部分、用于让所述用户从所述票证模板图像中框选至少一个特定区域并指定与该特定区域相对应的条目名称的特定区域设定部分以及用于让所述用户确认所述票证模板的创建的模板创建确认部分，

每当所述用户确认框选一个所述关键词位置区域，所述OCR控制部就控制所述通用OCR识别部在所述票据模板图像中对所述关键词位置区域中的字符以及相应的字符位置信息进行识别并将识别出的字符作为所述票证识别用关键词以及将相应的字符位置信息作为相应的所述关键词位置信息，

一旦所述用户确认所述票证模板的创建，所述模板存储部就将所述票证识别名称、所述票证识别用关键词和相应的所述关键词位置信息、所述特定区域位置信息和对应的所述条目名称作为一条新的票证模板数据进行对应存储。

3.根据权利要求1所述的票证识别装置，其特征在于：

其中，所述模板匹配部包括：

候选模板匹配单元，基于预定的关键词匹配规则将由所述初步识别出的所述所有字符组成的待匹配字符串分别与每一种所述票证模板的所述票证识别用关键词进行关键词匹配并将匹配出的所述票证模板作为候选模板；

待匹配关键词获取单元，依次根据每一种所述候选模板的所述票证识别用关键词从所述待匹配字符串中获取对应的所述字符作为待匹配关键词，并获取相应的所述字符位置信息作为待匹配位置信息，

关键词位置相似度计算单元，基于预定的相似度计算规则将所述待匹配位置信息分别与每一种所述候选模板的各个关键词位置信息进行相似度计算，并计算出所述待识别票证图像与每一种所述候选模板之间的关键词位置相似度；以及

当前票证模板数据设定单元，将所述关键词位置相似度最大的所述候选模板所对应的票证模板数据设定为所述当前票证模板数据。

4.根据权利要求3所述的票证识别装置，其特征在于：

其中，所述待匹配位置信息为对应所述待匹配关键词的外接矩形的对角两点的对角点坐标，

所述关键词位置信息为对应所述票证识别用关键词的外接矩形的对角两点的对角点坐标，

所述相似度计算规则为：

步骤T1，根据所述对角点坐标计算所述待匹配关键词与所述票证识别用关键词之间的字符高度比例，并根据该字符高度比例将所述待匹配位置信息转换为规范后位置信息；

步骤T2，根据所述规范后位置信息以及所述关键词位置信息计算所述票证识别用关键词与所述待匹配关键词之间的位置差距；

步骤T3，根据所述位置差距计算所述关键词位置相似度。

5.根据权利要求1所述的票证识别装置，其特征在于：

其中，所述票证模板数据中的所述特定区域为多个，

所述特定OCR识别部为多个，

所述票证模板数据还包含用于对所述特定区域进行识别的所述特定OCR识别部的OCR识别名称，

所述OCR控制部就控制所述特定OCR识别部对所述特定区域中的字符进行特定识别从而识别出相应的特定内容时，根据所述当前票证模板数据中的所述识别信息控制相应的所述特定OCR识别部进行所述特定识别。

6.根据权利要求5所述的票证识别装置，其特征在于：

其中，当所述特定区域为数字区域、账号区域、金额区域、带框数字区域中的任意一种时，所述特定OCR识别部为数字专用OCR识别器，

当所述特定区域为特定字体区域时，所述特定OCR识别部为特定字体专用OCR识别器，

当所述特定区域为外文字符区域时，所述特定OCR识别部为外文字符专用OCR识别器。

7.根据权利要求1所述的票证识别装置，其特征在于，还包括：

特定内容修正部，

其中，所述票证模板数据还包含与所述特定区域相对应的内容修正信息，

所述OCR控制部控制所述特定OCR识别部对该特定区域中的字符进行特定识别从而识别出相应的特定内容后，还控制所述特定内容修正部基于所述当前票证模板数据中的所述内容修正信息对所述特定内容进行规范修正从而形成新的特定内容。

8.根据权利要求7所述的票证识别装置，其特征在于：

其中，所述内容修正信息为用于规范所述特定内容用词的正则表达式或是包含多个用于规范所述特定内容用词的规范字段的字段词典。

9.一种票证信息管理系统，其特征在于，包括：

票证识别装置，用于对预定的多种票证上所记载的内容进行识别；以及

票证信息管理装置，与所述票证识别装置相通信连接，

其中，所述票证识别装置为权利要求1至8中任意一项所述的票证识别装置，

所述票证信息管理装置至少对来自于所述票证识别装置的所述票证识别名称、所述特定内容以及相对应的所述条目名称进行管理。

Images