CN107949852A - 字符识别装置、字符识别方法及程序 - Google Patents

Abstract

实施方式的字符识别装置(10)具备：字符串图像取得部(11)，取得字符串图像；结合图表生成部(12)，对字符串图像进行字符识别处理，生成将多个表示被视为1个字符的每个字符区域的识别结果的字符候选信息、按照字符串图像中的各字符区域的排列顺序进行连接而得的结合图表，多个字符候选信息分别包含有1个以上候选字符；结合图表统合部(13)，对根据包含有同一字符串的多个字符串图像生成的多个结合图表或者通过对1个字符串图像进行多个不同字符识别处理而生成的多个结合图表进行统合；以及输出部(15)，输出统合后的结合图表或者基于统合后的结合图表而得到的识别字符串。

Description

字符识别装置、字符识别方法及程序

技术领域

本发明的实施方式涉及字符识别装置、字符识别方法及程序。

背景技术

在以OCR(Optical Character Recognition/Reader)为代表的字符识别的领域中，进行了用于实现识别精度的提高的各种尝试。例如已知有如下技术：对含有同一字符串的多个字符串图像分别进行字符识别处理，对于对应的字符选择信赖度高的识别结果而得到最终的识别字符串。

但是，在选择信赖度高的识别结果的以往的方法中，例如由于信赖度高的识别结果未必正确、有时字符串图像中的字符的划分不正确，因此得不到正确的识别字符串的情况也很多，需要进一步的改善。

现有技术文献

专利文献

专利文献1：特开2003－331217号公报

发明内容

发明要解决的课题

本发明所要解决的课题在于提供一种能够进行高精度的字符识别的字符识别装置、字符识别方法及程序。

用于解决课题的手段

实施方式的字符识别装置具备字符串图像取得部、结合图表生成部、结合图表统合部和输出部。字符串图像取得部取得字符串图像。结合图表生成部对所述字符串图像进行字符识别处理，生成将多个表示被视为1个字符的每个字符区域的识别结果的字符候选信息、按照所述字符串图像中的各字符区域的排列顺序进行连接而得的结合图表，多个所述字符候选信息分别包含有1个以上候选字符。结合图表统合部对根据包含有同一字符串的多个所述字符串图像生成的多个所述结合图表、或者通过对1个所述字符串图像进行多个不同字符识别处理而生成的多个所述结合图表进行统合。输出部输出统合后的所述结合图表或者基于统合后的所述结合图表而得到的识别字符串。

附图说明

图1是表示字符识别装置的硬件构成例的框图。

图2是表示字符识别装置的功能性构成例的框图。

图3是表示结合图表的一例的图。

图4是用于说明结合图表的数据构造的一例的图。

图5是表示累积结合图表及新结合图表的一例的图。

图6是表示将图5所示的新结合图表统合到累积结合图表中而得到的新的累积结合图表的图。

图7是表示字符识别装置的处理步骤的一例的流程图。

图8是用于说明图7的步骤S105的统合处理的概要的流程图。

图9是表示图8的步骤S205的处理步骤的流程图。

图10是抽取图5所例示的累积结合图表及新结合图表的一部分字符候选信息来表示的图。

图11是表示将结合图表分离成单个连接路径的样态的图。

具体实施方式

以下，参照附图来详细地说明实施方式的字符识别装置、字符识别方法及程序。

图1是表示实施方式的字符识别装置10的硬件构成例的框图。字符识别装置10例如能够采用作为一般的计算机的硬件构成。该情况下，字符识别装置10如图1所示那样具备：CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random AccessMemory)103、HDD(Hard Disk Drive)104、设备I/F105、网络I/F106、对上述的各部分进行连接的总线107等。然后，字符识别装置10例如通过由CPU101将RAM103用作工作区域并执行在ROM102或HDD104等中保存的程序，从而实现与字符识别有关的各种功能。

设备I/F105是用于将液晶显示器等显示装置108、键盘或鼠标等操作输入装置109、摄像机或扫描仪等图像输入装置110这样的外围设备连接于字符识别装置10的接口。网络I/F106是用于将字符识别装置10连接于互联网或LAN(Local Area Network)等网络的通信接口。

图2是表示实施方式的字符识别装置10的功能性构成例的框图。字符识别装置10例如作为通过上述的硬件和软件(程序)的配合而实现的功能性构成要素，而如图2所示那样具备字符串图像取得部11、结合图表生成部12、结合图表统合部13、识别字符串生成部14、输出部15。

字符串图像取得部11取得成为字符识别处理的对象的字符串图像。字符串图像取得部11例如可以是将从摄像机或扫描仪等图像输入装置110输入的字符串图像经由设备I/F105而取得的构成，也可以是将从连接于网络的外部装置发送的字符串图像经由网络I/F106而取得的构成。此外，字符串图像取得部11也可以是将预先取得的字符串图像在HDD104等中保存好、在执行字符识别处理时从HDD104等读出字符串图像的构成。

字符串图像取得部11对所取得的字符串图像实施为了进行例如二值化处理等字符识别处理而需要的预处理，将实施了预处理后的字符串图像传送给结合图表生成部12。另外，为了进行字符识别处理所需要的预处理可以直接利用现有技术，因此省略详细的说明。

结合图表生成部12对从字符串图像取得部11接受的字符串图像进行字符识别处理，生成总结对该字符串图像进行的字符识别处理的结果而得的图表即结合图表。字符识别处理例如是如下处理：从字符串图像将被视为1个字符的字符区域全部提取出来，根据各个字符区域求取特征量，基于该特征量按照每个字符区域而取得1个以上候选字符及表示该候选字符的盖然性的识别分数。此外，字符识别处理也可以是同时进行对字符串图像的字符区域的划分和对字符区域的字符识别。结合图表生成部12对从字符串图像取得部11接受的字符串图像，进行以上那样的字符识别处理，并总结各个字符区域在字符串图像IS中的位置或尺寸、以及从各个字符区域分别取得的候选字符或识别分数等，由此生成结合图表。另外，关于对字符串图像IS的具体的字符识别处理的手法、例如字符区域的提取方法、字符识别所使用的特征量等，由于可以直接使用现有技术，因此省略详细的说明。

图3是表示由结合图表生成部12生成的结合图表G的一例的图。结合图表G如图3所示那样，是将表示在字符串图像IS中被视为1个字符的每个字符区域的识别结果的字符候选信息210、按照字符串图像IS中的各字符区域的排列顺序进行连接而成的图表。结合图表G能够对应于字符串图像IS中的字符区域的划分不同的多个类型而包含有多个连接路径。连接路径表示字符串图像IS中的字符候选信息210的连接。图3的例子中，在“糸”和“色”被视为2个字符的情况与被视为“絶”这样的一个字符的情况下，连接路径是不同的。此外，在“女”和“子”被视为2个字符的情况与被视为“好”这样的1个字符的情况下，连接路径是不同的。因此，图3所示的结合图表G中包含有如下的4种连接路径，即，“糸”→“色”→“女”→“子”这样连接的连接路径；“糸”→“色”→“好”这样连接的连接路径；“絶”→“女”→“子”这样连接的连接路径；“絶”→“好”这样连接的连接路径。另外，在字符串图像IS中的字符区域的划分是唯一地确定的情况下，结合图表G中包含的连接路径为1个。

在结合图表G中，相邻的字符候选信息210彼此的连接关系由连接信息220来表示。在此的连接，意思是指与2个字符候选信息210分别对应的2个字符是相邻的。若如图3所示那样将结合图表G图形化地表示，则连接信息220被配置在相邻的2个字符候选信息210之间。另外，作为特殊的连接信息220，在字符串的前端配置有开始位置221，在字符串的末尾配置有结束位置222。

图3是将以包含沿横向排列字符的横字符串的字符串图像IS为字符识别处理的对象的情况下生成的结合图表G图形化地表示的例子，沿横向排列的字符候选信息210分别表示在字符串图像IS中被视为1个字符的每个字符区域的识别结果。另外，图3所示的各字符候选信息210的字符表示通过对对应的字符区域进行的字符识别而取得的候选字符之中、识别分数最高的候选字符。以下，对这样的以包含横字符串的字符串图像IS为字符识别处理的对象的情况进行说明，但是，以包含有沿纵向排列字符的纵字符串的字符串图像IS为字符识别处理的对象的情况下，仅是字符候选信息210的排列从横向变为纵向而已，结合图表G的基本构成是同样的。

在此，对结合图表G的数据构造的具体例进行说明。图4是对结合图表G的数据构造的一例进行说明的图。图4中示意地示出了从结合图表G中部分地抽出了1个连接信息220及与该连接信息220关联的多个字符候选信息210。

字符候选信息210如上述那样，是通过对被视为1个字符的字符区域进行的字符识别而得到的信息，例如包括标志(flag)、候选数、字符代码、分数、尺寸、位置、右指针、左指针等。标志表示该字符候选信息210的属性等。候选数表示该字符候选信息210中包含的字符候选的数量。字符代码表示该字符识别信息210中包含的1个以上候选字符各自的字符代码。分数表示与各个候选字符对应的识别分数。尺寸表示与该字符候选信息210对应的字符区域(字符的外接矩形)的尺寸。位置是表示与该字符候选信息210对应的字符区域在字符串图像IS中的位置(在本实施方式中为字符区域的左端位置或右端位置)的位置信息。右指针是指示与该字符候选信息210的右端位置对应的连接信息220的指针。左指针是指示与该字符候选区域210的左端位置对应的连接信息220的指针。另外，指针为，只要能够确定保存有成为对象的信息的存储器上的区域即可，例如能够使用存储器上的地址或索引等。

连接信息220是用于对相邻的字符候选信息210进行连接的信息，包括标志、多个左指针、多个左连接位置、多个右指针、多个右连接位置。标志表示该连接信息220的属性等。左指针是指示经由该连接信息220而相邻的字符候选信息210中的左侧的字符候选信息210的指针。左连接位置是用于知晓左指针所指示的字符候选信息210的位置的信息，例如，登录有作为该字符候选信息210的位置信息的、右端位置。右指针是指示经由该连接信息220而相邻的字符候选信息210中的右侧的字符候选信息210的指针。右连接位置是用于知晓右指针所指示的字符候选信息210的位置的信息，例如登录有作为该字符候选信息210的位置信息的、左端位置。

如上述那样，结合图表G有时会包含有多个连接路径，因此，字符候选信息210彼此的连接关系存在有多种。因此，连接信息220中设置有多个左指针及左连接位置、多个右指针及右连接位置。各指针能够被切换成有效/无效，各个指针为有效还是无效例如被记载于标志。

另外，如图3所示的例子那样，也能够通过2个连接信息220来表示相邻的字符候选信息210彼此的连接关系。该情况下，2个连接信息220之中的左侧的连接信息220用1个右指针指示右侧的连接信息220，在与该右指针对应的右连接位置处登录有与右侧的连接信息220的右连接位置相同的位置。此外，2个连接信息220之中的右侧的连接信息220用1个左指针指示左侧的连接信息220，在与该左指针对应的左连接位置处登录有与左侧的连接信息220的左连接位置相同的位置。

图3所示的开始位置221是仅登录有右指针及右连接位置的特殊的连接信息220，图3所示的结束位置222是仅登录有左指针及左连接位置的特殊的连接信息220。这样的连接信息220的属性被记载于上述的标志。另外，1个结合图表G中通常开始位置221和结束位置222各设置有1个，但是也可以在结合图表G内存在有多个开始位置221及结束位置222。

在本实施方式中，示例了通过连接信息220来表示相邻的字符候选信息210彼此的连接关系的构成的结合图表G，但是不限于此。结合图表G例如也可以是，设定成字符候选信息210直接指示相邻的其他字符候选信息210而不包含有连接信息220的构成。该情况下，在字符候选信息210中代替指示1个连接信息220的左指针或右指针，设定指示相邻的其他字符候选信息210的多个左指针、多个右指针即可。

结合图表生成部12每当从字符串图像取得部11接受字符串图像IS时，生成以上那样的结合图表G并传送给结合图表统合部13。特别是在本实施方式中，结合图表生成部12针对1个字符串生成多个结合图表G并传送给结合图表统合部13。例如，结合图表生成部12通过针对包含同一字符串的多个字符串图像IS分别进行字符识别处理来生成多个结合图表G，将这些多个结合图表G传送给结合图表统合部13。此外，结合图表生成部12也可以是，通过针对1个字符串图像IS进行多个不同的字符识别处理来生成多个结合图表G，将这些多个结合图表G传送给结合图表统合部13。另外，包含有同一字符串的多个字符串图像IS例如能够设为可通过图像文件的文件名等而识别。

结合图表统合部13对针对1个字符串由结合图表生成部12生成的多个结合图表G、即从包含有同一字符串的多个字符串图像IS生成的多个结合图表G、或者针对1个字符串图像IS进行多个不同字符识别处理而生成的多个结合图表G进行统合。在本实施方式中，采用逐个地依次对结合图表G进行统合的方法。以下，将目前为止统合完的结合图表G称作累积结合图表G＿acc(第1结合图表)，将新统合的结合图表G称作新结合图表G＿new(第2结合图表)。

结合图表统合部13若接受了针对1个字符串由结合图表生成部12生成的多个结合图表G之中的最初的结合图表G，则将其作为初始的累积结合图表G＿acc进行保存。然后，结合图表统合部13若接受了第2个结合图表G，则将其作为新结合图表G＿new，将该新结合图表G＿new统合到累积结合图表G＿acc中，将统合后的结合图表G作为新的累积结合图表G＿acc保存。结合图表统合部13针对第3个以后的结合图表G也反复进行同样的处理，若针对1个字符串由结合图表生成部12生成的全部的结合图表G的统合结束，则将最终得到的累积结合图表G＿acc传送给识别字符串生成部14或者输出部15。

新结合图表G＿new向累积结合图表G＿acc的统合如以下那样进行。即，结合图表统合部13确定累积结合图表G＿acc中包含的各字符候选信息210与新结合图表G＿new中包含的各字符候选信息210之间的对应关系，将对应的字符候选信息210彼此合并(合并成1个)，并且，将与累积结合图表G＿acc侧的字符候选信息210的哪个都不对应的新结合图表G＿new侧的字符候选信息210向累积结合图表G＿acc追加，由此，将新结合图表G＿new统合到累积结合图表G＿acc中。

以下，参照图5及图6说明这样的统合处理的具体例。图5(a)表示累积结合图表G＿acc的一例，图5(b)表示新结合图表G＿new的一例，图6表示通过将图5(b)的新结合图表G＿new统合到图5(a)的累积结合图表G＿acc而得到的新的累积结合图表G＿acc。图5中，为了区分累积结合图表G＿acc及新结合图表G＿new中包含的各字符候选信息210，对累积结合图表G＿acc侧的字符候选信息210赋予A1、A2、A3、A4、A5、A6的附图标记，对新结合图表G＿new侧的字符候选信息210赋予B1、B2、B3、B4、B5的附图标记。

在本实施方式中，基于字符候选信息210中包含的位置信息(字符串图像IS中的字符区域的左端位置或右端位置)，确定累积结合图表G＿acc中包含的各字符候选信息210与新结合图表G＿new中包含的各字符候选信息210之间的对应关系。

结合图表统合部13针对新结合图表G＿new中包含的字符候选信息210的每个，从累积结合图表G＿acc中检索具有与作为位置信息而登录的字符区域的左端位置大致一致的右连接位置的连接信息220、和具有与作为位置信息而登录的字符区域的右端位置大致一致的左连接位置的连接信息220的组。大致一致是指双方的位置不同处于预定的误差范围内。由此，与新结合图表G＿new侧的字符候选信息210的左右的连接信息220对应的累积结合图表G＿acc侧的2个连接信息220被确定。

接下来，结合图表统合部13判断由确定出的累积结合图表G＿acc侧的2个连接信息220夹着的1个字符候选信息210是否存在于累积结合图表G＿acc内，如果累积结合图表G＿acc内有这样的字符候选信息210，则判断为该字符候选信息210是对应于新结合图表G＿new侧的字符候选信息210的。此时，优选为，结合图表统合部13对于累积结合图表G＿acc侧的字符候选信息210与新结合图表G＿new侧的字符候选信息210是否对应，还进一步考虑双方的字符候选信息210中包含的字符候选的一致度等来进行判断。例如，在双方的字符候选信息210中包含有规定数量以上的相同的字符候选的情况下，判断为双方的字符候选信息210对应。

结合图表统合部13将新结合图表G＿new中包含的字符候选信息210当中的、被从累积结合图表G＿acc内找到了对应的字符候选信息210的字符候选信息210，将该新结合图表G＿new侧的字符候选信息210向对应的累积结合图表G＿acc侧的字符候选信息210合并(合并成1个)。具体地说，对通过字符识别得到的候选字符的字符代码和识别分数进行合并。对字符候选信息210进行合并时，是按照识别分数的顺序来排列候选字符的字符代码的，但在为相同的字符代码而识别分数不同的情况下，采用识别分数高的一方。此外，在通过合并而导致候选字符的数量超过了预定的上限值的情况下，不将识别分数低的字符代码登录。

图5所示的例子中，新结合图表G＿new侧的B1、B2、B3、B4与累积结合图表G＿acc侧的A1、A2、A3、A4分别对应，因此，B1被合并到A1，B2被合并到A2，B3被合并到A3，B4被合并到A4。

此外，结合图表统合部13针对新结合图表G＿new中包含的字符候选信息210当中的未在累积结合图表G＿acc内找到对应的字符候选信息210的字符候选信息210，将该新结合图表G＿new侧的字符候选信息210作为新的字符候选信息210向累积结合图表G＿acc追加。具体地说，结合图表统合部13以使应追加的字符候选信息210的右指针指示与该字符候选信息210的右侧的连接信息220对应的累积结合图表G＿acc侧的连接信息22、应追加的字符候选信息210的左指针指示与该字符候选信息210的左侧的连接信息220对应的累积结合图表G＿acc侧的连接信息220的方式，变更这些指针。此外，结合图表统合部13对与应追加的字符候选信息210的右侧的连接信息220对应的累积结合图表G＿acc侧的连接信息220，追加登录指示该字符候选信息210的左指针及左连接位置，并且，对与应追加的字符候选信息210的左侧的连接信息220对应的累积结合图表G＿acc侧的连接信息220，追加登录指示该字符候选信息210的右指针及右连接位置。由此，与累积结合图表G＿acc侧的字符候选信息210的哪个都不对应的新结合图表G＿new侧的字符候选信息210被追加至累积结合图表G＿acc。

图5所示的例子中，在新结合图表G＿new侧的B5于累积结合图表G＿acc侧的连接位置之间存在有A2及A3的2个字符候选信息210，未找到与新结合图表G＿new侧的B5对应的累积结合图表G＿acc侧的1个字符候选信息210，因此，新结合图表G＿new侧的B5被作为新的字符候选信息210而追加到累积结合图表G＿acc侧的A1与A4之间。

结合图表统合部13针对新结合图表G＿new内的全部的字符候选信息210，按照从左起的连接顺序而依次执行以上那样的统合处理。此外，与新结合图表G＿new侧的字符候选信息210的左右对应的累积结合图表G＿acc侧的连接信息220的组有时会找到有多个，该情况下，针对找到的多个组分别进行上述的字符候选信息210的合并或追加。通过该统合，从图5所示的累积结合图表G＿acc及新结合图表G＿new，生成了图6所示的新的累积结合图表G＿acc。

接下来，对例外的处理进行说明。与新结合图表G＿new的字符候选信息210的左右对应的累积结合图表G＿acc侧的连接信息220、1个都未找到的情况下，该字符候选信息210为误读的可能性较高，因此，不进行向累积结合图表G＿acc的合并或追加。

此外，在虽然找到了与新结合图表G＿new的字符候选信息210的左侧对应的累积结合图表G＿acc侧的连接信息220、但未找到与右侧对应的连接信息220的情况下，将该字符候选信息210向累积结合图表G＿acc追加，并且，将该字符候选信息210的右侧的连接信息220作为新的结束位置222向累积结合图表G＿acc追加。此时，在作为新的结束位置222而追加的连接信息220具有右指针和右连接位置的情况下，将它们删除。此外，在作为新的结束位置222而追加的连接信息220具有指示除追加的字符候选信息210以外的字符候选信息210的左指针和左连接位置的情况下，将它们删除。

此外，在虽然找到了与新结合图表G＿new的字符候选信息210的右侧对应的累积结合图表G＿acc侧的连接信息220、但是未找到与左侧对应的连接信息220的情况下，将该字符候选信息210向累积结合图表G＿acc追加，并且，将该字符候选信息210的左侧的连接信息220作为新的开始位置221向累积结合图表G＿acc追加。此时，作为新的开始位置221而追加的连接信息220具有左指针和左连接位置的情况下，将它们删除。此外，在作为新的开始位置221而追加的连接信息220具有指示除追加的字符候选信息210以外的字符候选信息210的右指针和右连接位置的情况下，也将它们删除。

此外，在与新结合图表G＿new的字符候选信息210的右侧对应的累积结合图表G＿acc侧的连接信息220为开始位置221的情况下，将该字符候选信息210作为与开始位置221的左侧连接的字符候选信息210向累积结合图表G＿acc追加，并且，向累积结合图表G＿acc侧的开始位置221追加指示该字符候选信息210的左指针及左连接位置，改写标志的属性，由此，将开始位置221变更成通常的连接信息220。此外，将该字符候选信息210的左侧的连接信息220作为新的开始位置221向累积结合图表G＿acc追加。此时，在作为新的开始位置221而追加的连接信息220具有左指针和左连接位置的情况下，将它们删除。此外，在作为新的开始位置221而追加的连接信息220具有指示除追加的字符候选信息210以外的字符候选信息210的右指针和右连接位置的情况下，也将它们削除。

此外，在与新结合图表G＿new的字符候选信息210的左侧对应的累积结合图表G＿acc侧的连接信息220为结束位置222的情况下，将该字符候选信息210作为与结束位置222的右侧连接的字符候选信息210向累积结合图表G＿acc追加，并且，向累积结合图表G＿acc侧的结束位置222追加指示该字符候选信息210的右指针及右连接位置，改写标志的属性，将结束位置222变更成通常的连接信息220。此外，将该字符候选信息210的右侧的连接信息220作为新的结束位置222向累积结合图表G＿acc追加。此时，在作为新的结束位置222而追加的连接信息220具有右指针和右连接位置的情况下，将它们删除。此外，在作为新的结束位置222而追加的连接信息220具有指示除追加的字符候选信息210以外的字符候选信息210的左指针和左连接位置的情况下，也将它们削除。

累积结合图表G_acc也可以是具有多个开始位置221或多个结束位置222的构成，但是在需要将这些开始位置221及结束位置222缩限成1个的情况下，如以下那样进行缩限。即，使多个开始位置221之中的除最左端以外的开始位置221的右指针全部无效化。同样，使多个结束位置222之中的除最右端以外的结束位置222的左指针全部无效化。在字符候选信息210的右指针或左指针所指示的连接信息220的对应的指针无效的情况下，该字符候选信息210的右指针或左指针也无效化。反复实施该处理，直至不再存在要无效化的指针。然后，最后将指针全部无效的连接信息220及字符候选信息210删除。

另外，以上说明了由连接信息220来表示相邻的字符候选信息210彼此的连接关系的构成的结合图表G的统合处理，但是在使用字符候选信息210直接指示相邻的其他字符候选信息210的构成、换句话说使字符候选信息210还具有连接信息220的功能的构成的结合图表G的情况下，也能够应用同样的统合处理。该情况下，在上述的说明中将字符候选信息210的左右的连接信息220置换成字符候选信息210内的连接信息即可。

结合图表统合部13针对应统合的全部的结合图表G反复进行以上说明的统合处理，若全部的结合图表G的统合结束，则将统合后的结合图表G传送给识别字符串生成部14或者输出部15。

识别字符串生成部14从结合图表统合部13接受所统合的结合图表G，对该统合的结合图表G，实施例如知识处理等规定处理，由此生成作为最终的字符识别结果的识别字符串。然后，识别字符串生成部14将所生成的识别字符串传送给输出部15。另外，用于生成作为最终的字符识别结果的识别字符串的知识处理等处理能够直接使用现有技术，因此省略详细的说明。

输出部15将由识别字符串生成部14生成的识别字符串输出。此外，输出部15也可以构成为，代替由识别字符串生成部14生成的识别字符串或者与该识别字符串一起，输出由结合图表统合部13统合的结合图表G。在输出部15仅输出统合的结合图表G的构成的情况下，实施方式的字符识别装置10能够设为不具备上述的识别字符串生成部14的构成。

关于输出部15对识别字符串或统合的结合图表G的输出形态，可以是将识别字符串或统合的结合图表G显示于显示装置108的形态，也可以是向与网络连接的外部装置经由网络I/F106发送识别字符串或统合的结合图表G的形态。

接下来，说明实施方式的字符识别装置10的动作。图7是表示字符识别装置10的处理步骤的一例的流程图。字符识别装置10例如根据图7的流程图所示的一系列的处理步骤来进行动作。

若字符识别装置10开始动作，则首先，字符串图像取得部11取得成为字符识别处理的对象的字符串图像IS(步骤S101)，对所取得的字符串图像IS实施预处理(步骤S102)后传送给结合图表生成部12。

接下来，结合图表生成部12对从字符串图像取得部11接受的字符串图像IS执行字符识别处理(步骤S103)，生成与字符串对应的结合图表G(步骤S104)。在本实施方式中，结合图表生成部12对包含有同一字符串的多个字符串图像IS分别进行字符识别处理，或者对1个字符串图像IS进行多个不同的字符识别处理，由此生成与1个字符串对应的多个结合图表G。由结合图表生成部12生成的多个结合图表G被依次传送给结合图表统合部13。

接下来，结合图表统合部13执行从结合图表生成部12接受的多个结合图表G、换句话说与1个字符串对应的多个结合图表G的统合处理(步骤S105)，将统合的结合图表G传送给识别字符串生成部14。另外，在如上述那样输出部15输出统合的结合图表G的构成的情况下，结合图表统合部13将统合的结合图表G传送给输出部15。

接下来，识别字符串生成部14基于从结合图表统合部13接受的统合的结合图表G，生成作为最终的字符识别结果的识别字符串(步骤S106)，将该识别字符串传送给输出部15。另外，在输出部15仅输出统合的结合图表G的构成的情况下，该步骤S106的处理被省略。

最后，输出部15输出从识别字符串生成部14接受的识别字符串(步骤S107)。另外，输出部15代替识别字符串或者与识别字符串一起，输出从结合图表生成部12接受的统合的结合图表G。

图8是用于说明图7的步骤S105的统合处理的概要的流程图，示出了将新结合图表G＿new依次统合到累积结合图表G＿acc中的统合处理的顺序。另外，图中的i表示计数值，n表示应统合的结合图表G的数量。

若统合处理开始，则结合图表统合部13首先将计数值i初始化(i＝0)(步骤S201)。然后，若由结合图表生成部12生成了结合图表G，则结合图表统合部13从结合图表生成部12接受结合图表G(步骤S202)，并使计数值i自加1(i＝i+1)(步骤S203)。

接下来，结合图表统合部13通过确认计数值i是否是1，来判定步骤S202中接受的结合图表G是否是应统合的多个结合图表G之中的最初的结合图表G(步骤S204)。

在此，在步骤S202中接受的结合图表G是最初的结合图表G的情况下(步骤S204为是)，结合图表统合部13将该结合图表G直接作为累积结合图表G＿acc而保存(步骤S206)。另一方面，在步骤S202中接受的结合图表G不是最初的结合图表G的情况下(步骤S204为否)，结合图表统合部13将该结合图表G作为新结合图表G＿new，统合到所保存的累积结合图表G＿acc中(步骤S205)。然后，将统合的结合图表G作为新的累积结合图表G＿acc而保存(步骤S206)。

然后，结合图表统合部13通过判断计数值i是否达到了n，来判定是否对应统合的全部的结合图表G进行了统合(步骤S207)。然后，如果存在尚未统合的结合图表G(步骤S207为否)，则返回至步骤S202，反复进行之后的处理，若对全部的结合图表G进行了统合(步骤S207为是)，则将所保存的累积结合图表G＿acc向识别字符串生成部14或输出部15传送，结束一系列的处理。

图9是表示图8的步骤S205的处理步骤的流程图。另外，图中的j表示计数值，m表示新结合图表G＿new中包含的字符候选信息210的数量。

结合图表统合部13首先使计数值j初始化(j＝0)(步骤S301)。然后，结合图表统合部13从新结合图表G＿new的左侧起依次取出1个字符候选信息210(步骤S302)，使计数值j自加1(j＝j+1)(步骤S303)。

接下来，结合图表统合部13确定出步骤S302中取出的字符候选信息210、即与新结合图表G＿new侧的自左侧起第j个字符候选信息210的左右对应的、累积结合图表G＿acc侧的2个连接信息220(步骤S304)。然后，结合图表统合部13判定由步骤S304中确定出的2个连接信息220夹着的1个字符候选信息210是否存在于累积结合图表G＿acc侧(步骤S305)。

在此，如果累积结合图表G＿acc侧有这样的字符候选信息210(步骤S305为是)，则结合图表统合部13将该字符候选信息210视为与新结合图表G＿new侧的自左侧起第j个字符候选信息210对应的累积结合图表G＿acc侧的字符候选信息210，将从新结合图表G＿new侧的左侧起第j个字符候选信息210向该累积结合图表G＿acc侧的字符候选信息210合并(步骤S306)。另一方面，如果累积结合图表G＿acc侧没有这样的字符候选信息210(步骤S305为否)，则结合图表统合部13判断为累积结合图表G＿acc中不存在与新结合图表G＿new侧的自左侧起第j个字符候选信息210对应的字符候选信息210，将新结合图表G＿new侧的自左侧起第j个字符候选信息210向累积结合图表G＿acc追加(步骤S307)。

然后，结合图表统合部13通过判断计数值j是否达到了m，来判定对新结合图表G＿new中包含的全部字符候选信息210的处理是否已结束(步骤S308)。然后，如果存在处理尚未结束的字符候选信息210(步骤S308为否)，则返回步骤S302，反复进行之后的处理，若对全部字符候选信息210的处理结束(步骤S308为是)，则结束一系列的处理。

以上，如列举具体例子而详细地说明那样，实施方式的字符识别装置10为，通过对字符串图像IS的字符识别处理，生成将分别包含有1个以上候选字符的字符候选信息210连接而成的结合图表G，将针对1个字符串生成的多个结合图表G统合，输出统合的结合图表G，或者输出基于统合的结合图表G生成的识别字符串。因此，与从多个字符识别结果针对对应的字符选择信赖度高的识别结果而得到最终的识别字符串的以往的方法相比，能够输出针对误读或字符的划分错误具有较强抵抗力的识别结果，能够进行高精度的字符识别。

以下，对上述的实施方式的变形例进行说明。

＜变形例1＞

上述的实施方式中，基于字符候选信息210中包含的位置信息来进行多个结合图表G中的字符候选信息210的对应建立，但是在多个结合图表G是从不同字符串图像IS生成的情况下，对应的字符候选信息210的位置信息未必是一致的。在上述实施方式中，在位置信息的一致判定中设有误差范围，但是也可设想到在包含有同一字符串的多个字符串图像IS中相同的字符所存在的位置较大地不同的情况。

因此，也可以是，将从包含有同一字符串的多个字符串图像IS生成的多个结合图表G统合的情况下，进行多个字符串图像IS的对位(配准，registration)，基于与对位的结果相应地变换的位置信息，进行多个结合图表G中的字符候选信息210彼此的对应建立。

该情况下，结合图表统合部13从结合图表生成部12接受结合图表G时，也接受该结合图表G的生成所使用的字符串图像IS。然后，在进行结合图表G的统合时，首先，进行字符串图像IS的对位，与该对位的结果相应地，对要统合的结合图表G中包含的各字符候选信息210的位置信息进行变换。然后，使用变换后的位置信息，利用与上述实施方式同样的方法，进行字符候选信息210的对应建立。另外，图像的对位(配准)能够应用现有技术，因此省略详细的说明。

本变形例中，基于与字符串图像IS的对位的结果相应地进行了变换的位置信息，进行多个结合图表G中的字符候选信息210的对应建立，由此，在多个字符串图像IS中相同字符所存在的位置较大地不同的情况下也能够适当地进行字符候选信息210的对应建立，能够进行高精度的字符识别。

＜变形例2＞

多个结合图表G中的字符候选信息210的对应建立也可以是，不仅以字符候选信息210的位置信息为依据，还以相邻的字符候选信息210的连接性为依据来进行。以下，说明以相邻的字符候选信息210的连接性为依据而进行字符候选信息210的对应建立的方法的一例。

图10是抽选出图5所例示的累积结合图表G＿acc及新结合图表G＿new的一部分字符候选信息210来表示的图。该图10中，对累积结合图表G＿acc侧的字符候选信息210(A1，A2，A5)与新结合图表G＿new的侧的字符候选信息210(B1，B2，B5)进行连结的线，表示各个字符候选信息210的对应建立的候选。如图10所示，1个字符候选信息210具有多个对应建立的候选。

本变形例中，对这样的对应建立的候选的每个分别准备分数。作为分数的初始值，根据基于字符串中的各字符的相对位置关系求出的位置偏离量、识别结果的相近度等而设定分数。例如，将字符串内的坐标值以左上为0、右下为1的方式进行标准化而表现，基于该标准化坐标值来计算分数。具体地说，例如有如下方法：计算累积结合图表G＿acc侧的字符候选信息210的标准化坐标值与新结合图表G＿new侧的字符候选信息210的标准化坐标值之差的绝对值的平方，并取得它们全部的和。此外，也可以是，在累积结合图表G＿acc侧的字符候选信息210与新结合图表G＿new侧的字符候选信息210具有相同的字符代码的情况下，取与该字符代码对应的识别分数的和，找到成为最好的识别分数的字符代码，基于该字符代码的识别分数来决定在此的对应建立候选的分数。此外，也可以是，通过将以上那样的2个分数合成来决定在此的对应建立候选的分数。

接下来，在新结合图表G＿new中，针对相邻的2个字符候选信息210，查找成为这些字符候选信息210的对应建立候选的、累积结合图表G＿acc侧的相邻的2个字符候选信息210的组。一般而言，这样的字符候选信息210的组能找到多个。

接下来，基于新结合图表G＿new侧的2个字符候选信息210与累积结合图表G＿acc侧的2个字符候选信息210之间的对应建立候选的分数，更新各自的分数。例如，如果双方的对应建立候选的分数高于平均分数，则对各自的分数加上规定的常量，如果双方的对应建立候选的分数低于平均分数，则从各自的分数中减去规定的常量，除此以外不进行分数的加减法。通过反复进行该处理，最佳的对应建立候选的分数上升，最差的对应建立候选的分数下降。将以上的处理进行一定次数，或者进行至分数的变动成为阈值以下为止。

接下来，按照对应建立候选的分数从大到小的顺序，决定新结合图表G＿new侧的字符候选信息210与累积结合图表G＿acc侧的字符候选信息210之间的对应建立，而在该过程中，包含有对应建立既已决定的字符候选信息210的对应建立不被采用。此外，在对应建立候选的分数低于阈值的情况下，不采用该字符候选信息210彼此的对应建立。由此，最终能够得到恰当的字符候选信息210彼此的对应建立。另外，在此的对应建立不是使新结合图表G＿new侧与累积结合图表G＿acc侧的全部的字符候选信息210之间1对1地建立对应，而是包含不1对1地对应的字符候选信息210、即1对0或者0对1的对应建立。

以上那样的对应建立的方法是作为松弛法(relaxation method)而被熟知的方法。上述的实施方式的字符识别装置10也可以是，在结合图表统合部13中的结合图表G的统合处理中，利用以上那样的松弛法来进行字符候选信息210的对应建立。由此，在基于位置信息的字符候选信息210的对应建立困难的情况下也能够适当地进行字符候选信息210的对应建立，能够实现高精度的字符识别。

＜变形例3＞

接下来，说明多个结合图表G的统合方法的其他例。本例子的统合方法中，将具有多个连接路径的累积结合图表G＿acc和具有多个连接路径的新结合图表G＿new分别分离成单个连接路径。然后，确定累积结合图表G＿acc侧与新结合图表G＿new侧之间的连接路径的对应关系，将对应的连接路径中包含的字符候选信息210彼此合并。此外，关于与累积结合图表G＿acc侧的哪个连接路径都不对应的新结合图表G＿new侧的连接路径，将该连接路径中包含的字符候选信息210向累积结合图表G＿acc侧的某个连接路径追加。然后，将累积结合图表G＿acc侧的全部的连接路径结合起来，作为新的累积结合图表G＿acc。

图11是表示将结合图表G分离成单个连接路径的样态的图。以下将从结合图表G分离出的单个连接路径的集合称作多重单线路径MP。多重单线路径MP能够通过自左侧起依次经过结合图表G中包含的字符候选信息210、每当有分支时就生成独立的连接路径而构建的。此外，此时，附属有表示所生成的各连接路径中包含的各字符候选信息210出自于原来的结合图表G内的哪个符候选信息210的数据。此外，例如也可以是，根据字符候选信息210中包含的识别分数等计算连接路径的分数，仅将上位n个连接路径留下，或者仅将分数为阈值以上的连接路径留下，从而对多重单线路径MP中包含的连接路径的数量设置限制。

本例子中，以上那样的连接路径的分离针对累积结合图表G＿acc与新结合图表G＿new的双方而进行。然后，将累积结合图表G＿acc侧的连接路径与新结合图表G＿new侧的连接路径之间的对应关系，使用各自的连接路径中包含的字符候选信息210彼此的匹配分数来确定。具体地说，通过以下的方法，确定累积结合图表G＿acc侧的连接路径与新结合图表G＿new侧的连接路径之间的对应关系。

将累积结合图表G＿acc侧的连接路径中连续的字符候选信息210设为A0、A1、···、An－1，将新结合图表G＿new侧的连接路径中连续的字符候选信息210设为B0、B1、···、Bm－1。字符候选信息210彼此的匹配分数使用各自的字符候选信息210中包含的识别分数、字符区域的位置或尺寸等而计算。从连接路径的前端开始针对规定数量的字符候选信息210的组合计算这样的字符候选信息210彼此的匹配分数，确定出其中获得最良匹配分数的字符候选信息210彼此。然后，在累积结合图表G＿acc侧的连接路径和新结合图表G＿new侧的连接路径的各自中，从获得最良匹配分数的字符候选信息210的下一个字符候选信息210开始针对规定数量的字符候选信息210的组合，同样地计算字符候选信息210彼此的匹配分数。然后，将所得到的最良的匹配分数加到目前为止的匹配分数中。

设为目前Ak－1与Bh－1的匹配分数最良。该情况下，在接下来的步骤中，在Ak～Ak+d－1的d个字符候选信息210与Bh～Bh+d－1的d个字符候选信息210之间，针对合计2d－1组的字符候选信息210的组合，分别计算匹配分数。然后，将所得到的匹配分数之中最良的匹配分数，加到Ak－1和Bh－1为止的处理所得到的匹配分数中。此时，在累积结合图表G＿acc侧的连接路径和新结合图表G＿new侧的连接路径中获得最良的匹配分数的字符候选信息210彼此不连续的情况下，与其间的字符候选信息210的数量相应地，以使匹配分数变低的方式进行调整。进行该处理直至累积结合图表G＿acc侧的连接路径的最后的字符候选信息210与新结合图表G＿new侧的连接路径的最后的字符候选信息210的组合为止，得到累积结合图表G＿acc侧的连接路径与新结合图表G＿new侧的连接路径之间的最终的匹配分数。在此使用的分数计算法是被称作编辑距离的一种方法，匹配方式是被称作动态规划(DP)的方式。但是，分数计算的方法及匹配方式不限于以上的例子。

以上的说明中，将2d－1组的字符候选信息210的组合当中获得最良匹配分数的字符候选信息210的组合视为取得匹配的字符候选信息210的组合而使处理前进，但是，也可以是，按照匹配分数从高向低的顺序将上位T个组合作为候选而留下，对各个组合进行与上述同样的处理。这样的留下上位T个组合的手法被称作定向搜索(beam search)。

本例子中，针对累积结合图表G＿acc侧的全部的连接路径与新结合图表G＿new侧的全部的连接路径的组合，利用以上的处理计算连接路径彼此的匹配分数。然后，确定匹配分数最大的累积结合图表G＿acc侧的连接路径与新结合图表G＿new侧的连接路径的组合，在其匹配分数超过规定的阈值的情况下，视为这些连接路径是对应的，将这些连接路径中包含的字符候选信息210彼此利用与上述实施方式同样的方法进行合并。另一方面，关于匹配分数为阈值以下的连接路径的组，将新结合图表G＿new侧的连接路径中包含的字符候选信息210，利用与上述实施方式同样的方法，向累积结合图表G＿acc侧的连接路径追加。最后，将累积结合图表G＿acc侧的全部的连接路径结合起来，作为新的累积结合图表G＿acc。

上述实施方式的字符识别装置10利用以上说明的本例子的方法来进行结合图表统合部13中的结合图表G的统合处理。由此，在累积结合图表G＿acc或新结合图表G＿new的连接路径的数量较多的情况下，也能够适当地进行结合图表G的统合处理，能够进行高精度的字符识别。

＜补充说明＞

以上说明的实施方式的字符识别装置10中的各功能例如在作为字符识别装置10的硬件构成而使用计算机的情况下，能够通过由该计算机执行规定的程序来实现。作为字符识别装置10而使用的计算机所执行的程序，例如，以可安装的形式或者可执行的形式的文件，记录在CD－ROM(Compact Disk Read Only Memory)、软盘(FD)、CD－R(Compact DiskRecordable)、DVD(Digital Versatile Disc)等可由计算机读取的记录介质中，作为计算机程序产品而被提供。

此外，也可以构成为，将作为字符识别装置10而使用的计算机所执行的程序保存在与互联网等网络连接的其他计算机上，通过经由网络进行下载而被提供。此外，也可以构成为，将作为字符识别装置10而使用的计算机所执行的程序，经由互联网等网络而进行提供或者分发。此外，也可以构成为，将作为字符识别装置10而使用的计算机所执行的程序，预先组装到计算机内部的ROM102等中来提供。

作为字符识别装置10而使用的计算机所执行的程序，成为包含有字符识别装置10的上述的功能性构成要素(字符串图像取得部11、结合图表生成部12、结合图表统合部13、识别字符串生成部14、以及输出部15)的模块构成，作为实际的硬件，例如通过由CPU101从上述记录介质读出程序并执行，使得上述的各构成要素被加载到RAM103等主存储部上，上述各构成要素被生成在主存储部上。另外，字符识别装置10的功能性构成要素也可以是，使其一部分或者全部使用ASIC(Application Specific Integrated Circuit)或FPGA(Field-Programmable Gate Array)等专用硬件来实现。

以上，对本发明的实施方式进行了说明，但是该实施方式只是作为例子而提示，不意欲限定发明的范围。其新的实施方式能够以其他各种形态来实施，在不脱离发明主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围及主旨内，并且也包含在权利要求书所记载的发明及其等同的范围内。

Claims (9)

1.一种字符识别装置，其中，具备：

字符串图像取得部，取得字符串图像；

结合图表生成部，对所述字符串图像进行字符识别处理，生成将多个表示被视为1个字符的每个字符区域的识别结果的字符候选信息、按照所述字符串图像中的各字符区域的排列顺序进行连接而得的结合图表，多个所述字符候选信息分别包含有1个以上候选字符；

结合图表统合部，对根据包含有同一字符串的多个所述字符串图像生成的多个所述结合图表、或者通过对1个所述字符串图像进行多个不同字符识别处理而生成的多个所述结合图表进行统合；以及

输出部，输出统合后的所述结合图表或者基于统合后的所述结合图表得到的识别字符串。

2.如权利要求1所述的字符识别装置，其中，

所述结合图表统合部在将要统合的多个所述结合图表设为第1结合图表及第2结合图表时，确定所述第1结合图表中包含的所述字符候选信息与所述第2结合图表中包含的所述字符候选信息之间的对应关系，将所述第1结合图表与所述第2结合图表中对应的所述字符候选信息彼此合并成1个所述字符候选信息，并且，将所述第2结合图表中包含的、且与所述第1结合图表中包含的任意的所述字符候选信息都不对应的所述字符候选信息向所述第1结合图表追加，由此，对所述第1结合图表和所述第2结合图表进行统合。

3.如权利要求2所述的字符识别装置，其中，

所述字符候选信息包含有表示所述字符串图像中的字符区域的位置的位置信息，

所述结合图表统合部基于所述位置信息，确定所述第1结合图表中包含的所述字符候选信息与所述第2结合图表中包含的所述字符候选信息之间的对应关系。

4.如权利要求3所述的字符识别装置，其中，

所述结合图表统合部在对根据包含有同一字符串的多个所述字符串图像生成的多个所述结合图表进行统合的情况下，进行多个所述字符串图像的对位，基于与该对位的结果相应地进行了变换的所述位置信息，确定所述第1结合图表中包含的所述字符候选信息与所述第2结合图表中包含的所述字符候选信息之间的对应关系。

5.如权利要求2所述的字符识别装置，其中，

所述结合图表统合部利用松弛法来确定所述第1结合图表中包含的所述字符候选信息与所述第2结合图表中包含的所述字符候选信息之间的对应关系。

6.如权利要求2所述的字符识别装置，其中，

在所述结合图表中，对应于所述字符串图像中的字符区域的划分不同的多个类型，包含有多个表示各类型中的所述字符候选信息的连接的连接路径，

所述结合图表统合部在将所述第1结合图表和所述第2结合图表分别分离成单个所述连接路径后，确定所述第1结合图表的所述连接路径与所述第2结合图表的所述连接路径之间的对应关系，将所述第1结合图表与所述第2结合图表中对应的所述连接路径中包含的所述字符候选信息彼此合并成1个所述字符候选信息，并且，将所述第2结合图表的与所述第1结合图表的任意的所述连接路径都不对应的所述连接路径中包含的所述字符候选信息向所述第1结合图表的某个所述连接路径追加之后，将所述第1结合图表的多个所述连接路径结合起来，由此，对所述第1结合图表和所述第2结合图表进行统合。

7.如权利要求2至6中任一项所述的字符识别装置，其中，

所述结合图表包含有表示相邻的所述字符候选信息彼此的连接关系的连接信息，

所述结合图表统合部对所述第1结合图表中包含的所述连接信息追加与所述第2结合图表中包含的所述字符候选信息之间的连接关系，由此，将所述第2结合图表中包含的所述字符候选信息向所述第1结合图表追加。

8.一种字符识别方法，其中，包括如下步骤：

取得字符串图像的步骤；

对所述字符串图像进行字符识别处理，生成将多个表示被视为1个字符的每个字符区域的识别结果的字符候选信息、按照所述字符串图像中的各字符区域的排列顺序进行连接而得的结合图表的步骤，多个所述字符候选信息分别包含有1个以上候选字符；

对根据包含有同一字符串的多个所述字符串图像生成的多个所述结合图表、或者通过对1个所述字符串图像进行多个不同字符识别处理而生成的多个所述结合图表进行统合的步骤；和

输出统合后的所述结合图表或者基于统合后的所述结合图表而得到的识别字符串的步骤。

9.一种程序，用于使计算机实现如下功能：

取得字符串图像的功能；

对所述字符串图像进行字符识别处理，生成将多个表示被视为1个字符的每个字符区域的识别结果的字符候选信息、按照所述字符串图像中的各字符区域的排列顺序进行连接而得的结合图表的功能，多个所述字符候选信息分别包含有1个以上候选字符；

对根据包含有同一字符串的多个所述字符串图像生成的多个所述结合图表、或者通过对1个所述字符串图像进行多个不同字符识别处理而生成的多个所述结合图表进行统合的功能；和

输出统合后的所述结合图表或者基于统合后的所述结合图表而得到的识别字符串的功能。