CN1202670A - 模式提取装置 - Google Patents

Abstract

本发明为一种模式提取装置,该装置计算输入的模式的凸起/凹陷,把具有大凸起/凹陷的模式看作是文字,并把小凸起/凹陷的模式看作是界线。

Description

模式提取装置

本发明涉及模式提取装置和模式提取方法，并具体适用于手写文字识别装置、印刷文字识别装置、图形识别装置等中的指示包含文字、图象、符号、图形等的模式范围的框和界线。

近来对手写文字识别装置的需求正在增加，诸如光学阅读器作为外设单元用来输入财务文件，业务文件等。

以往的光学文字阅读器在识别文字之前，对来自输入的图象的文字模式的每一文字进行文字分段处理。为了获得对每一文字高的文字识别率，作为预识别，处理光学文字阅读器必须对文字正确分段。

因而，当以往的光学文字阅读器阅读文字时，文字是被写入在文件的特定范围中，诸如其中对文字输入的位置(不是以浅颜色，而是例如以与文字类似的颜色或深度的黑色矩形框或界线)作出规定的列表，以便获得高的识别率。

然而，以往的光学文字阅读器有这样的问题，即当指示特定输入范围的界线或矩形框接触或与文字交叉时，文字的识别率就降低，因为文字不能被正确地分段。例如，当移动矩形框时，当前的光学文字阅读器不能对稍微倾斜的矩形框、投影、或凹陷矩形矩形识别。结果，如果矩形框的位置或线宽改变，则被识别的文字一部分可能丢失，或者矩形框的一部分可能保持不动。

当规定列表中输入文字的范围时，有关位置和界线细度的信息应当预先存储，且如果列表格式有改变，则有关输入文字的范围信息应当被更新。因而，以往的系统给用户造成很大负担。此外，在规定文字范围的系统中，不能处理未知的列表格式。

在日本专利申请No.7-203259中，申请人透露了提取和移动矩形框而不输入关于矩形框位置和大小格式信息的技术。这一技术中可使用的列表是单矩形框，即一个方框矩形框(包含单水平的文字列，或自由格式的矩形框)，或者具有规则排布的水平线矩形框的表格。此外，该技术可处理没有矩形表格，具有更复杂的表格结构的列表，或虚线与实线共同存在的列表。

以下所述的是上述日本专利申请No.7-203259的说明书及附图中所述的模式提取装置所进行的主要处理过程。

首先，对输入的图象进行编号，且由按八个方向即垂直、水平和对角任何一方向彼此连接的象素形成的部分模式可提取为连接模式。

然后，找出水平和垂直线，通过对输入图象的编号所提取的连接模式的屏蔽处理降低文字和矩形框之间的线条细度的差别。在屏蔽处理中，使用两种类型的屏蔽，即水平屏蔽和垂直屏蔽，扫描连接模式的整个图象。计算模式对屏蔽的比值。如果比值大于预定值，则整个屏蔽被识别为模式。如果它等于或低于预定值，则通过删除屏蔽中的模式提取水平或垂直元件。

然后把被屏蔽的模式水平地或垂直地分为多个部件，并在每一水平和垂直划分的范围中计算模式相连的投影值。基于相连投影的模式，通过近似的矩形检测线条或直线的一部分。通过把目标行或目标列的投影值加到靠近目标行或目标列的行或列的投影值而获得相连的投影值。

然后，在各形成由相连投影方法获得的矩形的部件的线条中，把矩形的相连线条形成部件组合为一长线。这样，获得的线条就形成了近似的矩形，并能够被识别为列表的水平或垂直界线的选件。

然后，对识别为界线的选件的水平或垂直线条进行搜索以检测水平线条的左边界和右边界及垂直线条的上边界和下边界。

然后，检测排布在预定区间的小模式以提取虚线并使用虚线作为以上描述的线条获得近似的矩形。

从上述过程中检测到的水平线条确定形成矩形框的部件的一组两个水平线条。顺序地从顶部提取两个水平线条。当两个被提取的水平线条具有相同的长度或下面的水平线条比上面的水平线条长时，则两个水平线条被识别为一组水平线条。除非两个被提取的水平线条具有相同的长度或下面的水平线条比上面的水平线条长，否则即使下面的线条较短，两个线条将被识别为一组。

然后，从在上述过程检测的水平线条，如果它们的上和下端达到上述被识别为一组水平界线的两水平线条组，则确定为垂直界线。

然后，由上述两水平线条组和上下端到达两水平线条组的两垂直界线围绕的矩形范围被提取为一个单元。形成单元的部件的一个线条被识别为界线。不形成单元部件的线条被识别为的模式，而不是界线。

当由上述过程确定的水平和垂直界线围绕的矩形被进一步分为更小的矩形区域时，矩形被重新定义为表格。通过重复上述的处理过程，矩形区域进而被分为更小的矩形。

于是，根据传统的技术，任何由矩形区域形成的表格可被处理，无论矩形框的结构是规则的或不规则的。该过程还可对作为界线的被处理的实线或虚线进行。

然而，上述模式提取装置选择具有高密度象素区域作为界线的候选物。如果文字彼此靠近相互接触，则在文字周围象素的密度变高，而文字区域可能被当作界线的候选物。

例如，图1A中，当文字串201“文字”写入列表200时，矩形区域202中的模式的象素密度变高。因而，该模式被识别为界线的候选物，虽然它是文字串201的一部分。然而，由于矩形区域202不接触任何形成列表200的界线，故矩形区域202不能形成单元。因而，该模式可被识别出，即它不是界线。

在图1B中，当文字串204“文字”被写入列表203时，矩形区域205中模式的象素密度变高。因而，该模式被识别为界线的候选物，虽然它是文字串204的一部分。矩形区域205接触垂直界线207和208，而矩形区域205与垂直界线207和208并不形成单元。因而，文字串204的一部分被当作是界线，且对文字串204“文字”正确地分段是困难的，从而引起这样的问题，即文字不能被正确地识别。

本发明的目的在于提供用于正确地确定模式是否为界线的模式提取装置。

根据本发明的模式提取装置包括模式输入装置；凸起/凹陷计算单元；模式辨别单元；偏移频率计算单元；第一搜索单元；第二搜索单元；计数单元；倾斜度检测单元；计算单元；判定单元；调整单元；交叉数计数单元；界线辨别单元；文字辨别单元；连接的模式提取单元；界线候选物提取单元；屏蔽处理单元；单元区域提取单元；界线除去单元；段检测单元；直线检测单元；长度计算单元；长度比较单元；凸起/凹陷获取单元；界线排除单元；列表辨别单元；及局部凸起/凹陷计算单元。

根据本发明的第一方面，模式输入单元输入模式。凸起/凹陷较低单元计算上述模式的凸起和凹陷。模式辨别单元基于凸起和凹陷辨别上述模式的属性。

根据本发明的第二方面，连接模式提取单元从输入的原始图象数据提取由连接象素形成的局部模式。界线候选物提取单元从上述局部模式提取具有高密度象素的矩形区域作为界线候选物。搜索单元在矩形区域中搜索上述局部模式。凸起/凹陷计算单元基于上述搜索单元的搜索结果，计算上述局部模式的凸起/凹陷。界线辨别单元基于上述凸起/凹陷辨别上述局部模式是否形成界线。

图1A和1B表示写入列表的文字的状态；

图2A是表示根据本发明第一实施例模式提取装置的配置的框图；

图2B是表示图1所示的凸起/凹陷计算单元配置的一例的框图；

图3是表示根据本发明第二实施例模式提取装置的配置的框图；

图4是表示根据本发明的一个实施例模式提取装置的系统配置的框图；

图5A和5B表示根据本发明的一个实施例提取连接模式的方法；

图6A到6C表示根据本发明的一个实施例进行屏蔽处理的方法；

图7A和7B表示根据本发明的一个实施例屏蔽处理的结果；

图8是表示根据本发明的一个实施例屏蔽过程的流程图；

图9表示形成矩形的投影线的结果；

图10表示根据本发明的一个实施例的相连投影方法；

图11是表示根据本发明的一个实施例相连投影处理的流程图；

图12表示根据本发明的一个实施例的段提取方法；

图13是表示根据本发明的一个实施例的段提取方法的流程图；

图14A和14B表示根据本发明的一个实施例的段集成方法；

图15是表示根据本发明的一个实施例的段集成处理的流程图；

图16表示根据本发明的一个实施例的直线提取方法；

图17表示根据本发明的一个实施例提取界线候选物区域的结果；

图18表示根据本发明的一个实施例搜索作为界线候选物区域的模式的结果；

图19表示根据本发明的一个实施例对于模式的凸起/凹陷设置阈值的一例；

图20表示根据本发明的一个实施例当搜索文字时搜索方向中偏移频率的转换；

图21表示根据本发明的一个实施例当搜索界线时搜索方向中偏移频率的转换；

图22表示根据本发明的一个实施例当搜索接触文字的界线时搜索方向中偏移频率的转换；

图23表示根据本发明的一个实施例对于象素的搜索方向；

图24表示根据本发明的一个实施例搜索中断的模式的方法；

图25是表示根据本发明的一个实施例凸起/凹陷计算处理的流程图；

图26是表示根据本发明的一个实施例凸起/凹陷计算处理的流程图；

图27表示根据本发明的一个实施例象素排布之间的关系；

图28A到28D表示根据本发明的一个实施例单元提取的处理；

图29表示根据本发明的一个实施例确定水平界线的方法；

图30表示根据本发明的一个实施例确定垂直界线的方法；

图31表示根据本发明的一个实施例提取单元的方法；

图32表示根据本发明的一个实施例提取嵌套结构的方法；

图33是表示根据本发明的一个实施例水平界线确定处理的流程图；

图34A到34E表示根据本发明的一个实施例排布水平直线的状态；

图35是表示根据本发明的一个实施例垂直界线确定处理和嵌套处理的流程图；

图36A，36B和36C表示根据本发明的一个实施例规则的和非规则的列表的例子；

图37A和37B表示根据本发明的一个实施例划分界线候选物区域的方法；

图38A和38B表示根据本发明的一个实施例局部地获取界线候选物区域的凸起/凹陷的方法；

图39A和39B表示根据本发明的一个实施例局部地获取界线候选物区域的凸起/凹陷的方法。

以下将参照本发明的附图详细说明本发明的实施例。

为了解决上述问题，本发明包含用于输入模式的模式输入单元；用于计算模式的凸起/凹陷的凸起/凹陷计算单元；以及用于辨别模式属性的模式辨别单元。

由以上的配置，诸如界线、直线等具有小的凸起/凹陷的模式能够与诸如文字、符号等具有大的凸起/凹陷的模式辨别开，并能够降低界线、直线等被误识别为文字、符号等的可能性，因而改进了模式辨别的精度。

根据本发明的一个方面，基于模式搜索方向的偏移频率计算凸起/凹陷。

这样，能够正确地计算模式的凸起/凹陷，且能够把具有小凸起/凹陷的模式与具有大凸起/凹陷的模式正确地辨别开。

根据本发明的另一方面，在预定的方向上搜索象素，并如果在预定的方向上没有邻接的象素，则从与预定方向不同的方向搜索象素。这样，对不同方向上检测到的象素计数。

结果，只要在预定的方向上发现邻接的象素，则在预定的方向上搜索象素。即使界线、直线等接触另一模式(诸如文字、符号等)，也能够正确地检测到界线、直线等。如果根据模式的凸起/凹陷在搜索方向上没能找到邻接的象素，则改变象素搜索发方向并对偏移频率计数，由此检验在搜索模式时的模式的凸起/凹陷。

根据本发明的又一个方面，当在预定的方向上没有邻接象素时，则在对角线方向搜索象素。

这样，在搜索模式的两端期间能够检验模式的凸起/凹陷。因而，通过仅对模式扫描一次即可正确地检测出模式的两端，并能够有效地检测出模式的凸起/凹陷。

根据本发明的又一个方面，可通过基于模式的倾斜在搜索方向上获取偏移的频率而计算出模式的凸起/凹陷。

这样，即使在模式倾斜时也能够以高精确性计算出模式的凸起/凹陷。

根据本发明的另一方面，当模式被分离的间距等于或小于预定值时，认为在搜索模式中间距被充以象素。

结果，即使模式被分开为中断的模式，也能计算出凸起/凹陷。

根据本发明的另一方面，对对角线方向搜索的象素的搜索数通过被搜索的模式的长度进行调整。

即使当搜索范围的大小对每一模式改变时，能够免除由于搜索范围大小的差别所至的模式的凸起/凹陷的改变，故能够基于模式的形式计算出模式的凸起/凹陷。

根据本发明的另一方面，基于在搜索方向上交叉的模式数计算模式的凸起/凹陷。

当计算模式的凸起/凹陷时，能够考虑交叉的数目，从而正确地获取模式的凸起/凹陷。

根据本发明的另一方面，当模式的凸起/凹陷等于或低于阈值时，则确定模式形成界线的一部分。

即使当提取了文字的一部分并被误识别为界线的候选物时，也能防止把文字的这一部分误识别为界线。因而，被识别的文字能够以高精确度从包含文字的列表中被提取，因而改进了文字识别的精度。

根据本发明的另一方面，当模式的凸起/凹陷等于或高于阈值时，则判定模式涉及一文字。

即使当提取了文字的一部分并误识别为界线的候选物时，也能防止把文字的这部分误识别为界线，因而改进了文字识别的精度。

根据本发明的另一方面，当在预定的模式范围内有一模式要被辨别时，用来辨别模式的凸起/凹陷的阈值被改变。

当提取文字的一部分作为界线的候选物时，其余的模式与作为界线的候选物相邻。因而通过对作为界线候选物并靠近另一模式的模式的凸起/凹陷设置小的阈值，能以较高的概率辨别作为界线候选物的模式为一文字。

当正确地把界线提取为界线的候选物时，诸如文字等其它模式不靠近作为界线的候选物。因而，通过对作为界线候选物且不靠近另一模式的模式的凸起/凹陷设置大的阈值，能够较低把作为界线候选物的模式误识别为文字的概率。

本发明的又一方面包括：连接的模式提取单元，用于从输入的原始图象数据提取通过连接的象素形成的局部模式；界线候选物提取单元，用于从局部模式提取具有高密度象素的矩形区域作为界线候选物；搜索单元，用于在矩形区域中搜索局部模式；凸起/凹陷计算单元，用于基于搜索单元的搜索结果计算局部模式的凸起/凹陷；以及矩形辨别单元，用于基于凸起/凹陷来辨别局部模式是否形成界线的一部分。

即使因为有靠近该文字写的另一文字或由于文字写得不清楚而使得文字的象素密度高，则使该文字作为界线候选物被提取，但基于凸起/凹陷也能够把该文字与界线辨别开，因为文字具有比界线较大的凸起/凹陷。因而，能够防止文字被误识别为界线。

根据本发明的另一方面，能够对通过划分局部模式所获得的每一预定区域计算凸起/凹陷。

即使当含有界线和文字的区域作为界线候选物被提取时，界线和文字的凸起/凹陷可被分开计算，从而防止了界线和文字作为局部模式一同被处理。结果，避免了由于界线的凸起/凹陷受到文字的凸起/凹陷的影响，使得界线被误识别为文字，或由于文字的凸起/凹陷受到界线的凸起/凹陷的影响，使得文字被误识别为界线。

本发明的另一方面包含一屏蔽处理单元，用于使用预定大小的屏蔽扫描上述局部模式，如果局部模式对屏蔽的比率等于或高于预定值，则把屏蔽中所有的象素看作是上述局部模式，并如果局部模式对屏蔽的比率低于预定值，则认为上述屏蔽不包含上述局部模式。

当屏蔽在预定的方向上具有较长的边时，则沿屏蔽较长的边的象素具有对屏蔽较大的比率，而排布在不同于屏蔽的较长边方向上的象素具有较小的比率。因而，可以除去原始图象中特别倾斜的元素，从而易于提取作为界线的候选物。

根据本发明的另一方面，提取由四个界线候选物围绕的矩形区域作为一个单元，并把不形成单元的部件的界线候选物从界线中除去。

结果，例如当文字有下划线时，下划线不形成单元的部件，因而从界线中被除去，即使它作为界线的候选物被提取，从而改进了界线提取的可靠性。

根据本发明的另一方面，凸起/凹陷计算单元通过划分单元中的界线候选物计算凸起/凹陷。

这样，能够独立地获得形成每一单元的边的凸起/凹陷。因而，即使当界线接触不规则列表中的文字，且文字的一部分被提取为界线候选物时，能够只对文字计算凸起/凹陷，故即使列表具有不规则的形式，也能够改进界线提取处理的精确性。

根据本发明的另一方面，具有通过向围绕行和列的投影值添加行和列的投影值而获得的等于或高于预定值的数值的局部模式，被检测为形成矩形的线条，且组合矩形的多个线条的结果被看作是界线的候选物。

这样，即使原始图象是倾斜的，也能够以高的精确度从原始图象提取界线候选物，并能够改进界线候选物提取处理的可靠性。

根据本发明的另一方面，在计算凸起/凹陷之前，集成预定范围中的矩形的线条。

当作长距离的搜索时，显示出在搜索方向几乎不偏移的模式可能就是界线。因而，可以高精确性提取界线。

根据本发明的另一方面，当界线的候选物长度不同于周围的界线候选物时，则基于具有不同长度的界线候选物的部分的凸起/凹陷来确定具有不同长度的界线候选物是否为界线的一部分。

这样，以高精确性辨别开与周围的界线候选物长度不同的部分是否为界线或与界线接触的文字的一部分。即使列表是由不规则长度的界线形成的，也能够以高精确性从列表提取出界线。

图2A是表示根据本发明的第一实施例的模式提取装置功能配置的框图。

在图2A中，模式输入单元1输入一模式。凸起/凹陷计算单元2计算输入到模式输入单元1的凸起/凹陷。模式辨别单元3基于由凸起/凹陷计算单元2计算的凸起/凹陷而辨别输入到模式输入单元1中的模式的属性。

当凸起/凹陷计算单元2计算模式的凸起/凹陷时，可基于例如模式搜索方向的模式偏移的频率，计算凸起/凹陷。还可以基于搜索方向交叉模式的数目来计算凸起/凹陷。

当模式辨别单元3辨别模式的属性时，假设具有等于或低于预定值的凸起/凹陷值的模式形成界线的部件，且具有等于或高于预定值的凸起/凹陷值的模式形成文字部件。

通过计算模式的凸起/凹陷，能够把具有小凸起/凹陷的模式(诸如界线、直线等)同具有大凸起/凹陷的模式(诸如文字、符号等)辨别开，并能够正确地提取列表中写入的文字、符号等。因而，能够改进文字识别处理的精确性。

图2B是表示图2A中所示凸起/凹陷计算单元2的功能配置的框图。

图2B中，第一搜索单元11在预定方向搜索象素。当在预定方向没有发现相邻的象素时，第二搜索单元12在不同于预定方向的方向上搜索象素。计数单元13对由第二搜索单元12搜索象素的数目进行计数。

通过搜索其间隔值等于或低于可被忽略的预定值的象素，第一搜索单元能够补偿中断的模式。

取决于模式的倾斜度通过的第二搜索单元12，计数单元13能够调节搜索象素的数目，并通过第二搜索单元搜索象素的数目可由被搜索的模式的长度调整。

通过基于搜索方向上偏移频率计算模式的凸起/凹陷，能够在模式两端的搜索处理中检测模式的凸起/凹陷。这样，可对模式的两端进行搜索，并同时能够检测模式的凸起/凹陷，从而有效地获得模式的凸起/凹陷。

图3是表示根据本发明的第二实施例的模式提取单元功能配置的框图。

图3中，连接模式提取单元21从输入的图象原始数据提取由连接的象素形成的局部模式。

屏蔽处理单元22通过使用垂直或水平屏蔽，对由连接模式提取单元21所提取的局部模式进行屏蔽处理，除去不形成界线部件的对角元素的模式。分段提取单元23通过对屏蔽的局部模式进行投影处理，提取高密度象素的矩形区域作为界线候选物。

直线提取单元24通过集成由分段提取单元23所提取的相邻的矩形区域而提取直线。

界线辨别处理单元25在界线候选物区域中搜索局部模式，并基于搜索方向上的偏移频率计算局部模式的凸起/凹陷。在界线候选物区域中的局部模式中，假设具有小凸起/凹陷的局部模式形成界线候选物的部件。

单元区域提取处理单元26提取由四个界线围绕的矩形区域作为一个单元，以便从由界线辨别处理单元25确定为界线的界线候选物中排除不形成单元部件的界线候选物。

图4是表示使用了图3中所示模式提取装置的文字识别系统的配置框图。

图4中，中央处理器(CPU)31进行全部的处理。程序存储器32存储由CPU 31所执行的程序。图象存储器33以位图的格式存储图象数据。规则存储器34用于图象处理。扫描器35以光学方式阅读图象。存储器36暂时存储由扫描器35读取的信息。字典文件37存储每一文字图象的特征。显示器38显示识别的结果。打印机39打印识别结果。输入/输出接口40在显示器38和打印机39之间发挥作用。总线41连接CPU 31、程序存储器32、图象存储器33、工作存储器34、存储器36、字典文件37、输入/输出接口40及驱动程序44。通信接口42通过通信网络43发送并接收数据和程序。驱动程序44驱动硬盘45、IC存储卡46、磁带47、软盘48、或光盘49(诸如CD-ROM，DVD-ROM等)。

文字识别系统在存储器36中暂时存储从扫描器35读取的图象数据，以位图的格式学图象存储器33中展开图象数据，并对从图象存储器33复制到工作存储器34的二进制图象数据执行模式提取处理。基于这种结果，系统从由扫描器35读取的图象数据对文字图象进行分段，对分段的文字图象的特征与存储在字典文件37中的特征数据进行比较，并对文字进行识别。然后，识别的结果输出到显示器38或打印机39。

在文字识别系统中，图3所示的模式提取装置在CPU 31的控制之下工作，CPU 31执行存储在程序存储器32中的程序。用来执行模式提取处理的程序起初可存储在程序存储器32的ROM中。在执行模式提取处理的程序从诸如程序存储器32、图象存储器33、工作存储器34、扫描器35、存储器36等存储介质，加载到程序存储器32的RAM之后，可由CPU 31执行该程序。

进而，可从图象网络43通过通信接口42获得用来进行模式提取处理的程序。在与通信接口42连接的通信网络43中，可使用无线通信网络等，诸如LAN(局域网)，WAN(广域网)，因特网，模拟式电话网，数字式电话网(ISDN：综合业务数字网)，PHS(个人手持电话系统)，卫星通信等等。

图3中所示的模式提取装置具体解释如下。

连接模式提取单元21对输入的原始图象进行标号处理，对8方向连接的模式的每一个进行标号，并检索局部模式中具有最大周长的矩形的局部模式。如果有相邻象素，8方向连接的局部模式具有特定的在8个方向相邻象素连接的象素，即垂直、水平和对角方向，但如果没有相邻象素，则不与相邻象素连接。原始图象是没有突出倾斜的二进制图象。

通过标号处理提取8方向连接的局部模式，可独立于多个矩形框位置的相对关系提取连接的模式。

例如，假设如图5左侧所示，在列表51的矩形框内包含数码1、2、3、4和5的图象被输入待处理，分别对数码1到4指定标号1到4。数码5与列表51接触，且数码5和列表51被看作是连接的模式，对其指定标号5。由于在稍后的处理中需要通过标号处理所获得的局部模式的大小，故在标号处理中对通过设置局部模式为近似的矩形所获得的矩形的顶点坐标进行计算并存储。

然后，如图5的右侧所示，对局部模式中指定了标号5并具有最大周长矩形的局部模式矩形检索。

屏蔽处理单元22从由连接模式提取单元21所提取的具有局部模式的预定大小的局部模式中除去特别倾斜的元素，并进行一种处理以易于提取只能作为矩形框边存在的长直线。

例如，当如图6A那样提取水平元素时，使用水平屏蔽M1到M9规定了矩形范围，其每一个是1垂直象素×6水平象素。为了保持作为屏蔽处理结果所获得的线条之间的间距，设置用于屏蔽处理的范围，使得它们彼此交搭。

然后，例如计算图6B中屏蔽M1到M9中的黑色象素对全部原始图象的比率。如果该比率高于预定值，则屏蔽M1到M9中所有象素的被看作是黑色象素。如果该比率等于或低于预定值，则屏蔽中所有的象素被看作是白色象素。当使用水平屏蔽扫描原始图象时，水平排布的象素在屏蔽中具有较大的比率，而对角排布的象素在屏蔽中具有较小的比率。因而，可以除去原始图象中存在的特别倾斜的元素，并能够有效地提取水平象素。

结果，如图6C所示能够提取由黑点指示水平象素，对角元素可被除去，可使线条宽度变得平整。

当提取垂直元素时，例如使用规定了6垂直象素×1水平象素的矩形区域的垂直屏蔽。

图7表示根据本发明的一个实施例屏蔽处理的结果。

图7A中，由连接模式提取单元21提取并指定了标号5的局部模式例如包含数码5，该数码与列表51接触并且是不形成矩形框部件的模式。使用两类屏蔽即水平屏蔽和垂直屏蔽，扫描局部模式的整个图象。然后，计算模式对屏蔽的比率。如果比率高于预定值，则认为屏蔽由模式所充满。如果比率等于或低于预定值，则除去屏蔽中的模式并提取垂直和水平元素。当在比率高于预定值而多个行或列连续地由屏蔽中的黑色象素占据时，则由整个行或列形成一矩形区域，其中心线由处理结果定义。

结果如图7B所示，可获得除去了其对角元素并且其线条被平整的模式52，从而易于提取矩形框。原始图象与屏蔽图象被分别存储。

图8是表示根据本发明一个实施例的屏蔽处理的流程图。

图8中，在步骤S1使用两类屏蔽，即水平屏蔽和垂直屏蔽，扫描由连接模式提取单元21所获得的局部模式的原始图象。

然后在步骤S2，计算模式对屏蔽(即屏蔽中的模式的面积对屏蔽的面积)的比率。对该比率是否高于预定值进行辨别。如果辨别出模式对屏蔽的比率低于预定值，则控制进到步骤S3，假设没有垂直或水平元素且处理终止。

如果在步骤S2中，辨别出模式对屏蔽的比率高于预定值，则控制进到步骤S4，假设屏蔽完全由模式占据，且模式由垂直和水平元素充满。

然后在步骤S5，对步骤S4中所获得的元素是否接触上，下，左，右元素进行辨别。如果辨别出它们不接触上、下、左、右元素，则控制进到步骤S6且在步骤S4所获得的元素作为处理结果被输出。

如果在步骤S5辨别出元素接触上、下、左、右元素，则控制进到步骤S7且集成相邻的元素。在步骤S8，从步骤S7所集成的元素产生一矩形区域。在步骤S9，步骤S8中所获得的矩形的中心线作为结果被输出。

线条提取单元23把被屏蔽的模式水平地或垂直地划分为多个区域。计算通过水平和垂直划分屏蔽的模式所获得的每一区域中的模式的相连的投影，并通过近似矩形检测线条或直线的预定长度的部分。相连的投影是指目标系或目标列的投影值与环绕的行或列的投影值的和。目标系或目标列的投影值是作为行或列中的黑色象素之和获得的。通过相连的投影，即使直线为倾斜或存在于多个行或列上，也能够正确地检测出直线。这样，当检测诸如块形矩形框等大的矩形框时，即使矩形框倾斜，也能检测出形成矩形框部件的直线。

图9表示投影矩形框的结果。

如果图9中矩形框61的垂直长度和水平长度分别为LY和LX，则水平方向j的投影值Ph(i)为PH(i)，垂直方向i的投影值Pv(j)为PV(j)，这时HP(1)＝HP(n)＝m，HP(2)到HP(n-1)＝2，VP(1)＝VP(m)＝n，且VP(2)到VP(m-1)＝2。

这样，由于形成矩形框61的部件的直线部分的投影值大，故通过计算投影值能够提取出形成矩形框61部件的直线。

图10表示根据本发明一个实施例的相连投影方法。

图10中，假设行i的投影值为p(i)，则可通过方程式(1)计算相连的投影值P(i)。

P(i)＝p(i-j)+…+p(i)+…+p(i+j)                   …(1)

例如，如果图10方程式(1)中j＝1，则p(i-j)＝9，因为在i-1行中有九个黑色象素，p(i)＝6，因为在i行中有六个黑色象素，p(i+1)＝6，因为在i+1行中有六个黑色象素。结果，P(i)＝p(i-1)+p(i)+p(i+1)＝21。

这样，由于直线是倾斜的，故当直线存在于多个行和列上时，倾斜直线的相连的投影值大。因而，即使当矩形框倾斜时，也能有效地检测出形成矩形框部件的直线。

图11是表示根据本发明一个实施例的相连投影处理的流程图。

在图11中所示的步骤S11，由屏蔽处理单元22指定相同标号的局部模式被水平地和垂直地划分为多个区域。

然后，在步骤S12，计算被划分的每一区域中水平方向和垂直方向的投影值。

在步骤S13，在步骤S12计算的每一投影值被加到周围区域的投影值上。

在步骤S14，基于方程式(1)计算相连的投影值P(i)。

基于对屏蔽的局部模式的图象的相连的投影值，线条提取单元23通过近似的矩形检测水平和垂直方向线条或直线预定长度的部件。

意即，被划分的局部模式的相连投影值对垂直和水平被划分的区域的长度的比率等于或高于阈值的部分是界线候选物的位置。当多个连续的行或列指示等于或高于预定的阈值时，包含多个连续的行或列的矩形范围被假设为存在界线候选物的位置。通过近似矩形检测到的线条或直线预定长度的部件被称为形成矩形部件的线条。

例如，如图12左侧所示，倾斜的水平线条61被划分为三个部件，计算指示等于或高于阈值的相连投影值的位置。结果如图12所示，获得形成矩形部件的三个水平划分的线条62。

当以正投影方法而不是以相连投影处理检测倾斜的水平线条61的位置时，投影值是小的。因而，不能检测到倾斜的水平线条61。另一方面，当局部模式划分的数目随着划分长度的缩短而增加以便按正投影方法检测倾斜水平线条61时，则检测到形成文字部件的许多短的直线，因而很难辨别开文字和矩形框。

如果使用相连投影方法，即使当线条61倾斜时，由于局部模式划分长度没有特别缩短，故相连投影值可能是大的。因而，能够把形成矩形框部件的相对长的直线与形成文字部件的短直线辨别开，故能够正确地被检测。

图13是表示根据本发明一个实施例的线条提取处理的流程图。

图13中，在步骤S21确定，被划分的局部模式的倾斜的投影值对垂直和水平划分长度的每一个的比率是否等于或高于预定的阈值。如果被划分的局部模式的倾斜的投影值对垂直和水平划分长度的每一个的比率低于预定的阈值，则控制进到步骤S22，且认为没有分段。

如果在步骤S21辨别出，被划分的局部模式的倾斜的投影值对垂直和水平划分长度的每一个的比率等于或高于预定的阈值，则控制进到步骤S23且认为有分段。

然后，在步骤24辨别在步骤S23被认为是一分段的模式是否与上面或下面的线条接触。如果辨别出模式不与上分段或下分段接触，则控制进到步骤S25，且认为模式是形成矩形部件的分段。

如果在步骤S24辨别出，在步骤S23被认为是一分段的模式与上面或下面的线条接触，则控制进到步骤S26，且被认为是一分段的模式被集成为上或下面的分段。在步骤S27，作为形成矩形部件的分段检测步骤S26中被集成的分段。

直线提取单元24在由分段提取单元23检测出的形成矩形部件的分段中对那些形成矩形部件的邻接的线条进行集成，做成长的直线，并从集成的直线逼近一矩形。

例如，当形成矩形部件的不中断线条x，y和z如图14A所示彼此接触或彼此连接时，形成矩形部件的线条x，y和z被彼此集成而成为一长直线。当形成矩形部件的线条x和y如图14B所示彼此不连接时，如果形成矩形部件的线条x和y之间的垂直间距低于在相连投影处理中相加的行或列数，则形成矩形部件的线条x，y和z被集成而形成长的直线。

从被集成的线条的两端的坐标计算出被检测的直线的倾斜度，且具有不同于另一直线的倾斜度的直线被看作是不形成矩形框部件的倾斜的删除线等，并从矩形候选物中将其除去。

图15是表示根据本发明一个实施例的线条集成处理的流程图。

图15中，在步骤S31计算由分段提取单元23检测的形成矩形部件的分段之间的距离。

然后，在步骤S32，辨别在步骤S31计算的形成矩形部件的分段之间的距离是否在相连投影方法中相加的行和列j数之内。如果在步骤S31计算的形成矩形部件的分段之间的距离不在相连投影方法中相加的行和列j数之内，则控制进到步骤S33且不集成形成矩形部件的分段。

如果在步骤S31计算的形成矩形部件的分段之间的距离在相连投影方法中相加的行和列j数之内，则控制进到步骤S34，且对形成矩形部件的分段进行集成。

然后，直线提取单元24从集成的直线逼近一矩形，并定义它为形成矩形部件的水平界线或垂直界线的候选物。例如，图16中，可通过从集成的直线71逼近一矩形而获得界线72的候选物。

在检测形成矩形部件的分段之后的处理中，使用屏蔽处理之前的原始图象。

图17表示根据本发明的一个实施例提取界线候选物的区域的结果。

图17中，文字串“研究部”写入在界线上，作为界线候选物82提取界线，且作为界线候选物81而提取文字串“研究部”的部件，因为文字“研”，“究”，“部”被写得彼此靠近。

当提取作为界线候选物81的文字串“研究部”的部件被当作界线时，则不能对文字串“研究部”正确地分段，且难于对文字“研”，“究”，“部”进行识别。因而，界线辨别处理单元25通过计算界线候选物81和82中的模式的凸起/凹陷确定界线候选物81和82中的模式是否真正是界线。

图18表示根据本发明的一个实施例搜索界线候选物的区域的结果。

图18中，文字串“研究部”写入在界线之间，且文字“研究部”接触下面的界线。上面的界线被提取为界线候选物91，下面的界线被提取为界线候选物93。由于文字“研”，“究”，“部”彼此靠近，故提取文字串“研究部”的部件作为界线候选物92。

界线辨别处理单元25搜索界线候选物91，92和93作为模式，以便正确地检测由直线提取单元24提取的水平直线的右和左端以及垂直直线的上和下端。这种情形下，对搜索方向的偏移频率进行计数。由于界线候选物91的模式通常涉及界线，故直接搜索模式，且搜索方向的偏移频率小。另一方面，由于界线候选物的模式92通常涉及文字，故搜索途径取决于文字的形式而被弯折，因而增加了搜索方向的偏移频率。

结果，具有搜索方向较低偏移频率的模式被当作是界线，而具有搜索方向较高偏移频率的模式被当作是非界线。这样，界线候选物91的模式可被识别为界线，而界线候选物92的模式可被识别为非界线。

除非在搜索方向上发现相邻的象素，否则就在对角方向上搜索象素。如果在对角方向上方向了相邻的象素，则在相同的方向上继续进行搜索。由于与文字串“研究部”接触的界线候选物93的模式指示搜索方向上低的偏移频率，故可把界线候选物93的模式当作界线。

图19表示根据本发明一个实施例为模式的凸起/凹陷设置阈值的一例。

图19中，由于文字串“研究部”写在中断的界线以上，故提取中断的界线作为界线候选物102，且文字“研”，“究”，“部”彼此靠近，故提取文字串“研究部”的部件作为界线候选物101。

界线候选物101是从文字串“研究部”的部件中被误提取的，而局部被提取为界线候选物的文字串“研究部”其余的模式存在于界线候选物101附近。因而，当有靠近界线候选物101模式时，界线候选物101的模式的凸起/凹陷的阈值TH1设置得小。这样，更正确的是从界线候选物中除去提取为界线候选物101的文字串“研究部”的部件。

另一方面，由于界线候选物102从界线中正确地被提取，且文字串“研究部”是与界线分开写的，没有诸如文字等其它模式在界线候选物102附近存在。因而，当在界线候选物102附近不存在模式时，界线候选物102的模式的凸起/凹陷的阈值TH2设置得大。结果，能够防止被正确地提取作为界线候选物的有中断的因而凸起/凹陷大的界线被当作是非界线候选物。

可通过使用各种模式的实验获得用于辨别模式的凸起/凹陷的阈值。

图20表示根据本发明一实施例当搜索文字时搜索方向中偏移频率的转变。

图20中，假设文字的部件的模式提取为界线候选物，且模式由黑色象素形成。首先，搜索开始点设置在黑色象素(1)处，且搜索是以对水平线条设置的水平搜索方向开始。指示作为右向上升段的偏移频率的变量hup，指示作为左向下降段的偏移频率的变量hbl，指示垂直交叉频率的变量hver都被设置为0。

由于在黑色象素(1)和(2)的右侧存在相邻黑色象素，故在一直向右继续进行搜索。

当搜索达到黑色象素(2)的位置时，在黑色象素(2)的右侧没有发现相邻的黑色象素，且在黑色象素(2)的上方对角线方向存在相邻的象素。因而，搜索方向被改变，且在从黑色象素(2)到黑色象素(3)向上的对角方向上进行搜索。变量hup增加1，且变量hup从0变到1。

由于在黑色象素(3)和(4)之间存在相邻黑色象素，故搜索向右一直继续进行。

当搜索到达黑色象素(4)的位置时，在黑色象素(4)的右侧没有发现相邻的黑色象素，且在黑色象素(4)以下对角线方向存在相邻的黑色象素。因而，搜索方向被改变且从黑色象素(4)到黑色象素(5)向下的对角线方向进行搜索。变量hbl增加1，且变量hbl从0变为1。

由于在右侧黑色象素(5)和(6)之间存在相邻的黑色象素，故搜索一直向右进行。

当搜索到达黑色象素(6)的位置时，在黑色象素(6)的右侧没有发现相邻的黑色象素，而在黑色象素(6)的以下对角线方向存在相邻的黑色象素。因而，改变搜索方向，且从黑色象素(6)到黑色象素(7)向下在对角线方向进行搜索。变量hbl增加1，且变量hbl从1变为2。

由于在黑色象素(7)和(8)右侧存在相邻的黑色象素，故在右向一直继续进行搜索。

当搜索到达黑色象素(8)时，在黑色象素(8)的右侧没有发现相邻的黑色象素，而在黑色象素(8)的以上对角线方向存在相邻的黑色象素。因而，改变搜索方向，且从黑色象素(8)到黑色象素(9)向上在对角线方向进行搜索。变量hup增加1，且变量hup从1变为2。

由于在黑色象素(9)和(10)的右侧存在相邻的黑色象素，故搜索一直向右进行。

当搜索到达黑色象素(10)的位置时，在黑色象素(10)的右侧没有发现相邻的黑色象素，且在黑色象素(10)的上和下对角线方向也没有发现相邻的黑色象素。因而，检验在黑色象素(10)的上下是否存在相邻的象素。结果，如果在黑色象素(10)的上下存在相邻的象素，则假设模式垂直地交叉掠过搜索方向，且变量hver增加1。结果，变量hver从0变为1。如果黑色象素(10)与黑色象素(11)之间的距离等于或低于预定值，则忽略它们之间的间隔，且搜索到达黑色象素(10)和(11)，且继续向前继续。

如上所述，当搜索到文字的部件模式时，搜索方向依赖于文字的形状。

图21表示根据本发明一个实施例当搜索到界线时搜索方向的偏移频率的变换。

图21中，提取形成界线的模式作为界线候选物，且由黑色象素形成。首先，搜索开始点设置在黑色象素(1)，且搜索以对水平线条设置的水平搜索方向开始。指示作为右向上升段的偏移频率的变量hup，指示作为左向下降段的偏移频率的变量hbl，指示垂直交叉频率的变量hver都被设置为0。

搜索开始点出现在界线候选物的模式最细的部分的黑色象素，因为模式最厚的部分可能涉及文字接触界线的区域。如果从最厚的部分开始，则有可能不能正确地对界线进行搜索。

如果搜索从黑色象素(1)开始，相邻的象素连续地出现在搜索方向。因而，搜索一直进行，保持变量hup，hbl和hver为0。

当搜索形成界线部件的模式时，很少能检测到搜索方向的改变。

图22表示根据本发明的一个实施例当搜索到接触文字的界线时搜索方向偏移频率的变换。

图22中，形成界线的模式作为界线候选物被提取，且由黑色象素形成。界线接触到文字。首先，搜索开始点设置在黑色象素(1)，且搜索以对水平方向设置的水平搜索方向开始。作为右向上升段的偏移频率的变量hup，指示作为左向下降段的偏移频率的变量hbl，指示垂直交叉频率的变量hver都被设置为0。

搜索开始点存在于在界线候选物的模式最细的部分的黑色象素，因为模式最厚的部分可能涉及文字接触界线的区域。如果从最厚的部分开始，则有可能不能正确地对界线进行搜索。

如果搜索从黑色象素(1)开始，相邻的象素连续地出现在搜索方向。因而，搜索一直进行，保持变量hup，hbl和hver为0。

这样，当在搜索方向上存在相邻的象素时，搜索方向保持不变。结果，即使界线接触到文字，也可检验界线的凸起/凹陷，并可改进界线提取的精确性。

图23表示根据本发明一个实施例的对象素的搜索方向。

图23中，当向右搜索象素时，则向与当前象素111相邻的象素进行搜索。只有当没有象素与当前象素113相邻时，倾斜地搜索当前象素113上面的象素114a，或者倾斜地搜索当前象素113下面的象素114b。

另一方面，当向右搜索象素时，向当前象素115进行搜索。只有当没有象素与当前象素117相邻时，倾斜地搜索当前象素117上面的象素118a，或者倾斜地搜索当前象素117下面的象素118b。

图24表示根据本发明一个实施例的搜索中断模式的方法。

图24中，当检索作为矩形被逼近的形成直线121的部件的象素122时，假设象素122存在于具有等于或低于预定数的象素数的空白区域123中。在上述检索中获得的象素122的左和右端的坐标代替被矩形逼近的直线121的左和右端。

这样，通过把低于预定值的数值忽略掉的间隔进行搜索，即使模式有中断和被分割，也能计算出模式的凸起/凹陷。

图25和26是表示根据本发明一个实施例的凸起/凹陷计算处理的流程图。该流程图表示在水平方向进行搜索的情形。

图25中，在步骤S41，界线候选物的矩形区域设置为搜索范围。然后，在步骤S42，计算水平方向界线候选物的矩形区域中最细的部分的坐标，并计算水平方向上最细部分的坐标处模式的中心点。模式的中心点设置为搜索开始点。把模式最细的部分设置为搜索开始点，是因为最细的部分可能是界线，故能够以高的概率搜索形成矩形框部件的直线。

然后，在步骤S43，设置直线搜索方向为右向。

在步骤S44，把在步骤S42设置的搜索开始点设置为目标象素。

在步骤S45，把用于对空白区域长度进行计数的变量k的初始值设置为0。

在步骤S46，用于对搜索方向上升或下降段偏移频率计数的变量hup被设置为0。

然后，如步骤S47所示，用于对搜索方向上上升或下降段偏移频率计数的变量hbl设置为0。

然后，如步骤S48所示，用于对搜索方向上上升或下降段偏移频率计数的变量hver设置为0。

图27表示根据本发明一个实施例的象素排布。

图27中，目标象素标以x。D1是与目标象素左上方对角相邻的象素。D2是与目标象素左相邻的象素。D3是是与目标象素左下方对角相邻的象素。D4是与目标象素上面相邻的象素。D5是与目标象素下面相邻的象素。D6是与目标象素右上方对角相邻的象素。D7是与目标象素右相邻的象素。D3是是与目标象素右下方对角相邻的象素。当搜索从目标象素开始并到达象素D6时，搜索方向改变为右向上升段。当搜索从目标象素开始并到达象素D8时，搜索方向改变为右向下降段。当搜索从目标象素开始并到达象素D1时，搜索方向改变为左向上升段。当搜索从目标象素开始并到达象素D3时，搜索方向改变为左向下降段。

在步骤S49，辨别出目标象素是否在被搜索的模式的矩形区域中。如果目标象素不在被搜索的模式的矩形区域中，则控制进到步骤S63，对空白区域长度进行计数的变量k被设置为0，且控制进到步骤S64。

在步骤S49辨别目标象素在被搜索的模式的矩形区域中，然后控制进到步骤S50，并辨别黑色象素是否位于D7处。如果黑色象素位于D7处，则控制进到步骤S51，且位置D7的象素设置为目标象素。如果黑色象素位于相对于目标象素的D7处，则搜索向右向进行。

如果黑色象素位于相对于目标象素的D7处，则控制进到步骤S52，并辨别黑色象素是否位于相对于目标象素的D6处。如果黑色象素位于D6处，则控制进到步骤S53，变量hup增加1，控制进到步骤S54，把位置D6处的象素设置为目标象素。这样，搜索方向变为右向的上升段，并对右向上升段搜索方向上的偏移频率进行计数。在目标象素本移动到D6的位置后，重复步骤S49到S51的处理。

如果在步骤S52辨别出没有黑色象素位于D6，则控制进到步骤S55，并辨别黑色象素是否位于相对于目标象素的D8。如果黑色象素位于位于D8，则控制进到步骤S56，变量hbl增加1，控制进到步骤S57，且位置D8的象素被设置为目标象素。这样，搜索方向变为右向的下降段，并对作为右向下降段搜索方向的偏移频率计数。在目标象素移动到D8的位置后，重复步骤S49到S51的处理。

如果在步骤S55辨别出没有黑色象素位于D8，则控制进到步骤S58，并辨别用来对空白区域长度计数的变量k是否等于或低于阈值。如果用来对空白区域长度计数的变量k等于或低于阈值，则控制进到步骤S59，并辨别目标象素是否为黑色象素，以及黑色象素在相对于目标象素的D4和D5的位置处是否存在黑色象素。

如果目标象素是黑色象素且在相对于目标象素的D4和D5的位置处存在黑色象素，则假设垂直线条被交叉，控制进到步骤S60，变量hver增加1，控制进到步骤S61，且位置D7处的象素成为目标象素。

如果目标象素和是黑色象素且在相对于目标象素的D4和D5的位置处不存在黑色象素，则控制进到步骤S61且D7位置的象素成为目标象素。

在步骤S62，对空白区域长度计数的变量k增加1，且控制进到步骤S49。

如果在步骤S58辨别出对空白区域长度计数的变量k高于阈值，则控制进到步骤S64且辨别搜索方向是否向右。如果搜索方向为右向，则控制进到S65，搜索方向转换到左向，控制进到步骤S66，且在步骤S42辨别出的搜索开始点被设置为目标象素。然后控制进到步骤S49且在左向进行搜索。

如果在步骤S64辨别出搜索方向不是右向，则控制进到步骤S67，通过从变量hup和hbl减去图象的倾斜值修改图象的倾斜度。图象的倾斜度值初步从界线候选物的倾斜度的平均值计算。

然后，在步骤S68对预定长度把hver转换为一值。

当对预定长度转换为一值的变量hub，hbl或hver等于或高于阈值时，在步骤S69从界线候选物除去该模式。

变量hub，hbl或hver被相加，其和被转换为对直线长度的比率，且可规定该数值为目标直线的改变量。

通过参照图25和26所示的流程图已经描述了水平搜索。类似地，通过从水平搜索到垂直搜索改变搜索方向能够进行垂直搜索。

可允许的空白长度能够按照每一局部模式的大小改变，从而降低了形成文字部件的分段被误识别为矩形框的界线的可能性。

以上根据上述实施例描述了由直线提取单元24提取的直线的凸起/凹陷的计算。类似地，能够计算由分段提取单元23提取的分段的凸起/凹陷。

单元区域提取处理单元26从界线辨别处理单元25所辨别出的界线候选物，辨别形成矩形框部件的直线，并提取由矩形框在上，下，左和右环绕的矩形范围。图28A，28B，28C和28D表示根据本发明的一实施例的单元提取处理。

图28A中，通过从输入图象数据提取界线候选物辨别形成列表131部件的直线。

然后，如图28B所示，通过从形成列表131部件的直线辨别出水平界线把列表131按行单元划分。

如图28C所示，通过从形成列表131部件的直线辨别出垂直界线而从列表131提取出单元。这时，要检验在从列表131提取的单元中是能够否检测到嵌套结构。

如图28D所示，嵌套结构132被当作是一新的列表，并从嵌套结构132中提取单元。

这样，当从列表131提取单元时，把形成列表131部件的直线按单元划分，且能够计算每一被划分的线条的凸起/凹陷。通过计算每一被划分的线条的凸起/凹陷，只有文字部分可从被当作是界线的模式的部件中检索出，从而能够以高精确度从具有复杂结构的列表131中只把界线提取出来。

图29表示根据本发明的一实施例确定水平界线的方法。

图29中，从列表131中提取水平直线1到6和垂直直线(I)到(VI)，并通过从顶部顺序地设置水平直线对<1>到<6>辨别出水平界线。例如，把水平直线<1>和<2>识别为一对水平直线，并识别为水平界线。

确定水平界线的方法按以下过程进行。

1)从被界线辨别处理单元25识别为界线候选物的水平直线的顶部提取两个水平直线，并把这两个水平直线识别为一对水平直线候选物。

2)这对水平直线候选物的长度相当或者下面的直线比上面直线短，则两个线条定义为一对水平直线。如果两个水平直线的长度彼此不同，则可对较长的直线再检验。

3)如果被识别为一对水平直线候选物两个直线下面的水平直线较短，则较短的直线下面的水平直线被识别为水平直线候选物，并对这两个水平直线的长度彼此进行比较。如果下面的水平直线在右端或左端比较短，则低于下面的水平直线的水平直线被识别为与下面的水平直线配对，对并且水平直线的长度彼此进行比较。

4)只有在水平直线比较的结果不再有满足2)中所述条件的水平直线时，则上和下水平直线定义为一对。

5)如果以上在检验最下面的水平直线之后存在未检验的水平直线，则按以上处理1)到4)顺序从以上顶部对未检验的水平直线和已检验的水平直线再次进行处理，以便定义水平直线对。

图30表示根据本发明一个实施例的垂直界线确定方法。

在图30中，从列表131提取水平直线<1>到<6>和垂直直线(I)到(VI)，并对到达一对水平界线的垂直直线(I)到(VI)定义为垂直界线。例如，由于垂直直线(I)和(VI)的上下端到达所定义为水平界线的水平直线<1>和<2>，故这些垂直直线(I)和(VI)被定义为垂直界线。

图31表示根据本发明的一个实施例的单元提取方法。

在图31中，从列表131提取水平直线<1>到<6>和垂直直线(I)到(VI)，并提取由水平和垂直界线围绕的矩形区域为单元。例如，提取由水平直线<1>、垂直直线(IV)、水平直线<2>和垂直直线(I)所围绕矩形区域为一个单元，并提取由水平直线<1>、垂直直线(VI)、水平直线<2>和垂直直线(IV)所围绕矩形区域为一个单元。

图32表示根据本发一个实施例提取嵌套结构的方法。

在图32中，如果提取由水平直线<2>、垂直直线(III)、水平直线<4>和垂直直线(I)所围绕矩形区域为一个单元，则该单元具有嵌套结构132。因而，从形成嵌套结构132的直线中确定水平界线和和垂直界线，并提取嵌套结构132中的水平界线和垂直界线围绕的矩形区域为一个单元。例如，提取由水平直线<2>、垂直直线(III)、水平直线<3>和垂直直线(I)所围绕矩形区域；提取由水平直线<3>、垂直直线(II)、水平直线<4>和垂直直线(I)所围绕矩形区域；提取由水平直线<3>、垂直直线(III)、水平直线<4>和垂直直线(II)所围绕矩形区域为单元。图33是表示根据本发明一实施例的水平界线确定处理的流程图。

在图33所示的步骤S71中，从由界线辨别处理单元25辨别为界线候选物的水平直线中检索顶部两个水平直线。

然后在步骤S72，检索的水平直线中上面的水平直线称为upline，而下面的水平直线称为blline。

在步骤S73，辨别直线upline是否与直线blline在垂直方向重叠。如果直线upline不与直线blline在垂直方向重叠，则控制进到步骤S74，低于直线blline的直线定义为新的直线blline。这一过程继续进行到直线upline与直线blline在垂直方向重叠为止。

当在步骤S73直线upline与直线blline在垂直方向重叠时，控制进到步骤S75，且辨别直线upline与直线blline的长度彼此是否匹配、还是直线upline比直线blline短。如果存在满足这两个条件之一的直线upline与直线blline，则控制进到步骤S78，且直线upline与直线blline定义为一对水平直线(一对水平界线)。

如果在步骤S75，直线upline与直线blline的长度不同且直线upline比直线blline短，则控制进到步骤S76且辨别是否有直线blline 2等于或短于直线blline下面的直线upline。如果有直线blline和直线upline满足上述任何条件之一，则控制进到步骤S77，把直线blline更新为直线blline 2，且控制进到步骤S78。

图34A，34B，34C，34D，34E表示根据本发明一个实施例水平直线的排布。

图34A表示直线upline长度等于直线blline的状态。图34B表示直线blline比upline直线短的状态。图34C表示直线blline比upline直线长的状态。

在步骤S76，如果在直线blline之下没有长度等于或长于直线upline的直线blline 2，则控制进到步骤S78，则定义直线upline和直线blline为一对水平界线。

然后在步骤S79，进行图35中所示的流程图中表示的垂直界线辨别处理和嵌套处理。

在步骤S80，辨别在步骤S78定义为一对水平界线的直线upline和直线blline的长度是否彼此不同。如果直线upline的长度与直线blline不同，则控制进到步骤S8l，可对右向或左向较长的直线再次进行检验，且控制进到步骤S82。

右向较长的直线是指图34D中所示的直线blline，而左向较长的直线是指图34E中所示的直线blline。

在步骤S80辨别直线upline等于直线blline的长度，然后控制进到步骤S82，并进而辨别直线blline之下是否有任何直线。如果直线blline之下有直线，则控制进到步骤S83，并提取直线blline及其之下的直线，且控制返回步骤S72。

如果在步骤S82辨别出在直线blline以下不存在直线，则控制进到S84，并且除去可再检验的直线之外所有处理过的直线从所处理的直线中除去。

在步骤S85，辨别是否有未处理过的直线。如果没有未处理过的直线，则处理终止。

如果在步骤S85辨别出存在未产过的直线，则控制进到步骤S86，从直线的顶部检索两个直线，且控制返回步骤S72。

图35是表示根据本发一个实施例垂直界线辨别处理和嵌套处理的流程图。

在图35所示的步骤S91，选择线条的顶部一对水平界线。在步骤S92，从由界线辨别处理单元25所识别的界线候选物的垂直直线中，选择到达一对水平界线的上下端的垂直直线。

在步骤S93，确定选择垂直直线和垂直界线。

在步骤S94，提取由一对水平界线和两个垂直界线围绕的矩形区域。然后在步骤S95，辨别是否有其两端到达矩形区域的左右垂直界线的水平直线。如果这种水平直线不存在，则选择下一个水平界线，并对一对新选择的的水平界线进行类似于步骤S92到S97的处理。

在步骤S95，当辨别出存在其两端到达矩形区域的左右垂直界线的水平直线时，则控制进到步骤S96，该矩形区域被当作是新的小表格(具有嵌套结构的矩形)，且确定出在具有嵌套结构的矩形区域中形成小矩形区域部件的水平界线。

然后，在步骤S97，确定出具有嵌套结构的矩形区域中的垂直界线。

图36表示根据本发明一实施例的正规列表和非正规列表的例子。

图36A表示正规列表的一个例子。图36b和36c表示非正规列表的例子。正规列表具有形成长度相同的水平界线的水平直线，并具有形成长度相同的垂直界线的垂直直线。非正规列表具有形成长度不同的水平界线的水平直线，或具有形成长度不同的垂直界线的垂直直线。

图37A和37B表示根据本发明的一实施例划分界线候选物区域的方法。

在图37A中，列表141具有非正规结构，水平直线142比其它水平直线短。如图37B所示当文字串“文字”写在列表141中水平直线142旁边时，提取水平直线142和文字串“文字”的部件作为界线候选物145。如果计算界线候选物145的凸起/凹陷，则文字串“文字”的部件被认为具有大的凸起/凹陷。然而，水平直线142被认为具有小的凸起/凹陷。整个界线候选物145的凸起/凹陷被认为是较小的，因为水平直线142的凸起/凹陷被较多地反映。

结果，文字串“文字”的部件被看作是界线候选物145的一个部件，而界线候选物145被看作形成列表141中的水平界线，即作为界线。因而，文字串“文字”不能正确地从列表141分段，从而降低了文字识别的可靠性。

通过把界线候选物145划分为最小的单元，即产生较小候选物143，144，和146，分别计算界线候选物143、144和146的凸起/凹陷。结果，识别出界线候选物143、146的凸起/凹陷是小的，故界线候选物143、146可被正确地识别为界线。识别出界线候选物144的凸起/凹陷是大的，故它可被正确地识别为非界线。

这样，界线候选物145被划分为最小的单元，并可对每一界线候选物143、144和146计算凸起/凹陷。从而，即使写入非正规列表中的文字部件被误提取为界线候选物145的部件，但只有形成界线部件的水平直线142的部件能够以高精确度被提取。

图38表示根据本发明一个实施例局部获取界线候选物的凸起/凹陷的方法。

图38A中，列表151具有非正规结构，水平直线152到155比形成矩形框部件的水平直线短。

当文字串“文字”如图38B所示写入在列表151中水平直线153旁边时，水平直线153和文字串“文字”的部件156是共存的，并被提取为界线候选物。如果计算界线候选物的凸起/凹陷，则文字串“文字”的部件156被认为具有大的凸起/凹陷。然而，水平直线153被看作具有小的凸起/凹陷。其中水平直线153和文字串“文字”共存的整个界线候选物的凸起/凹陷被看作是较小的，因为水平直线153的凸起/凹陷被较多地反映。

结果，文字串“文字”的部件156被当作是界线候选物的部件。因而，不能正确地把该文字串从列表151分段，故降低了文字识别的可靠性。

把包含水平直线153和文字串“文字”部件156的界线候选物的长度与包含其它水平直线152，154和155的界线候选物的直线长度进行比较。在与其它水平直线152，154和155比较中，把包含水平直线153和文字串“文字”的部件156的界线候选物划分为不同长度的部分以产生对应于文字串“文字”部件156的界线候选物。

通过计算被划分的界线候选物的凸起/凹陷，只有文字串“文字”的部件156的凸起/凹陷可被计算出。被划分的界线候选物的凸起/凹陷被看作是大的，从而能够正确地把被划分的界线候选物识别为非界线。

图39表示根据本发明一实施例局部地获取界线候选物的凸起/凹陷的方法。

图39中，列表161具有非正规结构，形成列表161部件的水平直线162，164和165比水平直线163短。如果从列表161提取水平直线162到165，且水平直线163比水平直线162，164和165长，这时计算水平直线163的突出部分166的凸起/凹陷。当突出部分166的凸起/凹陷小时，则把突出部分166看作是界线。当突出部分166的凸起/凹陷大时，则认为突出部分166不是界线，并从界线候选物中除去突出部分166。

本发明的实施例已如上述，但是本发明不限于上述实施例，并在本发明的技术概念范围之内能够作出各种修改。例如根据上述的实施例，通过搜索界线候选物中的模式来计算界线候选物中模式的凸起/凹陷，但是也可以按任何非搜索的方法计算凸起/凹陷。例如，可以把作为界线候选物提取的模式向预定方向投影，并计算界线候选物每一部分的投影值的波动以获取模式的凸起/凹陷。

通过计算上述模式的凸起/凹陷，能够把诸如界线、直线等凸起/凹陷较小的模式与诸如文字、符号等凸起/凹陷较大的模式区分开，于是降低了把界线、直线等误识别为文字、符号等的可能性，从而改进了模式区分的精确度。

根据本发明的一个方面，基于在模式搜索方向偏移频率计算凸起/凹陷。这样，能够正确地计算出模式的凸起/凹陷，且能够正确地把凸起/凹陷较小的模式与凸起/凹陷较大的模式区分开，从而改进了辨别模式的精确度。

根据本发明的另一方面，如果在预定的方向没有相邻的象素，则在不同于预定方向的方向搜索象素。即使界线、直线等接触另一模式诸如文字、符号等，也能正确地检测出界线、直线等。

根据本发明的另一方面，在通过在上下对角方向象素搜索的频率进行计数而搜索模式时，能够有效地检测出凸起/凹陷。

根据本发明的另一方面，通过基于模式的倾斜度获取搜索方向的偏移频率而能够计算模式的凸起/凹陷。这样，即使当模式倾斜时也能以高精度计算出模式的凸起/凹陷。

根据本发明的另一方面，即使模式被中断的模式分开，通过以忽略掉数值等于或低于预定值的空白进行搜索，而能够计算出模式的凸起/凹陷。

根据本发明的另一方面，通过使用模式长度调节搜索方向的偏移频率进行搜索，能够从被计算的模式的凸起/凹陷中除去模式大小的影响。因而，能够基于模式自身的形状计算出凸起/凹陷。

根据本发明的另一方面，当计算模式的凸起/凹陷时能够考虑交叉的数目，从而正确地获取模式的凸起/凹陷。

根据本发明的另一方面，当模式的凸起/凹陷等于或低于阈值时，则对模式形成界线的部件进行辨别。其结果是，能够防止文字的部件被误识别为界线。因而，能够以高精确度提取界线。

根据本发明的另一方面，当模式的凸起/凹陷等于或高于阈值时，能够辨别出模式涉及到文字。其结果是，能够防止界线被误识别为文字，从而改进了文字识别的精度。

根据本发明的另一方面，通过基于模式的排布而改变模式凸起/凹陷的阈值，能够以高精度提取界线。

根据本发明的另一方面，能够正确地辨别出作为界线候选物提取的文字实际上是一文字还是一界线。

根据本发明的另一方面，对于通过划分连接的模式获得的每一预定的区域能够计算出凸起/凹陷。即使文字接触了界线，也能够分别计算出界线和文字的凸起/凹陷。其结果是，避免了由于界线的凸起/凹陷受到文字的凸起/凹陷的影响，而把界线误识别为文字，或者由于文字的凸起/凹陷受到界线的凸起/凹陷的影响，而把文字误识别为界线。

根据本发明的另一方面，通过进行屏蔽处理能够除去原始图象中特别倾斜的元素，从而使易于提取界线候选物。

根据本发明的另一方面，由四个界线围绕的区域被提取为一个单元，且不形成单元部件的界线从界线中除去。其结果是，能够从界线中除去不形成界线的部件的直线，从而改进了界线提取的可靠性。

根据本发明的另一方面，即使原始图象是倾斜的，通过在邻接投影处理中提取界线候选物，也能够以高精度从原始图象中提取界线候选物，从而改进了界线提取的可靠性。

根据本发明的另一方面，通过对形成在邻接处理中检测到的矩形部件的每一线条计算其凸起/凹陷，能够对每一小区域计算其在集成之前的凸起/凹陷。结果是，即使界线接触了文字，也能够对文字和界线进行个别处理。

根据本发明的另一方面，通过把形成矩形部件的直线集成之后计算其凸起/凹陷，能够以高精度提取界线。

根据本发明的另一方面，当界线候选物从另一界线候选物突出时，对突出部分的凸起/凹陷进行计算。结果是能够以高精度辨别出，突出部分是界线的部件还是与界线接触的文字。从而即使列表由不规则长度的的界线形成，也能以高精度提取出界线。

Claims (28)

1.一种模式提取装置，包括：

用来输入模式的模式输入装置；

用来计算模式的凸起/凹陷的凸起/凹陷计算装置；以及

用来基于凸起/凹陷辨别模式的属性的模式辨别装置；

2.根据权利要求1的装置，其中

所述凸起/凹陷计算装置包括偏移频率计算装置，该装置用来基于模式搜索方向的偏移频率计算凸起/凹陷。

3.根据权利要求2的装置，其中

所述偏移频率计算装置包括：

用来在预定方向搜索象素的第一搜索装置；

用来在不同于预定方向的方向上搜索象素的第二搜索装置；以及

用来对通过第二搜索装置的象素搜索数进行计数的计数装置。

4.根据权利要求3的装置，其中

当在预定方向上没有相邻的象素时，所述第二搜索装置在目标象素上下的对角线方向搜索象素。

5.根据权利要求4的装置，还包括：

用来检测模式的倾斜度的倾斜度检测装置；

用来计算对应于模式倾斜度的搜索方向上偏移频率的计算装置；以及

用来基于由所述计算装置计算的数值，判定由所述计数装置计数的搜索数的判定装置。

6.根据权利要求3的装置，其中

当模式被等于或低于预定值的间隔分开时，所述第一搜索装置假设间隔包含某些象素而进行对象素的搜索。

7.根据权利要求3的装置，还包括：

使用被搜索的模式的长度用来调整由所述第二搜索装置执行的搜索的数目的调整装置；

8.根据权利要求1的装置，其中

所述凸起/凹陷计算装置包括交叉数计数装置，该装置用来基于模式中的交叉数计算凸起/凹陷。

9.根据权利要求8的装置，其中

当在搜索方向上目标象素既没有相邻的象素，也没有目标象素上下对角线方向的象素时，以及当目标象素在预定方向对搜索方向上有某些相邻的象素时，所述交叉数计数装置使交叉数增加1。

10.根据权利要求1的装置，其中

所述模式辨别装置包括界线辨别装置，当模式的凸起/凹陷等于或低于阈值时该装置用来辨别出模式形成界线的部件。

11.根据权利要求1的装置，其中

所述模式辨别装置包括文字辨别装置，当模式的凸起/凹陷等于或高于阈值时该装置用来辨别出模式形成了文字的部件。

12.根据权利要求10的装置，其中

当在从目标模式的预定的范围内存在模式时，所述模式辨别装置改变阈值。

13.根据权利要求12的装置，其中

当在对目标模式的预定的范围内存在模式时，所述模式辨别装置设置阈值，使得阈值低于当在对目标模式的预定的范围内不存在模式时设置的阈值。

14.一种模式提取装置，包括

连接模式提取装置，用来从输入的原始图象数据提取由连接的象素形成的局部模式；

界线候选物提取装置，用来从局部模式中提取具有高密度象素矩形区域作为界线候选物；

用来在矩形区域中搜索局部模式的搜索装置；

用来基于搜索的结果计算局部模式的凸起/凹陷的凸起/凹陷计算装置；以及

用来基于凸起/凹陷辨别局部模式是否形成界线的界线辨别装置。

15.根据权利要求14的装置，其中

所述凸起/凹陷计算装置计算被分为预定数目的区域的每一区域的局部模式的凸起/凹陷。

16.根据权利要求14的装置，还包括

用来使用预定大小的屏蔽扫描局部模式的屏蔽处理装置，并当局部模式占等于或高于预定值的屏蔽的部分时把屏蔽中的所有的象素看作是局部模式，并当局部模式占低于预定值的屏蔽部分时认为屏蔽不包含局部模式。

17.根据权利要求14的装置，还包括

单元区域提取装置，用来提取由四个界线围绕的矩形区域作为单元；以及

界线除去装置，用来从由所述界线辨别装置所辨别出的界线中除去不形成单元部件的界线。

18.根据权利要求17的装置，其中

所述凸起/凹陷计算装置计算被分为单元的每一界线的界线候选物的凸起/凹陷。

19.根据权利要求14的装置，其中

所述界线候选物提取装置包括：

段检测装置，用来检测作为形成矩形部件的段的行或列的投影值与周围的行或列的投影值的和等于或高于预定值的局部模式；以及

直线检测装置，用来在预定范围中集成形成矩形部件的多个线条，并通过从集成形成矩形部件的线条逼近矩形而检测直线。

20.根据权利要求19的装置，其中

所述凸起/凹陷计算装置对形成由所述直线检测装置集成的矩形的部件的每一线条计算凸起/凹陷。

21.根据权利要求14的装置，还包括

用来计算界线候选物的长度的长度计算装置；

长度比较装置，用来对界线候选物的长度与周围的界线候选物的长度进行比较的；

凸起/凹陷获取装置，用来获取其界线候选物的长度不同于周围的界线候选物的长度的部分的凸起/凹陷；以及

界线排除装置，用来当该部分的凸起/凹陷等于或高于预定值时从候选物中排除候选物的长度不同的这部分。

22.根据权利要求14的装置，还包括

列表辨别装置，用来辨别包含界线的列表是正规的还是非正规的；以及

局部凸起/凹陷计算装置，用来计算引起非正规列表的非正规性的界线部件的凸起/凹陷。

23.一种提取模式的方法，该方法包括以下步骤：

输入模式；

计算模式的凸起/凹陷；以及

基于凸起/凹陷确定模式的属性。

24.一种提取模式的方法，该方法包括以下步骤：

在预定的方向搜索输入模式的象素；

当在预定的方向没有相邻的象素时，在目标象素的上下对角线方向搜索象素；

对在目标象素的上下对角线方向搜索象素的次数进行计数；以及

当在目标象素上下搜索象素的次数低于预定值时，把模式看作是界线。

25.一种提取模式的方法，该方法包括以下步骤：

从输入的原始图象数据提取由连接的象素形成的局部模式；

从局部模式提取高密度象素的矩形区域作为界线候选物；

在矩形区域中搜索局部模式；

基于搜索的结果计算局部模式的凸起/凹陷；以及

当凸起/凹陷等于或高于预定值时，辨别局部模式是否形成界线的部件。

26.一种计算机可读存储介质，用来指引计算机执行以下功能：

输入模式；

计算模式的凸起/凹陷；以及

基于凸起/凹陷辨别模式的属性。

27.一种计算机可读存储介质，用来指引计算机执行以下功能：

在预定的方向搜索输入模式的象素；

当在预定的方向没有相邻的象素时，在目标象素的上下对角线方向搜索象素；

对在目标象素的上下对角线方向搜索象素的次数进行计数；以及

当在目标象素上下搜索象素的次数低于预定值时，把模式看作是界线。

28.一种计算机可读存储介质，用来指引计算机执行以下功能：

从输入的原始图象数据提取由连接的象素形成的局部模式；

从局部模式提取高密度象素的矩形区域作为界线候选物；

在矩形区域中搜索局部模式；

基于搜索的结果计算局部模式的凸起/凹陷；以及

当凸起/凹陷等于或高于预定值时，辨别局部模式是否形成界线的部件。

Images