CN101329689A - 文本图像检索设备 - Google Patents

Abstract

本发明提供一种文本图像检索设备，其不使用OCR那样需要附加情报的设备，即使检索对象之文本图像很多，仅使用符号列中合适的符号部分列，就能够高速检索文本图像。符号列检索装置1将被输入的符号列从先头开始依次一个一个地移动，来剪切取出规定长度的部分列。每剪切取出一个部分列，就检查从符号列索引装置4所取得的文本出现频率是否满足规定的条件，并包满足条件的部分列作为检索用的部分列来收集。使用收集到的部分列，能够与在已有的文本检索中通过多个检索词合成检索的方法相同的步骤来检索。

Description

文本图像检索设备

技术领域

本发明涉及从被输入的文本图像来进行检索的文本图像检索设备。

背景技术

近年，在办公系统的电子文本利用的不断扩大中，将纸上的文本通过图像机器来变换成电子数据(即文本图像)并保存的情况增加了。被保存的文本图像与通常的电子文本一样成为了检索的对象。高速·高精度地检索文本图像对于利用办公系统工作的效率化是很重要的。

在检索文本图像的时候，既有的技术是使用辨别设备(OCR)将其变换成文本数据后，通过既有的文本检索设备来检索。在例如专利文献1中公开的方法是，使用OCR的检索设备来高速地从文本图像进行检索。在使用这种OCR的既有方法中，由于需要进行将图像变换成文本的处理，所以存在着需要有语言情报等图像之外的情报的问题。

另一方面，作为不需要OCR的文本图像检索设备，在本申请者所发明的专利文献2中，公开了一种通过对文本图像进行规定的图像处理，将包含在文本图像里的文字图像变换成量化为固定阶段之符号的文本处理设备。

这里，对文本检索中用以检索的项(term：检索文字列或检索语)进行加权的设备已是众所周知的。

例如在本申请者所发明的专利文献3中，公开了一种根据被保存的电子文本中的文本出现频率来对项(term)进行加权的文本检索设备。

专利文献1：特开2004-348591号公报

专利文献2：特开2005-242579号公报

专利文献3：特开2003-281181号公报

发明内容

但是，在上述专利文献2所公开的设备中，虽然是通过对从文本图像得到的符号列进行合计后，来判断训练文本和试验文本的相似性的，但对于检索对象之文本图像很多时如何来缩短相似性判断所需时间却没有加以考虑。

另外，上述专利文献3中所公开的设备中，对项的加权是为了计算对检索结果之文本的加权，对于从符号列中通过仅使用合适的符号部分列来进行高速检索一事，也没有加以考虑。

本发明鉴于上述情况，不需要使用像OCR那样需要附加情报的设备，即使检索对象之文本图像很多，通过仅使用符号列中的合适的符号部分列，就能够提供一种可以高速检索文本图像的文本图像检索设备。

本发明的技术方案1提供一种文本图像检索设备，其包括：文本图像变换装置，其从被输入的文本图像抽出文字的图像后生成符号列；符号列索引装置，其存储通过所述文本图像变换装置所生成的符号列以及文本图像之间的对应关系；符号列登录装置，其从所述文本图像变换装置所生成的符号列，剪切取出规定长度的符号部分列后，登录到所述符号列索引装置里；符号列检索装置，其从符号列的先头开始，依次阶段地将规定长度的符号部分列，作为检索符号部分列来剪切取出；由所述符号列检索装置剪切取出的所述检索符号部分列是，登录在所述符号列索引装置里的文本图像的数量满足规定的条件。

本发明的技术方案2提供一种文本图像检索方法，其用于包括文本图像变换装置、符号列索引装置、符号列登录装置以及符号列检索装置的文本图像检索设备，其特征在于：文本图像变换步骤，其生成所述文本图像变换装置从被输入的文本图像抽出文字的图像后的符号列；符号列索引步骤，其存储所述符号列索引装置通过所述文本图像变换装置所生成的符号列以及文本图像之间的对应关系；符号列登录步骤，其将所述符号列登录装置从所述文本图像变换装置所生成的符号列中，剪切取出规定长度的符号部分列，登录到所述符号列索引装置里；符号列检索步骤，其将所述符号列检索装置从符号列的先头开始，依次阶段的规定长度的符号部分列，作为检索符号部分列来剪切取出；由所述符号列检索步骤剪切取出的所述检索符号部分列是，登录在所述符号列索引装置里的文本图像的数量满足规定的条件。

另外，上述符号指的是文本图像变换装置从行剪切取出的矩形中，抽出显示矩形配置状态的特征，将抽出的特征量化后所生成的记号的集合。

还有，符号列指的是以符号列为单位的矩形。符号部分列指的是从符号列剪切取出的符号的集合。

另外，上述规定条件是作为夹在上下限之间的值而被定义的。具体来说，上限值和下限值可以是根据文本出现频率来生成相对于被登录在符号列检索装置里的符号列的直方图，并设定符号列中不同数量变化大的位置。

如上所述，根据本发明，不使用OCR那样需要附加情报的设备，即使检索对象之文本图像很多，仅使用符号列中合适的符号部分列，就能够高速检索文本图像。

附图说明

图1是本发明的实施方式之文本图像检索设备的硬件构成模块图。

图2所示是该文本图像检索设备的功能构成的模块图。

图3所示是文本图像变换装置2的构成模块图。

图4是从图像输入部201被输入的文本图像例示图。

图5所示是以矩形抽出部202所抽出的外接矩形的例示图。

图6所示是通过行剪切取出部203来进行行剪切取出处理的例示图。

图7所示是符号列登录装置3的动作流程例示图。

图8所示是符号列检索装置1的动作流程例示图。

图9所示是符号列检索装置1的动作流程例示图。

图10所示是生成直方图后设定上下限值时的例示图。

图11所示是本发明其他实施方式之文本图像检索设备的功能构成的模块图。

图12所示是符号以及符号列的例示图。

具体实施方式

以下，对适用于本发明所涉及的文本图像检索设备的一个实施方式，使用图面来作详细说明。

首先对本实施方式的概要作说明。

本实施方式不使用如OCR那样需要有附加情报的设备，以高速检索文本图像为目的，其特征在于从文本图像经规定的图像处理而得到的符号列中，仅使用合适的符号部分列来检索。

由此，出现有符号部分列的文本图像数量(以下称为「文本出现频率」)少的话，其为干扰(noise)的可能性就高，而文本出现频率高的，其为检索词之特征的可能性就低，根据这些情况，通过文本出现频率来挑选合适的符号部分列。

接着，对本发明的实施方式所涉及的文本图像检索设备的硬件构成进行说明。图1所示是该文本图像检索设备的硬件构成例示图。该文本图像检索设备是由CPU101、ROM102、RAM103、HDD(硬盘驱动器)104、HD(硬盘)105、FDD(软盘驱动器)106、FD112(软盘)、显示屏107、网络板108、键盘109、鼠标110以及扫描仪111等，通过地址总线100连接后构成的。

CPU101对设备全体进行控制。ROM102里存储着基本输出输入程序。RAM103作为CPU101的工作区来使用。HDD104按照CPU101的控制来对相对于HD105的数据的读/写进行控制。HD105按照HDD104的控制来存储被写入的数据。FDD106按照CPU101的控制来对相对于FD112的数据的读/写进行控制。FD112是可以自由装卸的，其按照FDD106的控制来存储被写入的数据。

显示屏107对光标、菜单、视窗、或文字、图像等各种数据进行显示。网络板108介由通信线路113与网络114连接。键盘109可执行各种情报的输入。鼠标110对显示屏107所显示的光标、菜单、视窗等进行移动、选择和开关等操作。扫描仪111对文字或图像进行光学读取。

另外，由于本实施方式的文本图像检索设备设置了通信装置(网络板108)，所以能够与网络连接。例如，通过将多个文本图像检索设备连接到网络114里，在各设备之间就能进行数据的交换处理。还有，如果在构成该文本图像检索设备的各功能部里设置通信装置，通过将各功能部连接到网络114里，就能够对文本图像检索设备进行远程操作。

图2所示是本实施方式涉及的文本图像检索设备的功能构成例。

如图所示，本实施方式的文本图像检索设备，包括：文本图像变换装置2，其从输入文本图像中抽出文字的图像以生成符号列；符号列索引装置4，其登录规定长度的符号列和文本图像之间的对应关系，并可以剪切取出；符号列登录装置3，其从文本图像变换装置2所生成的符号列中，剪切取出规定长度的符号部分列后登录到符号列索引装置4里；符号列检索装置1，其从另外给出的符号列(以下称为「检索符号列」)中剪切取出规定长度的符号部分列(以下称为「检索符号部分列」)后，取出相对应的文本图像，并使得符号列检索装置1所剪切取出的检索符号部分列是，在符号列索引装置4中该检索符号部分列所对应地被登录的文本图像的数量满足规定的条件。

另外，上述文本图像变换装置2可以如图3所示地，由图像输入部、矩形抽出部、行剪切取出部、符号生成部等来构成后实现。图像输入部201用以读取识别对象之原稿和输入文本图像。矩形抽出部202从输入到图像输入部201里的文本图像中抽出矩形。行剪切取出部203对由矩形抽出部202抽出的矩形进行行内矩形的剪切取出处理。符号生成部204从行剪切取出部203剪切取出的行内矩形中，抽出行内矩形的起点高度、矩形尺寸(高、宽)、黑色像素密度、与邻接矩形的距离等用以表达矩形配置状态的特征，并对其进行量化后生成符号。

另外，图像输入部201的功能可以通过图1所示的扫描仪111来实现。矩形抽出部202、行剪切取出部203以及符号生成部204的各个功能，可以通过图1所示的CPU101来实现。

以下，对文本图像变换装置2的变换动作进行说明。这里，以图4所示的文本图像为例，来考虑对特定的行图像进行检索的情况。另外，所谓特定的行图像没有必要与这里所说的文本图像完全一致，可以是不同的分辨率，只要部分的行的形状相同即可。

对于被输入到图像输入部201里的文本图像(参照图4)，在矩形抽出部202中，如图5所示的黑色像素的外接矩形被抽出。之后，由矩形抽出部202抽出的外接矩形在行剪切取出部203中被行剪切取出。行剪切取出处理指的是，将图5所示的外接矩形的邻近矩形进行连结后增长为行的处理(参照图6)。该处理可以通过已知的方法来进行，所以在此省略其说明。

还有，本实施方式使用的「符号」，是指符号生成部204从行剪切取出部203所剪切取出的矩形中，抽出表示矩形的配置状态的特征，并将抽出的特征量化后所生成的符号的集合。

本实施方式使用的「符号列」，是指符号的一个列子单位的矩形。

本实施方式使用的「符号部分列」，是指从符号列中剪切取出的符号的集合。

如果将表示矩形配置状态的多个特征看作多维矢量的各个维，矩形就能够变换成具有其各特征的一个矢量数据(矢量量化)。众所周知，矢量量化指的是从众多的矢量数据的多样性，来求得代表性的少数矢量数据。在所求得的代表矢量里依次加入标签，就能够将矢量数据系列变换成简单的一维符号数据系列。

例如，从数据中求取有关矩形配置的3维矢量数据后，再从这些数据中求取240种代表矢量。这种代表矢量群称为码本。对码本中的240种矢量进行区别的ID(以s001～s240来表示)就是所说的符号。将识别对象之文字行数据中的行内矩形的配置变换成3维矢量，并选择与码本内的矢量最相似的矢量后，将其ID作为该矩形的符号。

另外，通过将行内矩形与邻近矩形之间的距离去和行高(行的高度)进行比较，就可以检测到空白。当检测到空白时，就将表示空白的符号(例如「sSPC」)分配给它。

包含于行内的矩形可以变换成固定个数的符号。因此，实际上的行内矩形的配置就可以看作如图所示之简单的符号系列。例如图12所示，「sSPC」是符号。在图12中，「s021，s124，s032，sSPC，s048，s012…」是符号列。

符号列登录装置3的动作如图7所示。

首先，符号列登录装置3从文本图像变换装置2处接受文本图像的ID和符号列(步骤S1)。符号列登录装置3准备了在符号列上进行扫描的指针并指向符号列的先头位置(步骤S2)。

符号列登录装置3从指针所指的位置处取出规定长度的部分符号列(步骤S3)后，将部分符号列和文本图像的ID的组合登录到符号列检索装置4(步骤S4)里。然后，将指针前进一次(步骤S5)。

当剩余的符号数比部分符号列之规定的长度要长的时候，就重复步骤S3的动作，直到判断为短于规定长度时才结束该流程(步骤S6)。

如此，在从文本图像变换装置2处接受的符号列的先头开始依次一个一个地移动的同时，将规定长度的符号部分列剪切取出。由于在文本图像变换装置2处得到的符号列中不包含词性或文字种类等情报，所以不能由此来推断单词的断开处。因此就有必要登录所有可能的符号部分列。

符号列索引装置4可以通过已知的转换文档来实现。

下面，以图8和图9来说明符号列检索装置1的动作。

首先，符号列检索装置1不是将图像输入部201中的输入通过文本图像变换装置2来变换，而是接受由另外设置的输入装置(如键盘、事先记录好的记录媒介)所输入的符号列(步骤S11)。符号列检索装置1准备了在符号列上进行扫描的指针并指向符号列的先头位置(步骤S12)。

符号列检索装置1从指针所指的位置处取出规定长度的部分符号列(步骤S13)后，从符号列索引装置4取得对应于部分符号列的文本图像的数量(步骤S14)。

当对应的文本图像的数量满足规定的条件时(步骤S15为“Yes”)，符号列检索装置1就将其作为检索用的符号部分列来登录(步骤S 16)。之后，将指针前进一次(步骤S17)。当对应的文本图像的数量不满足规定的条件时(步骤S15为“No”)，符号列检索装置1就直接前进一次(步骤S17)。

当剩余的符号数不短于部分符号列之规定的长度时，就重复步骤S3的动作，当判断为短于规定长度时(步骤S18为“Yes”)，符号列检索装置1就取出一个检索用的符号部分列(步骤S19)。

符号列检索装置1从符号列索引装置4处获得对应于符号部分列的文本图像之ID的一览表(步骤S20)后，对获得的ID分别计算其关于符号部分列的加权值，并登录其计算结果(步骤S21)。

当检索用的符号部分列没有全部处理时，就重复步骤S19以后的动作，当判断为全部处理完时(步骤S22为“Yes”)，符号列检索装置1对各个记录有加权计算结果的ID进行加权合成(步骤S23)。

符号列检索装置1将合成后的加权值按从大到小的顺序来返回ID(步骤S24)。

如此，与符号列登录装置3的动作同样地，在将被输入的符号列从先头开始依次一个一个地移动的同时，来剪切取出规定长度的符号部分列。符号列检索装置1每剪切取出一个符号部分列，就去检查从符号列索引装置4取得的文本出现频率是否满足规定的条件。由此，满足了条件的符号部分列就作为检索用的符号部分列而被收集起来。使用被收集的符号部分列，在已知的文本检索中，通过同样于对多个检索词的检索进行合成之方法的步骤，就能够进行检索。

在图9所示的动作例中，对于符号部分列的加权计算或对加权进行合成的计算，可以通过如专利文献3所述的方法来实现。

如上所述，根据本实施方式，不使用像OCR那样需要有附加情报的设备，即使检索对象之文本图像很多，仅使用符号列中合适的符号部分列，就可以对文本图像进行高速检索。

另外，在上述实施方式中，为了使文本图像数量中的「规定的条件」包含在某一范围内，只要将图8所示步骤S15中的规定条件，取在事先规定的上下限之内即可。

当可以被看作干扰(noise)的文本出现频率的上限被确定时，通过该构成就能对文本图像进行更高速的检索。

如上所述，本实施方式所使用的「规定的条件」，是作为夹在上下限之间的值而被定义的。具体来说，上限值和下限值相对于被登录在符号列索引装置里的符号列，根据文本出现频率来生成直方图，并且也可以分别将不同的符号列数量变化大(例如为2倍以上的变化)的位置之小的一侧(大幅增大的位置)设定为最小值，将大的一侧(大幅减小的位置)设定为最大值。

作为一个例子，图10所示是直方图以及由此设定的上限值和下限值。图10中的横轴表示文本出现频率，纵轴表示不同的符号列数量。生成直方图时使用的登录文本，即可以是检索对象之文本，也可以是仅为了确定上限值和下限值而使用检索对象的一部分，或完全是其他的文本集合。

另外，在上述实施方式中，为了使文本图像数量中的「规定的条件」，依存于登录在符号列索引装置4中的文本图像的所有数量，在图8的步骤S15中的规定条件处，例如只要将检索符号部分列的文本出现频率除以全体文本图像的数量后的值，取在事先决定的上限值和下限值之间即可。

如此，当干扰的发生率为一定时，通过使用对应于全文本图像之数量的阈值就能够设定合适的条件。

例如，当事先知道对应于相同文字列的文本图像为1％通常出现概率的符号列时，通过将0.01设定为其下限值，就能够排出该干扰的影响。

其他实施方式

接着，作为本方式的其他实施方式，对于将检索条件也以扫描来取得的构成作说明。

在其他实施方式中，检索符号列是从其他途径输入的文本图像中通过文本图像变换装置2所生成的符号列。

该其他实施方式的构成例如图11所示。将文本图像的全体或一部分交付给文本图像变换装置2，并将所生成的符号列交付给符号列检索装置1。除此之外都和上述实施方式相同。

根据该其他实施方式，就能够将文本图像的全体或一部分作为检索条件。

还有，上述各实施方式是本发明的最佳实施方式，但本发明不限于此，可以根据本发明的技术思想来进行各种各样的形式变换。

专利申请的基础和优先权要求是2007年6月20日、在日本专利局申请的日本专利申请JP2007-162446，和2008年1月22日、在日本专利局申请的日本专利申请JP2008-011900，其全部内容在此引作结合。

从以上所述还可以有许多的改良和变化。亦即，在权利要求的范围内，该专利说明书的公开内容不局限于上述的说明。

Claims (6)

1.一种文本图像检索设备，其包括：

文本图像变换装置，其从被输入的文本图像抽出文字的图像后生成符号列；

符号列索引装置，其存储通过所述文本图像变换装置所生成的符号列以及文本图像之间的对应关系；

符号列登录装置，其从所述文本图像变换装置所生成的符号列，剪切取出规定长度的符号部分列后，登录到所述符号列索引装置里；

符号列检索装置，其从符号列的先头开始，依次阶段地将规定长度的符号部分列，作为检索符号部分列来剪切取出；

由所述符号列检索装置剪切取出的所述检索符号部分列是，登录在所述符号列索引装置里的文本图像的数量满足规定的条件。

2.根据权利要求1所述的文本图像检索设备，其特征在于：

所述规定的条件作为夹在事先确定的上下限之间的值而被定义。

3.根据权利要求1所述的文本图像检索设备，其特征在于：

所述规定的条件是，以检索部分列的出现频率除以全体文本图像的数量后的值，作为夹在事先确定的上下限之间的值而被定义。

4.根据权利要求1至3任何一项所述的文本图像检索设备，其特征在于：

所述检索符号部分列是由输入装置输入的。

5.根据权利要求1至4任何一项所述的文本图像检索设备，其特征在于：

所述检索符号部分列是由所述文本图像变换装置所生成的符号列。

6.一种文本图像检索方法，其用于包括文本图像变换装置、符号列索引装置、符号列登录装置以及符号列检索装置的文本图像检索设备，其特征在于：

文本图像变换步骤，其生成所述文本图像变换装置从被输入的文本图像抽出文字的图像后的符号列；

符号列索引步骤，其存储所述符号列索引装置通过所述文本图像变换装置所生成的符号列以及文本图像之间的对应关系；

符号列登录步骤，其将所述符号列登录装置从所述文本图像变换装置所生成的符号列中，剪切取出规定长度的符号部分列，登录到所述符号列索引装置里；

符号列检索步骤，其将所述符号列检索装置从符号列的先头开始，依次阶段的规定长度的符号部分列，作为检索符号部分列来剪切取出；

由所述符号列检索步骤剪切取出的所述检索符号部分列是，登录在所述符号列索引装置里的文本图像的数量满足规定的条件。

Images