CN109409180B - 图像分析装置和图像分析方法 - Google Patents

Abstract

图像分析装置和图像分析方法。一种图像分析装置包括提取部、获取部、排除部以及识别部。提取部从目标图像提取作为包括字符的区域的文本区域。获取部获取预定目标对象条件。预定目标对象条件限定目标对象。排除部在文本区域中搜索目标对象，并且从字符识别的目标排除该目标对象。文本区域由提取部提取。目标对象满足预定目标对象条件。识别部对文本区域执行字符识别。文本区域为排除了目标对象的区域。

Description

图像分析装置和图像分析方法

技术领域

本发明涉及图像分析装置和图像分析方法。

背景技术

在日本第3909697号专利中，公开了一种识别图面的方法。在该方法中，作为图像接收的整个图面被识别为字符、符号以及线段。然后，基于所识别的字符、符号以及线段的相对位置，用于字符和符号的局部区域再次经受识别。

在日本未审查专利申请第2001-092967号公报中，公开了一种图面识别设备。该图面识别设备包括输入部、提取部、登记部、确定部以及设置部。输入部接收具有图形数据(诸如字符、符号以及线段)的图像。提取部从输入部接收的图像提取图形数据。登记部登记与图形数据(诸如字符、符号以及线段)有关的多个绘制规则。确定部针对由提取部提取的图形数据检查由登记部登记的多个绘制规则，并且从多个绘制规则确定与图形数据类似的绘制规则。相对于由提取部提取的图形数据，设置部定位并设置用于由确定部确定的绘制规则的图形数据中的字符、符号、线段等。

在日本未审查专利申请第10-134144号公报中，公开了一种识别图面的方法。该方法用于识别包括图形框、字符串以及引线的图面。在方法中，从图面图像提取具有比字符大的框的图形。在被包括在该图形中的多线中，分离在两侧上具有端点的多线，作为引线。在靠近所分离的引线的两个端点的位置的区域中，搜索字符串。从图面切去所搜索的字符串。由所分离的引线指向的图形框与所搜索的字符串关联。分离所搜索的字符串，作为独立于图形和其他字符串的字符串。已经被分离且不附着到引线的字符串被确定为与定位了字符串的图形框关联的字符串。

发明内容

本发明的目的是提供图像分析装置和图像分析方法。与在不考虑与在图像中包括的文本无关的目标对象的情况下对图像执行字符识别的情况相比，即使在目标对象存在于图像中的被确定为包括字符的文本区域的区域中时，图像分析装置和图像分析方法也可以以高准确度地执行字符识别。

为了实现以上所描述的目的，根据本发明的第一方面，提供了一种图像分析装置，该图像分析装置包括：提取部，该提取部从目标图像提取作为包括字符的区域的文本区域；获取部，该获取部获取预定目标对象条件，所述预定目标对象条件限定目标对象；排除部，该排除部在所述提取部提取的所述文本区域中搜索满足所述预定目标对象条件的目标对象并从字符识别的目标排除所述目标对象；以及识别部，该识别部识别排除了所述目标对象的所述文本区域的字符。

根据本发明的第二方面，在本发明的第一方面中，所述排除部从所述文本区域删除所搜索的目标对象。所述识别部识别由所述排除部删除了所述目标对象的所述文本区域的字符。

根据本发明的第三方面，在本发明的第二方面中，所述获取部获取构成所述目标对象的线的设置。所述排除部基于构成所述目标对象的所述线的所述设置搜索所述目标对象，并且删除构成所搜索的目标对象的所述线。

根据本发明的第四方面，在本发明的第一方面中，所述排除部包括分离部，该分离部将与所述文本区域中的所述目标对象对应的区域确定为非文本区域，并且将所述非文本区域与所述文本区域分离。所述识别部识别分离了所述非文本区域的所述文本区域的字符。

根据本发明的第五方面，在本发明的第四方面中，所述获取部获取构成所述目标对象的线的设置。所述分离部通过使用构成所述目标对象的所述线的所述设置来搜索所述目标对象，将与所述文本区域中的所述目标对象对应的所述区域确定为所述非文本区域，并且将所述非文本区域与所述文本区域分离。

根据本发明的第六方面，在本发明的第一至第四方面中的任一个方面中，所述获取部获取表示所述目标对象的基准图像。所述排除部通过使用所述基准图像来搜索所述目标对象，并且从字符识别的所述目标排除所述目标对象。

根据本发明的第七方面，在本发明的第一至第六方面中的任一个方面中，所述获取部获取与所述目标对象的高度、尺寸及位置中的任一项有关的条件。所述排除部从字符识别的目标排除所述目标对象的高度、尺寸及位置中的任一项满足与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件的所述目标对象。

根据本发明的第八方面，在本发明的第一至第六方面中的任一个方面中，所述获取部获取与所述目标对象的高度、尺寸及位置中的任一项有关的条件。所述排除部从字符识别的所述目标排除借助所述排除部执行的所述搜索获得的所述目标对象中的所述目标对象的高度、尺寸及位置中的任一项满足与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件的所述目标对象。

根据本发明的第九方面，在本发明的第七或第八方面中，与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件是第一条件至第三条件中的任一个，所述第一条件表示所述目标对象的所述高度大于作为所述识别部执行的字符识别的目标的字符的高度，所述第二条件表示所述目标对象的所述尺寸大于作为所述识别部执行的字符识别的目标的字符的尺寸，并且所述第三条件表示所述目标对象的高度方向上的位置位于所述文本区域中的文本的各行间。

根据本发明的第十方面，在本发明的第一至第九方面中的任一个方面中，

所述获取部获取与所述目标对象在所述文本区域中的设置区域有关的条件作为所述预定目标对象条件。所述排除部从字符识别的目标排除所述目标对象在所述文本区域中的所述设置区域满足与所述目标对象在所述文本区域中的所述设置区域有关的所述条件的所述目标对象。

根据本发明的第十一方面，在本发明的第一至第十方面中的任一个方面中，

所述获取部获取作为所述文本区域的一部分的区域的搜索区域。所述排除部在所述搜索区域中搜索所述目标对象，并且从字符识别的目标排除所述目标对象。

根据本发明的第十二方面，在本发明的第十一方面中，包括所述目标对象的区域是所述文本区域的包括所述文本区域的端部在内的一部分。

为了实现以上所描述的目的，根据本发明的第十三方面，提供了一种图像分析方法，该图像分析方法包括以下步骤：从目标图像提取作为包括字符的区域的文本区域；获取预定目标对象条件，所述预定目标对象条件限定目标对象；在所提取的文本区域中搜索满足所述预定目标对象条件的目标对象并从字符识别的目标排除所述目标对象；以及识别排除了所述目标对象的文本区域的字符。

根据本发明的第一和第十三方面，与在不考虑不与在图像中包括的文本有关的目标对象的情况下对图像执行字符识别的情况相比，即使在目标对象存在于图像中的被确定为包括字符的文本区域的区域中时，也可以高准确度地执行字符识别。

根据本发明的第二方面，与按照将与图像中包括的文本无关的目标对象对应的区域作为非文本区域与文本区域分离方式对图像执行字符识别的情况相比，可以在不重设作为字符识别的目标的区域的情况下执行字符识别。

根据本发明的第三方面，与以删除与图像中包括的文本无关的目标对象的方式对图像执行字符识别的情况相比，还可以识别在目标对象中包括的字符。

根据本发明的第四方面，与以删除与图像中包括的文本无关的目标对象的方式对图像执行字符识别的情况相比，可以在不再生文本区域的情况下执行字符识别。

根据本发明的第五方面，与通过使用表示目标对象的基准图像来搜索与图像中包括的文本无关的目标对象的情况相比，可以仅通过使用在图像中包括的组成部分搜索目标对象。

根据本发明的第六方面，与通过使用构成目标对象的线的设置来搜索与图像中包括的文本无关的目标对象的情况相比，可以在不提取构成目标对象的线的设置的情况下搜索目标对象。

根据本发明的第七方面，与通过使用表示目标对象的基准图像或构成目标对象的线的设置来搜索与图像中包括的文本无关的目标对象的情况相比，可以在不准备基准图像的情况下搜索目标对象。

根据本发明的第八方面，与在不考虑目标对象的高度、尺寸及位置中的任一项的情况下搜索与图像中包括的文本无关的目标对象的情况相比，可以高准确度地搜索目标对象。

根据本发明的第九方面，与在不考虑是识别目标的字符的高度、尺寸及位置中的任一项的情况下搜索与图像中包括的文本无关的目标对象的情况相比，抑制不必要目标对象的搜索。

根据本发明的第十方面，与在不考虑在文本区域中设置目标对象的设置区域的情况下搜索与图像中包括的文本无关的目标对象的情况相比，可以高准确度地搜索目标对象。

根据本发明的第十一方面，与在整个文本区域中搜索与图像中包括的文本无关的目标对象的情况相比，可以在短时段中搜索目标对象。

根据本发明的第十二方面，与在文本区域的中心部分中搜索与图像中包括的文本无关的目标对象的情况相比，可以高准确度地搜索目标对象。

附图说明

将基于以下附图详细地描述本发明的示例性实施方式，附图中：

图1是上面形成要由根据示例性实施方式的图像分析装置分析的图像的示例性纸张的正视图；

图2是根据示例性实施方式的示例性文本区域的正视图；

图3是根据示例性实施方式的文本区域的字符识别的示例性结果的正视图；

图4是根据示例性实施方式的另一个示例性文本区域的正视图；

图5是根据示例性实施方式的文本区域中的句子的示例性组的正视图；

图6是例示了根据示例性实施方式的图像分析系统的构造的框图；

图7是例示了根据第一和第二示例性实施方式的图像分析装置的功能的框图；

图8是例示了根据示例性实施方式的表示目标对象的示例性基准图像的示意图；

图9是例示了根据示例性实施方式的构成目标对象的线的示例性设置的示意图；

图10A是例示了根据示例性实施方式的表示目标对象的另一个示例性基准图像的示意图；

图10B是例示了根据示例性实施方式的构成目标对象的线的另一个示例性设置的示意图；

图11是根据示例性实施方式的从其删除了目标对象的示例性文本区域的正视图；

图12A是例示了根据示例性实施方式的搜索目标对象的示例性区域的示意图；

图12B是例示了根据示例性实施方式的搜索目标对象的另一个示例性区域的示意图；

图12C是例示了根据示例性实施方式的搜索目标对象的另一个示例性区域的示意图；

图13是根据第一示例性实施方式的图像分析处理的流程图；

图14是根据第二示例性实施方式的图像分析处理的流程图；

图15A是例示了根据示例性实施方式的与目标对象的高度有关的示例的示意图；

图15B是例示了根据示例性实施方式的与目标对象的高度有关的另一个示例的示意图；

图16是根据示例性实施方式的从其删除了目标对象的示例性文本区域的正视图；

图17是根据示例性实施方式的从其删除了构成目标对象的线的另一个示例性文本区域的正视图；

图18是根据示例性实施方式的文本区域和非文本区域的示例的正视图；

图19是根据示例性实施方式的分离了非文本区域的示例性文本区域的正视图；以及

图20是根据第三示例性实施方式的图像分析处理的流程图。

具体实施方式

以下将参照附图详细描述本发明的示例性实施方式。

第一示例性实施方式

将描述由根据第一示例性实施方式的图像分析装置分析的图像。图1是上面形成要由根据第一示例性实施方式的图像分析装置分析的图像的记录介质的示例性纸张的正视图。

例如，如图1例示，在上面绘制要由图像分析装置分析的图像(例如，设计图面)的纸张P上绘制用于限定整体图像的线30。在第一示例性实施方式中，将描述用于限定整体图像的线30为矩形图形框的情况。

在第一示例性实施方式中，例如，将描述以下情况：如图1例示，作为包括字符的区域的文本区域32A和32B、作为包括表的表区域34、作为包括图像的区域的图像区域36等设置在用于限定整体目标图像的线30内。

例如，如图2例示，在文本区域32A中描述了文本40，其中“句子”设置在第一行中且“校正第二行”设置在第二行中。在文本区域32A中，例如，与图像中包括的文本无关的字符、符号或图形(下文中被称为“目标对象”)42还可以被描述为在左侧即在X方向上与文本40相邻，并且被描述为跨第一行和第二行延伸。

在第一示例性实施方式中，将描述目标对象42具有三角形框的情况。然而，这不是限制。目标对象42例如可以具有圆形、椭圆形、矩形或多边形框。目标对象42可以不具有框，并且可以为符号本身，诸如数字字符、字母字符或标记。

目标对象42的类型的示例包括与修订事件有关的符号、表示形状等的几何公差的符号、表示表面粗糙度的符号以及表示需要注意的区域的符号。

在文本区域32A和32B中描述的文本通过执行已知的字符识别处理来识别。例如，如图2例示，在文本区域32A中描述目标对象42以及文本40的情况下，在文本区域32A的字符识别时，目标对象42会被错误地识别为文本40的一部分。在这种情况下，以上所描述的“句子”和“校正第二行”的两行描述可能被错误地识别为一行描述。由此，例如，如图3例示，可能借助错误识别获得是文本区域32A的字符识别结果的描述“Δoe第二行”的文本区域44。

例如，如图4例示，假定在文本区域46中描述文本48。在文本48中，“激光打印面”设置在第一行中，“参照X号插图”设置在第二行中，并且“根据插图选择字体和位置”设置在第三行中。另外，假定高度(Y方向上的长度)等于文本48的两行的高度的目标对象50在文本48的右侧上被描述为跨文本48的第一行和第二行延伸。

在这种情况下，例如，如图5例示，文本区域46中的文本48的第一行和第二行以及目标对象50会被识别为单个文本(一行文本)48A，并且文本48的第三行会被识别为单个文本(一行文本)48B。

根据第一示例性实施方式的图像分析装置从目标图像提取作为包括字符的区域的文本区域，并且获得预定目标对象条件。图像分析装置在所提取的文本区域中搜索满足预定目标对象条件的目标对象，从字符识别的目标排除所搜索的目标对象，并且识别排除了目标对象的文本区域中的字符。以下将描述预定目标对象条件。

将描述根据第一示例性实施方式的图像分析系统的构造和图像分析装置的功能。图6是例示了根据第一示例性实施方式的图像分析系统10的构造的框图。图7是例示了根据第一示例性实施方式的图像分析装置12的功能的框图。

如图6所例示，图像分析系统10包括图像分析装置12和图像读取装置14。作为所谓的扫描仪的图像读取装置14读取在纸张P上进制作的图面，生成彩色图像数据或黑白图像数据，并且向图像分析装置12输出所生成的图像数据。如图7例示，图像分析装置12包括多个功能单元，即，提取部20、获取部22、排除部24以及识别部26。

在图像分析装置12的硬件构造方面，根据第一示例性实施方式的图像分析装置12借助控制整个设备的操作的中央处理单元(CPU)来实施。即，图像分析装置12包括CPU、预先存储有各种程序和各种参数的只读存储器(ROM)、例如用作各种程序的CPU执行时的工作区域的随机存取存储器(RAM)以及包括诸如闪存的非易失性存储器的存储单元。

图像分析装置12包括通信线路接口(I/F)单元，该I/F单元从/向外部设备接收/发送通信信息。图像分析装置12还包括操作显示单元，该操作显示单元接收对图像分析装置12的用户指令，并且通知用户例如与图像分析装置12的操作状况有关的各种信息。操作显示单元例如包括：显示器，该显示器用于显示数据；以及键盘和鼠标，该键盘和鼠标用于输入数据。然而，操作显示单元不限于此，并且例如可以包括触控面板显示器和硬件键，诸如数字小键盘和启动按钮。在触控面板显示器上，显示借助程序的执行接收操作指令的各种信息和显示按钮。

提取部20从图像读取装置14接收图像数据，并且获得由所接收图像数据表示的读取图像，作为字符识别的目标的图像(下文中被称为“目标图像”)。在第一示例性实施方式中，将描述提取部20从图像读取装置14接收图像数据的情况。然而，这不是限制。图像数据可以借助通信线路I/F单元从外部设备来接收。当在存储单元中存储图像数据时，可以从存储单元读取图像数据。

提取部20对所获得的目标图像执行版面设计分析，以提取在目标图像中包括的文本区域。在第一示例性实施方式中，为了避免复杂描述，将描述以下情况：通过读取上面在白色背景的情况下用黑色制作图面的纸张P来获得目标图像，作为黑白图像数据。提取部20是示例性提取部。

提取部20借助版面设计分析将目标图像分成多个区域。在该示例中，将描述使用投影作为借助版面设计分析将目标图像分成多个区域的示例性方法的情况。

即，沿预定的第一方向(例如，与X轴平行的方向)投影目标图像。由此，在目标图像中的黑色像素的直方图(投影分布)中，出现与具有大量黑色像素的部分对应的上峰值和与具有少量黑色像素的部分对应的下峰值。当上峰值和下峰值中的下峰值部分满足用于确定要划分区域的部分的确定条件时，沿投影方向划分区域，类似地，沿与第一方向交叉的方向(例如，与Y轴平行的方向)投影目标图像。当目标图像中的黑色像素的直方图的上峰值和下峰值中的下峰值部分满足确定条件时，沿投影方向划分区域。递归地执行在两个方向上的划分操作，将目标图像被分成多个划分区域。

提取部20然后基于划分区域中包括的组成成分(对象)辨别在各划分区域中描述的信息的类型。该类型包括文本、表以及图像。在图1所例示的示例中，基于辨别的类型，辨别四个区域，即，与文本对应的文本区域32A和32B、与表对应的表区域34以及与图像对应的图像区域36。

提取部20然后从所辨别的区域提取文本区域。在图1的示例中，从四个区域提取两个区域，即，文本区域32A和文本区域32B。

例如，获取部22读取表示预定目标对象条件且存储在存储单元中的数据。由此，获取部22获得预定目标对象条件。预定目标对象条件是充当用于确定例如在文本区域中包括的字符、符号或图形是否是目标对象的基准的条件。预定目标对象条件的示例包括以下所描述的基于表示各目标对象的基准图像的条件、基于构成各目标对象的线的设置的条件以及与各目标对象的高度等有关的条件。获取部22是示例性获取部。

排除部24在由提取部20提取的文本区域中搜索满足由获取部22获得的预定目标对象条件的目标对象。排除部24从识别部26执行的字符识别的目标排除所搜索的目标对象。排除部24是示例性排除部。

在第一示例性实施方式中，将描述使用方法(1)和方法(2)中的一个作为搜索目标对象的示例性方法的情况。

(1)在该方法中，获得表示要排除的目标对象的基准图像，作为预定目标对象条件，并且在该方法中，例如，搜索与所获得的基准图像中的一个类似的字符、符号或图形。

(2)在该方法中，获得表示构成要排除的目标对象的线的设置的数据，作为预定目标对象条件，并且在该方法中，例如，搜索与由所获得数据表示的线设置中的一个类似的字符、符号或图形。

将描述方法(1)用于搜索目标对象的情况。

获取部22获得表示要排除的目标对象的基准图像52，作为预定目标对象条件。例如，在获取部22要排除三角形符号(诸如图2所例示的目标对象42)时，例如，如图8例示，获取部22获得表示三角形符号的基准图像52。

排除部24例如借助二值化或标记从文本区域提取与字符、符号、图形等对应的字符候选区域。排除部24计算所提取的字符候选区域与基准图像52之间的相似性。计算相似性的方法的示例包括是通常在模式匹配技术中使用的相似性指数的绝对误差和(SAD)和零平均值归一化互相关(ZNCC)。计算相似性的另一种方法例如是以下这种方法：在该方法中，将要经受计算的各区域分成多个区域(例如，多个5×5网格区域)；例如基于所划分区域中的线的存在、线的长度以及线的方位计算各所划分区域的相似性；以及将所计算的相似性加在一起。

线的方位的示例包括水平方向线(与X方向平行的线)、垂直方向线(与Y方向平行的线)、从左下角向右上角延伸的倾斜线(使得随着增大X方向值而增大Y方向值的线)、以及从左上角向右下角延伸的倾斜线(使得随着增大X方向值而减小Y方向值的线)。然而，通常使用的任意已知方法可以用作计算相似性的方法。

此时，可以扩大或缩小所提取的字符候选区域和基准图像52中的至少一者，使得所提取的区域的尺寸和基准图像52的尺寸彼此相等或使得所提取的区域和基准图像52容易地与彼此比较。

在所计算的相似性等于或大于阈值时，排除部24将例如在所提取区域中描述的字符、符号或图形确定为目标对象，并且从识别部26执行的字符识别的目标排除例如该字符、符号或图形。

将描述通过使用方法(2)来搜索目标对象的情况。

获取部22获得表示构成要排除的目标对象的线的设置的数据，作为预定目标对象条件。例如，在要排除诸如图1所例示的目标对象42的三角形符号时，获取部22获得表示构成例如如图9例示的三角形的三条线的设置的数据。在图9中的示例中，获得表示设置以下所描述的三条线(a)至(c)的数据。由此，仅在目标图像中包括的组成部分用于搜索目标对象。

(a)从左下角向右上角延伸的倾斜线54A设置在用于计算相似性的区域中的左侧区域中。

(b)从左上角向右下角延伸的倾斜线54B设置在用于计算相似性的区域中的右侧区域中。

(c)沿水平方向延伸的线54C设置在用于计算相似性的区域中的下区域中。

排除部24例如借助二值化或标记从文本区域提取与字符、符号、图形等对应的字符候选区域。另外，排除部24在所提取的字符候选区域中包括的线的设置与构成要排除的目标对象的线的设置之间的相似性。计算相似性的方法可以为通常使用的已知方法。另外，在所计算的相似性等于或大于阈值时，排除部24将在所提取区域中描述的符号或字符确定为目标对象，并且从识别部26执行的字符识别的目标排除例如该符号或字符。

在第一示例性实施方式中，描述了三角形目标对象的情况。然而，目标对象的形状不限于此。例如，在要排除五角形符号且使用方法(1)的情况下，例如，获得表示五角形符号的如图10A例示的基准图像56。例如，在要排除五角符号且使用方法(2)的情况下，例如，获得表示设置以下所描述的五条线(d)至(h)的、如图10B例示的数据。

(d)沿垂直方向延伸的线58A设置在用于计算相似性的区域中的左侧区域中。

(e)沿水平方向延伸的线58B设置在用于计算相似性的区域中的上区域中。

(f)沿水平方向延伸的线58C设置在用于计算相似性的区域中的下区域中。

(g)从左上角向右下角延伸的倾斜线58D设置在用于计算相似性的区域中的右上区域中。

(h)从左下角向右上角延伸的倾斜线58E设置在用于计算相似性的区域中的右下区域中。

例如，如图11例示，排除部24从文本区域32A删除目标对象42。由此，排除部24从识别部26执行的字符识别的目标排除该目标对象42。因此，在文本区域32A的字符识别中，文本区域32A中的文本40经受字符识别。

在第一示例性实施方式中，描述了以下情况：在整个文本区域中，搜索满足由获取部22获得的预定目标对象条件的目标对象，并且从识别部26执行的字符识别的目标排除所搜索的目标对象。然而，这不是限制。在是文本区域一部分的搜索区域中，可以搜索满足由获取部22获得的预定目标对象条件的目标对象，并且可以从识别部26执行的字符识别的目标排除所搜索的目标对象。

在第一示例性实施方式中，搜索区域是预测包括目标对象的文本区域中的区域。例如，诸如与修订事件有关的符号的目标对象如图2和图4例示的经常设置在包括文本区域中的右端的端部区域中或包括左端的端部区域中。

因此，例如，如图12A例示，在作为文本区域的一部分的且包括文本区域32A的左端60A的端部区域60(在图12A中通过使用点表示的区域)中，可以搜索满足由获取部22获得的预定目标对象条件的目标对象。端部区域60是示例性搜索区域。

另选地，例如，如图12B例示，在作为文本区域的一部分的且包括文本区域46的右端62A的端部区域62(在图12B中通过使用点表示的区域)中，可以搜索满足由获取部22获得的预定目标对象条件的目标对象。端部区域62是示例性搜索区域。搜索区域不限于图12B所例示的端部区域62。搜索可以在文本区域46所描述的一行文本的右端中来执行。

另选地，例如，如图12C例示，在作为文本区域的一部分的且包括文本区域64的轮廓66A的轮廓区域66(在图12C中通过使用点表示的区域)中，可以搜索满足由获取部22获得的预定目标对象条件的目标对象。轮廓区域66是示例性搜索区域。

进一步地，目标对象可以通过以下方式来搜索：确定以下对象中的至少一个是否满足预定目标对象条件：对象，诸如被定位在文本区域的最右侧区域上的字符、符号或图形；和对象，诸如被定位在文本区域的最左侧区域上的字符、符号或图形。在这种情况下，确定：例如，被确定为最靠近文本区域的端部且满足预定目标对象条件的字符、符号或图形被确定为目标对象。由此，不管区域如何，诸如文本区域中的端部区域或轮廓区域，基于例如文本区域中的字符、符号或图形的设置搜索目标对象。

当排除部24排除该目标对象时，识别部26对由排除部24排除了目标对象的文本区域执行字符识别。在文本区域中未找到目标对象且排除部24未排除目标对象的情况下，识别部26对由提取部20提取的文本区域执行字符识别。识别部26是示例性识别部。

将通过参照图13中的流程图描述在给出预定执行指令时由根据第一示例性实施方式的图像分析装置12执行的图像分析处理的流程。在第一示例性实施方式中，用于图像分析处理的程序预先存储在存储单元中。然而，这不是限制。例如，用于图像分析处理的程序可以借助通信线路I/F单元从外部设备来接收，并且可以存储在存储单元中。另选地，在诸如光盘只读存储器(CD-ROM)的记录介质中记录的、用于图像分析处理的程序可以借助CD-ROM驱动器等来读取，使得执行图像分析处理。

在步骤S101中，提取部20从图像读取装置14接收图像数据，以获得目标图像。

在步骤S103中，提取部20对所接收的目标图像执行版面设计分析，以提取目标图像中的文本区域。

在步骤S105中，获取部22获取预定目标对象条件。

在步骤S107中，排除部24在所提取的文本区域中搜索满足所获得的预定目标对象条件的目标对象。

在步骤S109中，排除部24确定在所提取的文本区域中是否已经借助搜索获得目标对象。如果排除部24在步骤S109中确定已经借助搜索获得目标对象(步骤S109中的是(Y))，则处理进行到步骤S111。如果排除部24在步骤S109中确定尚未借助搜索获得目标对象(步骤S109中为否(N))，则处理进行到步骤S113。

在步骤S111中，排除部24从字符识别的目标排除所搜索的目标对象。

在步骤S113中，识别部26对排除了目标对象的文本区域执行字符识别。

在步骤S115中，识别部26将与所识别的字符有关的信息作为识别信息存储在存储单元中。

在步骤S117中，提取部20确定下一目标图像是否存在。如果提取部20在步骤S117中确定下一目标图像存在(S117中的是)，则处理进行到步骤S101，并且对下一目标图像执行步骤S101至S117中的处理。如果提取部20确定下一目标图像不存在(S117中为否)，则结束用于图像分析处理的程序的执行。

由此，在第一示例性实施方式中，从目标图像提取作为包括字符的区域的文本区域，并且获得预定目标对象条件。在所提取的文本区域中，搜索满足预定目标对象条件的目标对象。从字符识别的目标排除该目标对象。对排除了目标对象的文本区域执行字符识别。当从字符识别的目标排除该目标对象时，从文本区域删除所搜索的目标对象，并且对从其删除了目标对象的文本区域执行字符识别。

在第一示例性实施方式中，描述了搜索满足预定目标对象条件的目标对象的情况。然而，这不是限制。可以获得与文本区域中目标对象的设置区域有关的目标对象设置条件。可以从字符识别的目标排除文本区域中的设置区域满足目标对象设置条件的目标对象。目标对象设置条件的示例包括目标对象设置在包括文本区域的轮廓的轮廓区域66中的状态和目标对象设置在包括文本区域的端部在内的端部区域60或62中的状态。

第二示例性实施方式

将描述根据第二示例性实施方式的图像分析装置。

在第一示例性实施方式中，描述了通过删除文本区域中的所有目标对象来从识别部26执行的字符识别的目标排除目标对象的情况。相比之下，在第二示例性实施方式中，将描述以下情况：在文本区域中的目标对象中仅删除满足与高度、尺寸及位置中的任一项有关的条件(下文中被称为“与高度等有关的条件”)的目标对象，并且由此从识别部26执行的字符识别的目标删除目标对象。

根据第二示例性实施方式的图像分析装置的构造与根据第一示例性实施方式的图像分析装置12的构造相同，并且将不描述部件的构造。

将通过参照图14中的流程图描述在给出预定执行指令时由根据第二示例性实施方式的图像分析装置12执行的图像分析处理的流程。在第二示例性实施方式中，用于图像分析处理的程序预先存储在存储单元中。然而，这不是限制。例如，用于图像分析处理的程序可以借助通信线路I/F单元从外部设备来接收，并且可以存储在存储单元中。另选地，在诸如CD-ROM的记录介质中记录的、用于图像分析处理的程序可以借助CD-ROM驱动器等来读取，使得执行图像分析处理。

在步骤S101至S103中，执行与第一示例性实施方式中的步骤S101至S103类似的处理。

在步骤S105中，获取部22获取预定目标对象条件。此时，获取部22获取基准图像52，该基准图像表示要排除的目标对象或构成要排除的目标对象的线的设置。另外，获取部22获取与高度等有关的条件。目标对象的高度表示目标对象的Y方向长度。目标对象的尺寸表示基于目标对象的X方向长度和Y方向长度中的至少一个的目标对象的尺寸。目标对象的位置表示目标对象在XY坐标中的位置。

与高度等有关的条件表示规定不妨碍文本区域中的文本的字符识别的目标对象的高度、尺寸及位置的预定条件。在第二示例性实施方式中，例如，与高度等有关的条件中的、与高度有关的条件表示目标对象的高度大于作为字符识别的目标的字符的高度。与高度等有关的条件中的、与尺寸有关的条件表示目标对象的尺寸大于作为字符识别的目标的字符的尺寸。与高度等有关的条件中的、与位置有关的条件表示目标位置的Y方向位置位于文本区域中的文本行之间的空间中。表达“位于各行间的空间中”表示目标对象的高度方向(Y方向)位置的范围跨多行延伸。另外，是字符识别的目标的字符的高度或尺寸可以预先存储在存储单元中，或者可以基于例如所提取字符、符号或图形的高度或尺寸计算。

考虑到字符识别的误差，与高度有关的条件可以表示目标对象42的高度大于作为识别目标的字符的最大高度，该最大高度包含误差值。另选地，与高度有关的条件可以表示目标对象42的高度大于已确认在字符识别中不发生错误识别而使用的值。

类似地，考虑到字符识别的误差，与尺寸有关的条件可以表示目标对象42的尺寸大于作为识别目标的字符的最大尺寸，该最大尺寸包含误差值。另选地，与尺寸有关的条件可以表示目标对象42的尺寸大于已确认在字符识别中不发生错误识别而使用的值。

类似地，考虑到字符识别的误差，与位置有关的条件可以表示目标对象42的高度方向上的位置的范围跨在是识别目标的字符各行间的空间延伸。字符行间的空间的高度方向(Y方向)长度被设置为识别目标的字符行间的空间的长度的平均值、中值、众数或最小值。另选地，目标对象42的高度方向上的位置的范围大于作为识别目标的字符行之间的空间的平均值、中值、众数或最小值的另外条件可以添加到与位置有关的条件。另选地，与位置有关的条件可以表示目标对象42的高度方向上的位置的范围落在已确认在字符识别中不发生错误识别的位置的范围内。

在步骤S107至S111中，执行与第一示例性实施方式中的步骤S107至S111类似的处理。

例如，如图15A例示，在文本区域32A中的目标对象42的高度“a”大于作为识别目标的文本40的字符的最大高度“b”时，目标对象42满足与高度等有关的条件。因此，确定在所提取文本区域32A中借助搜索找到目标对象42。

例如，如图15B例示，在文本区域70中的目标对象72的高度“c”不大于作为识别目标的文本71的字符的最大高度“d”时，目标对象72不满足与高度等有关的条件。因此，在其他所提取的目标对象类似地不满足与高度等有关的条件时，确定在所提取文本区域70中借助搜索未找到目标对象。

在从文本区域70删除目标对象72时，例如，如图16例示地删除目标对象72。由此，从识别部26执行的字符识别的目标排除目标对象72。

在基于构成目标对象72的线的设置搜索目标对象72时(在使用方法(2)时)，例如，如图17例示，仅可以删除构成目标对象72的线。在这种情况下，不删除在构成目标对象72的线内描述的字符“3”。字符“3”被包括在由识别部26执行的字符识别的目标中。

在步骤S113至S117中，执行与第一示例性实施方式中的步骤S113至S117类似的处理。

由此，在第二示例性实施方式中，从目标图像提取作为包括字符的区域的文本区域，并且获得预定目标对象条件。另外，在所提取的文本区域中，搜索满足预定目标对象条件的目标对象。在所找到的目标对象中，从字符识别的目标排除高度、尺寸及位置中的至少一个满足与高度等有关的条件的目标对象。

在第二示例性实施方式中，描述了确定满足预定目标对象条件的目标对象是否满足与高度等有关的条件的情况。然而，这不是限制。可以确定例如在文本区域中描述的字符、符号或图形是否满足与高度等有关的条件。在这种情况下，不管预定目标对象条件如何，例如，满足与高度等有关的条件的字符、符号或图形都可以被确定为目标对象，并且可以从字符识别的目标排除该目标对象。

另选地，可以确定例如满足与高度等有关的条件的字符、符号或图形是否满足预定目标对象条件。然后，例如，满足预定目标对象条件的字符、符号或图形可以被确定为目标对象，并且可以从字符识别的目标排除该目标对象。

第三示例性实施方式

将描述根据第三示例性实施方式的图像分析装置。

在第一示例性实施方式和第二示例性实施方式中，描述了通过删除文本区域中的目标对象来从识别部26执行的字符识别的目标排除该目标对象的情况。相比之下，在第三示例性实施方式中，将描述以下情况：将与文本区域中的目标对象对应的区域作为非文本区域与文本区域分离，由此从识别部26执行的字符识别的目标排除该目标对象。

根据第三示例性实施方式的图像分析装置12的构造与根据第一示例性实施方式和第二示例性实施方式的图像分析装置12的构造相同，并且将不描述部件的构造。

在第三示例性实施方式中，排除部24在由提取部20提取的文本区域中搜索满足由获取部22获得的预定目标对象条件的目标对象。排除部24将与所搜索的目标对象对应的区域确定为非文本区域，并且将非文本区域与文本区域分离。由此，从识别部26执行的字符识别的目标排除所搜索的目标对象72。排除部24还是示例性分离部。

例如，如图18例示，当在文本区域32A中描述文本40和目标对象42时，排除部24识别与文本40对应的区域80和与目标对象42对应的非文本区域82，并且将非文本区域82与文本区域32A分离。然后，例如，如图19例示，排除部24仅将与文本40对应的区域80用作文本区域84。

通过使用排除部24搜索目标对象的方法与第一示例性实施方式中的方法(1)和方法(2)类似。

将通过参照图20中的流程图描述在给出预定执行指令时由根据第三示例性实施方式的图像分析装置12执行的图像分析处理的流程。在第三示例性实施方式中，用于图像分析处理的程序预先存储在存储单元中。然而，这不是限制。例如，用于图像分析处理的程序可以借助通信线路I/F单元从外部设备来接收，并且可以存储在存储单元中。另选地，在诸如CD-ROM的记录介质中记录的、用于图像分析处理的程序可以借助CD-ROM驱动器等来读取，使得执行图像分析处理。

在步骤S201至S209中，执行与第一示例性实施方式(图13)或第二示例性实施方式(图14)中的步骤S101至S109类似的处理。

在步骤S211中，排除部24将与借助搜索找到目标对象对应的区域确定为非文本区域，并且将非文本区域与文本区域分离。由此，从字符识别的目标排除该目标对象。

在步骤S213至S217中，执行与第一示例性实施方式(图13)或第二示例性实施方式(图14)中的步骤S113至S117类似的处理。

由此，与文本区域中的目标对象对应的区域被确定为非文本区域，并且非文本区域与文本区域分离。然后，对分离了非文本区域的文本区域执行字符识别。

在以上所描述的示例性实施方式中描述的图像分析装置12的构造(参见图6和图7)是示例性的。即，毋庸置疑，可以在不偏离本发明的主旨的情况下删除不必要的部件或添加新的部件。

在以上所描述的示例性实施方式中描述的各种程序的处理的流程(参见图13、图14以及和图20)也是示例性的。即，毋庸置疑，可以在不偏离本发明的主旨的情况下执行不必要步骤的删除、新步骤的添加或切换处理顺序。

对本发明的示例性实施方式的上述说明是为了例示和说明的目的而提供的。并非旨在对本发明进行穷尽，或者将本发明限于所公开的精确形式。显而易见的是，很多修改例和变型例对于本领域技术人员是明显的。选择了实施方式进行说明以最好地解释本发明的原理及其实际应用，以使本领域其它技术人员能够理解本发明的各种实施方式，以及适合于所设想的具体用途的各种变型。本发明的范围旨在由所附权利要求及其等同物来限定。

Claims (13)

1.一种图像分析装置，该图像分析装置包括：

提取部，该提取部从目标图像提取作为包括字符的区域的文本区域；

获取部，该获取部获取预定目标对象条件，所述预定目标对象条件限定目标对象；

排除部，该排除部在所述提取部提取的所述文本区域中搜索满足所述预定目标对象条件的目标对象并从字符识别的目标排除所述目标对象；以及

识别部，该识别部识别排除了所述目标对象的所述文本区域的字符，

其中，所述获取部获取表示所述目标对象的基准图像，

所述排除部从所述文本区域提取与字符、符号或图形对应的字符候选区域并计算所提取的字符候选区域与所述基准图像之间的相似性，并且

当所计算的相似性等于或大于阈值时，所述排除部将所述字符、所述符号或所述图形确定为所述目标对象。

2.根据权利要求1所述的图像分析装置，

其中，所述排除部从所述文本区域删除所搜索的目标对象；并且

其中，所述识别部识别由所述排除部删除了所述目标对象的所述文本区域的字符。

3.根据权利要求2所述的图像分析装置，

其中，所述获取部获取构成所述目标对象的线的设置，并且

其中，所述排除部基于构成所述目标对象的所述线的所述设置搜索所述目标对象，并且删除构成所搜索的目标对象的所述线。

4.根据权利要求1所述的图像分析装置，

其中，所述排除部包括分离部，该分离部将与所述文本区域中的所述目标对象对应的区域确定为非文本区域，并且将所述非文本区域与所述文本区域分离，并且

其中，所述识别部识别分离了所述非文本区域的所述文本区域的字符。

5.根据权利要求4所述的图像分析装置，

其中，所述获取部获取构成所述目标对象的线的设置，并且

其中，所述分离部通过使用构成所述目标对象的所述线的所述设置来搜索所述目标对象，将与所述文本区域中的所述目标对象对应的所述区域确定为所述非文本区域，并且将所述非文本区域与所述文本区域分离。

6.根据权利要求1至5中任一项所述的图像分析装置，

其中，所述获取部获取与所述目标对象的高度、尺寸及位置中的任一项有关的条件，并且

其中，所述排除部从字符识别的目标排除所述目标对象的高度、尺寸及位置中的任一项满足与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件的所述目标对象。

7.根据权利要求1至5中任一项所述的图像分析装置，

其中，所述获取部获取与所述目标对象的高度、尺寸及位置中的任一项有关的条件，并且

其中，所述排除部从字符识别的所述目标排除借助所述排除部执行的所述搜索获得的所述目标对象中的所述目标对象的高度、尺寸及位置中的任一项满足与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件的所述目标对象。

8.根据权利要求6所述的图像分析装置，

其中，与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件是第一条件、第二条件和第三条件中的任一个，所述第一条件表示所述目标对象的所述高度大于作为所述识别部执行的字符识别的目标的字符的高度，所述第二条件表示所述目标对象的所述尺寸大于作为所述识别部执行的字符识别的目标的字符的尺寸，并且所述第三条件表示所述目标对象的高度方向上的位置位于所述文本区域中的文本的各行间。

9.根据权利要求7所述的图像分析装置，

其中，与所述目标对象的所述高度、所述尺寸及所述位置中的任一项有关的所述条件是第一条件、第二条件和第三条件中的任一个，所述第一条件表示所述目标对象的所述高度大于作为所述识别部执行的字符识别的目标的字符的高度，所述第二条件表示所述目标对象的所述尺寸大于作为所述识别部执行的字符识别的目标的字符的尺寸，并且所述第三条件表示所述目标对象的高度方向上的位置位于所述文本区域中的文本的各行间。

10.根据权利要求1至5中任一项所述的图像分析装置，

其中，所述获取部获取与所述目标对象在所述文本区域中的设置区域有关的条件作为所述预定目标对象条件，并且

其中，所述排除部从字符识别的目标排除所述目标对象在所述文本区域中的所述设置区域满足与所述目标对象在所述文本区域中的所述设置区域有关的所述条件的所述目标对象。

11.根据权利要求1至5中任一项所述的图像分析装置，

其中，所述获取部获取作为所述文本区域的一部分的区域的搜索区域，并且

其中，所述排除部在所述搜索区域中搜索所述目标对象，并且从字符识别的目标排除所述目标对象。

12.根据权利要求11所述的图像分析装置，

其中，包括所述目标对象的区域是所述文本区域的包括所述文本区域的端部在内的一部分。

13.一种图像分析方法，该图像分析方法包括以下步骤：

从目标图像提取作为包括字符的区域的文本区域；

获取预定目标对象条件，所述预定目标对象条件限定目标对象；

在所提取的文本区域中搜索满足所述预定目标对象条件的目标对象并从字符识别的目标排除所述目标对象；以及

识别排除了所述目标对象的文本区域的字符，

其中，该图像分析方法还包括以下步骤：

获取表示所述目标对象的基准图像，

从所述文本区域提取与字符、符号或图形对应的字符候选区域并计算所提取的字符候选区域与所述基准图像之间的相似性，并且

当所计算的相似性等于或大于阈值时，将所述字符、所述符号或所述图形确定为所述目标对象。