CN101794388A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置和图像处理方法，所述图像处理装置包括：测量单元，其测量图像中的线段的长度；第一评估单元，其基于由所述测量单元测量的线段长度和所述线段的位置来评估每条线段；第二评估单元，其基于由所述测量单元测量的线段长度的相似性和所述线段的位置来评估每条线段；以及判定单元，其基于由所述第一评估单元获得的评估结果和由所述第二评估单元获得的评估结果来判断每条线段是否为格线。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及一种图像处理装置和图像处理方法。

背景技术

已经提出这样一种技术：即，例如利用扫描仪读取纸质文档，分析对象的布局或结构，并且再利用写入文档中的信息或基于该信息进行处理。特别地，作为文档的一种的分类帐帐页通常用于商务。大部分分类帐帐页由表格构成。因此，需要一种分析表格的技术。

作为表格分析技术，例如，专利文献1(JP-A-07-013999)披露了一种具有高可靠性的表格识别装置，其能够精确地提取长度小于阈值的短格线作为格线并且能够精确地识别表格结构。该识别装置包括：实格线提取单元，其从二值图像数据的段(run)之中提取长度等于或大于实线阈值的段作为实格线元素，并且连接所提取的段以便提取实格线；虚格线提取单元，其从各段之中提取长度等于或大于虚线阈值的带有特定图案的段作为虚格线元素，并且连接所提取的段以便提取虚格线；表格结构提取单元，其提取由实格线和虚格线包围的部分作为单元格进而提取表格结构；小单元格搜索单元，其从由表格结构提取单元提取的单元格中搜索高度和宽度小于阈值的单元格；短格线提取单元，其从单元格中提取段进而提取短格线；以及表格结构校正单元，其使用短格线校正表格结构。

例如，专利文献2(JP-A-05-012489)披露了一种表格识别装置，无论字符、虚线、点线以及线型如何，该表格识别装置均能够根据例如从打印输出或文档中读取的图形数据来精确地识别表格结构和单元格中的字符。该表格识别装置包括：黑色像素标记单元，其对图形数据中的连接的黑色像素形成外接矩形框；字符矩形推定单元，其基于外接矩形的边的长度判断矩形中是否存在字符；缩小图像生成单元，其生成矩形中除了被推定为字符的黑色像素之外的部分的缩小图像；段提取单元，其沿着两个方向，即水平方向和竖直方向从缩小图像的黑色像素的段之中提取长度等于或大于预定值的段；格线提取单元，其连接所提取的段以便提取格线；以及表格结构提取单元，其搜索由所提取的格线包围的矩形进而提取该矩形作为表格的单元格。

例如，专利文献3(JP-A-11-076658)披露了一种当由任意的图像数据形成缝纫针脚时能够沿着丝线的缝纫针脚的方向反映出原始图像数据的特征的缝纫数据处理装置、缝纫机以及记录介质。在专利文献3中，图像扫描仪从原始图像中读取图案。从所读取的图像数据中选择在缝纫期间沿着相同缝合方向设定的区域，并且对所选择的区域计算纹理结构。然后，将待缝纫的区域区块化以便生成缝纫针脚数据。

例如，专利文献4(JP-A-11-123289)披露了一种当由任意的图像数据形成缝纫数据时能够形成操作者所期望的缝纫区域而无需诸如描图等复杂的操作的缝纫数据处理装置、缝纫机以及记录介质。在专利文献4中，从原始图片中读取图像，并且对所读取的图像数据划分区域。通过从图案图像中进行区域提取来获得轮廓线，并且通过边缘提取来获得边缘。然后，允许操作者选择轮廓线和边缘中的至少之一。这样，基于操作者所期望的缝纫区域生成缝纫数据。

发明内容

本发明的目的是提供这样一种图像处理装置和图像处理方法，当分析包括点线或虚线作为格线的图像时，与使用标记技术相比，所述图像处理装置和图像处理方法可以占用较少的计算机资源，并且可以防止将格线识别为字符。

为了实现上述目的，本发明具有以下各方面。

[1]根据本发明的一方面，提供一种图像处理装置，包括：测量单元，其测量图像中的线段的长度；第一评估单元，其基于由所述测量单元测量的线段长度和所述线段的位置来评估每条线段；第二评估单元，其基于由所述测量单元测量的线段长度的相似性和所述线段的位置来评估每条线段；以及判定单元，其基于由所述第一评估单元获得的评估结果和由所述第二评估单元获得的评估结果来判断每条线段是否为格线。

[2]根据第[1]项所述的图像处理装置，所述第一评估单元可基于包括在所述线段中的子线段在所述线段的位置处的像素累计数来评估每条线段。并且每条子线段具有预定范围内的线段长度。

[3]根据第[1]项所述的图像处理装置，所述第二评估单元可基于包括在所述线段中的子线段的线段长度在所述线段的位置处的出现频率来评估每条线段。

[4]根据第[1]、或[2]或[3]项所述的图像处理装置，所述测量单元可测量沿所述图像的竖直方向的线段长度和沿所述图像的水平方向的线段长度。所述每条线段的位置可表示所述线段沿所述图像的竖直方向的位置或所述线段沿所述图像的水平方向的位置。并且所述判定单元可判断每条线段是否为沿竖直方向的格线，并且可判断每条线段是否为沿水平方向的格线。

[5]根据第[1]、或[2]或[3]项所述的图像处理装置，所述图像处理装置还可包括：表格图像生成单元，其利用被所述判定单元判定为格线的每条线段来生成表格图像；以及实线转换单元，其将由所述表格图像生成单元生成的表格图像的每条格线转换为实线。

[6]根据第[4]项所述的图像处理装置，所述图像处理装置还可包括：表格图像生成单元，其利用被所述判定单元判定为格线的每条线段来生成表格图像；以及实线转换单元，其将由所述表格图像生成单元生成的表格图像的每条格线转换为实线。

[7]根据本发明的另一方面，提供一种图像处理方法，包括：测量图像中的线段的长度；基于所测量的线段长度和所述线段的位置来评估每条线段；基于所测量的线段长度的相似性和所述线段的位置来评估每条线段；以及基于所评估的结果来判断每条线段是否为格线。

[8]根据第[7]项所述的图像处理方法，所述基于所测量的线段长度和所述线段的位置来评估每条线段的步骤可包括：基于包括在所述线段中的子线段在所述线段的位置处的像素累计数来评估每条线段。并且每条子线段可具有预定范围内的线段长度。

[9]根据第[7]项所述的图像处理方法，所述基于所测量的线段长度的相似性和所述线段的位置来评估每条线段的步骤可包括：基于包括在所述线段中的子线段的线段长度在所述线段的位置处的出现频率来评估每条线段。

[10]根据第[7]、或[8]或[9]项所述的图像处理方法，所述测量步骤可包括测量沿所述图像的竖直方向的线段长度和沿所述图像的水平方向的线段长度。所述每条线段的位置可表示所述线段沿所述图像的竖直方向的位置或所述线段沿所述图像的水平方向的位置。并且所述判断步骤可包括判断每条线段是否为沿竖直方向的格线，并且判断每条线段是否为沿水平方向的格线。

[11]根据第[7]、或[8]或[9]项所述的图像处理方法，所述图像处理方法还可包括：利用被判定为格线的每条线段来生成表格图像；以及将所生成的表格图像的每条格线转换为实线。

根据第[1]或[7]项，当分析例如包括点线和虚线作为格线的图像时，与使用标记技术相比，可以占用较少的计算机资源，并且可以防止将格线识别为字符。

根据第[2]或[8]项，与所述第一评估单元不进行下述处理：即，基于具有预定范围内的线段长度的线段在线段的每个位置处的像素累计数来评估线段的处理的结构相比，可以占用较少的计算机资源来分析图像。

根据第[3]或[9]项，与所述第二评估单元不进行下述处理：即，基于线段长度在线段的每个位置处的出现频率来评估线段的处理的结构相比，可以占用较少的计算机资源来分析图像。

根据第[4]或[10]项，与未提供此结构的情况相比，可以独立地分析沿竖直方向的格线和水平方向的格线。

根据第[5]、或[6]或[11]项，与未提供此结构的情况相比，可以将由诸如点线或虚线等格线构成的表格转换为由实格线构成的表格。

附图说明

基于以下各图对本发明的示例性实施例进行详细说明，其中：

图1是示出根据本发明示例性实施例的结构实例的概念模块图；

图2是示出根据本实施例的图像处理装置的总体结构实例的概念模块图；

图3是示出根据本实施例的处理实例的流程图；

图4是示出根据本实施例的表格区域图像实例的示图；

图5是示出黑色像素数的统计图实例的示图；

图6A和图6B是示出具有预定范围内的段长度的黑色像素数的统计图实例的示图；

图7A和7B是示出基于相似性评估结果而生成的曲线实例的示图；

图8A和8B是示出两种处理结果的合成实例的示图；

图9是示出从表格中提取格线的实例的示图；

图10是示出将表格中的点格线或虚格线转换成实格线的实例的示图；

图11A、11B、11C以及11D是示出当对由包括虚线在内的格线组成的表格实施实验时的实验结果实例的示图；

图12A、12B、12C以及12D是示出当对由包括点线在内的格线组成的表格实施实验时的实验结果实例的示图；

图13A、13B、13C以及13D是示出当对由实格线组成的表格实施实验时的实验结果实例的示图；以及

图14是示出实现本实施例的计算机的硬件结构实例的框图。

具体实施方式

在下文中，将参考附图来说明本发明的示例性实施例。

图1是示出根据本发明示例性实施例的结构实例的概念模块图。

通常，模块是指诸如软件(计算机程序)或硬件等在逻辑上可分离的部分。因此，根据本实施例的模块既指硬件构造模块也指计算机程序模块。因此，在本实施例中，将说明计算机程序、系统以及方法。在本实施例中，为了便于说明而使用“存储”、“使存储”以及与之等价的词语。当本实施例是计算机程序时，这些词语意指将信息存储在存储装置中，或者控制存储装置以便将信息存储在其中。模块与其功能基本上呈一一对应关系。然而，实际上，一个模块可以由一个程序组成，多个模块可以由一个程序组成，或者一个模块可以由多个程序组成。可以由一台计算机来执行多个模块，或者可以由处于分布式或并行环境中的多台计算机来执行一个模块。一个模块可以包括另一模块。另外，在以下说明中，术语“连接”既包括逻辑连接(例如数据的发送和接收、指示以及数据之间的参考关系)也包括物理连接。

此外，系统或装置可以包括通过诸如网络(包括一一对应关系的通信连接)等通信单元而相互连接的多台计算机、多个硬件组件或多个设备，或者可以包括单台计算机、单个硬件组件或单个设备。术语“设备”和“系统”用作同义词。术语“预定处理”意指目标处理之前的处理，并且术语“预定”意指“依照根据本实施例的处理开始前后的条件/状态而确定”或“依照直到那时之前的条件/状态而确定”。

根据本实施例的图像处理装置将由点格线或虚格线构成的表格图像转换成由实格线构成的表格图像。如图1所示，该图像处理装置包括段长度计数模块110、段评估模块120、格线判定模块130、格线图像生成模块140以及格线图像校正模块150。

段长度计数模块110与段评估模块120连接。段长度计数模块110测量图像中的段长度，并且将测量结果发送到段评估模块120。将二值图像用作对象，并且在表格图像中例如可以包括字符。

所述段意指线段。所述段长度意指沿着水平方向或竖直方向(扫描方向或副扫描方向)的线段的像素数。段的像素可以是黑色或白色。在本实施例的说明中，将黑色像素用作对象。因此，通过沿着水平方向或竖直方向扫描图像以对连续的黑色像素的数目进行计数来测量段长度。这样，可测量横线或竖线的长度。

段评估模块120与段长度计数模块110和格线判定模块130连接，并且包括段长度评估模块122和段相似性评估模块124。段评估模块120基于由段长度计数模块110测量的段长度来控制段长度评估模块122和段相似性评估模块124以生成根据段长度的分布来判定线段是否为形成表格的格线的数据。然后，段评估模块120将所生成的数据发送到格线判定模块130。

段长度评估模块122基于由段长度计数模块110测量的段长度和线段的位置来评估该线段。例如，段长度评估模块122可以基于在线段的每个位置具有预定范围内的段长度的线段的累计像素数来评估该线段。具体而言，计算在目标图像沿水平方向的位置处具有预定范围内的线段长度的竖线的黑色像素数(段长度总和)。所述预定范围例如意指小于阈值1或大于阈值2的范围，其中阈值1小于阈值2。这是因为计数的是短线段或长线段的黑色像素数，而其间的中间线段不是对象。计数的是形成点线或实线的线段的像素数，并不计算具有处于其间的中间长度的线的像素数。具有中间长度的线对应于例如形成字符或虚线的线段。例如，利用段相似性评估模块124提取格线上的虚线。另外，可以利用段长度评估模块122和段相似性评估模块124两者来提取格线上的点线。

这样，段长度评估模块122评估线段是格线的短线段还是格线的长线段。然后，段长度评估模块122将线段在每个位置的黑色像素的总数作为评估结果发送到格线判定模块130。另外，段长度评估模块122在目标图像沿竖直方向的位置进行与上述相同的处理。

段相似性评估模块124基于由段长度计数模块110测量的段长度的相似性(在本技术领域中包括“均一性”、“同一性”、“均质性”以及“均匀性”)和线段的位置来评估该线段。例如，段相似性评估模块124可以基于相似的段长度在线段的每个位置的出现频率来评估该线段。具体而言，段相似性评估模块124可以基于在目标图像沿水平方向或竖直方向的位置处具有预定范围内的段长度的线段的数目来评估线段。另外，段相似性评估模块124可以计算相似性指标，该相似性指标指示在目标图像沿水平方向或竖直方向的位置处具有相似长度的线段的出现频率。

例如，利用以下给出的公式1来计算相似性指标：

[公式1]

$\mathrm{RLU}\left(\mathrm{\θ}\right)=\frac{\underset{a}{\mathrm{\Σ}}{\left(\underset{R}{\mathrm{\Σ}}M(a,R;\mathrm{\θ})\right)}^2}{\underset{a}{\mathrm{\Σ}}\underset{R}{\mathrm{\Σ}}M(a,R;\mathrm{\θ})}$

其中，a表示像素密度，R表示段长度，θ表示扫描方向，并且M(x)表示出现频率。

当具有相似段长度的线段的出现频率高时，RLU(θ)(RLU：段长度均匀性)具有大值。另外，a表示像素密度。由于使用的是二值图像，因此a为1或0。在这种情况下，由于黑色像素的段长度是对象，因此a为1。R表示由段长度计数模块110测量的在沿水平方向的位置处的段长度。θ表示扫描方向。在这种情况下，θ为0(水平方向)或90(竖直方向)。M(x)表示出现频率。公式1是通常称为“段长度矩阵”的五个指标中之一。段长度矩阵用来分析二维图像。例如该段长度矩阵主要用于纹理结构分析和卫星照片分析。

这样，段相似性评估模块124评估线段是格线的点线还是格线的虚线。然后，段相似性评估模块124将在线段每个位置处所计算的相似性指标作为评估结果而发送到格线判定模块130。

格线判定模块130与段评估模块120和格线图像生成模块140连接。格线判定模块130基于由段长度评估模块122所获得的评估结果和由段相似性评估模块124所获得的评估结果来判断线段是否为格线。也就是说，如上所述，格线判定模块130接收由段长度评估模块122在每个位置所计算的线段的黑色像素数的总和和由段相似性评估模块124在线段的每个位置所计算的相似性指标，进而判断线段是否形成格线(线段是否为竖格线及线段是否为横格线)。然后，格线判定模块130将判定结果发送到格线图像生成模块140。

格线图像生成模块140与格线判定模块130和格线图像校正模块150连接。格线图像生成模块140使用被格线判定模块130判定为格线的线段来生成表格图像。然后，格线图像生成模块140将该表格图像发送到格线图像校正模块150。

被判定为格线的线段为横线或竖线，并且线段的类型例如包括实线、点线以及虚线。也就是说，例如，可从原始图像中去除字符，进而生成仅包括格线的图像。

格线图像校正模块150与格线图像生成模块140连接。格线图像校正模块150将由格线图像生成模块140生成的表格图像的格线转换成实线。也就是说，格线图像校正模块150例如将点线或虚线转换成实线以便于后续的图像分析(例如表格结构的分析)。例如，进行沿竖直或水平方向的拉伸，然后进行收缩。可以沿竖直和水平方向分别进行此处理。也就是说，沿着竖直方向拉伸被判定为竖格线的图像然后将其收缩。相似地，沿着水平方向拉伸被判定为横格线的图像，然后将其收缩。这样，例如，将点格线或虚格线转换为实线。

图2是示出根据本实施例的图像处理装置的总体结构实例的概念模块图。

该图像处理装置包括图像接收模块210、对象分离模块220、表格区域提取模块230、表格格线校正模块240、覆写模块250、字符识别模块260、信息构成模块270以及输出模块280。

图像接收模块210与对象分离模块220和覆写模块250连接。图像接收模块210接收图像并将该图像发送到对象分离模块220和覆写模块250。图像的接收包括读取例如来自扫描仪或照相机的图像、通过诸如传真等通信线路接收来自外部装置的图像以及读取例如存储在硬盘(包括设置在计算机中的硬盘和通过网络与计算机连接的硬盘)中的图像。该图像可以是二值图像或多值图像(彩色图像)。在多值图像的情况下，将多值图像二值化，随后将其转换成二值图像。可以接收一个图像或多个图像。该图像可以是诸如商用帐票等文档或广告宣传册，只要其包括表格即可。另外，图像接收模块210可以对所接收到的图像进行诸如消噪、或倾斜校正或归一化等预处理。

对象分离模块220与图像接收模块210、表格区域提取模块230以及信息构成模块270连接。对象分离模块220将由图像接收模块210接收到的图像分离成各对象(局部图像)。该对象至少包括表格区域。另外，该对象例如包括字符区域、图形区域以及照片区域。然后，对象分离模块220将分离结果发送到表格区域提取模块230，并且将区域构成信息(例如，所接收到的图像中每个区域的位置)发送到信息构成模块270。

通过从图像中提取被空白隔开的区域(局部图像)而将所接收到的图像分离成局部图像。分离局部图像的处理利用长度(或面积)等于或大于预定值的白色像素区域来隔开由图像接收模块210接收到的图像。当以这种方式将所接收到的图像隔开时，可以提取黑色像素区域(例如矩形)。另外，可以提取黑色像素区域的图像特征(例如面积、沿竖直或水平方向的尺寸、形状以及黑色像素区域的位置)，进而判断字符区域、图形区域、表格区域以及照片区域的类型。也可以使用其他的现有方法来提取局部图像。

表格区域提取模块230与对象分离模块220和表格格线校正模块240连接。表格区域提取模块230接收来自对象分离模块220的分离结果，并且从由图像接收模块210接收到的图像中提取表格区域的图像。然后，表格区域提取模块230将表格区域的图像发送到表格格线校正模块240。

表格格线校正模块240与表格区域提取模块230和覆写模块250连接。表格区域提取模块230由图1所示的模块构成。也就是说，表格格线校正模块240接收来自表格区域提取模块230的表格区域的图像，从表格区域的图像中的线段中提取形成表格的格线，将格线转换成实线，并且生成由实线构成的表格图像。然后，表格格线校正模块240将所生成的表格图像发送到覆写模块250。下面参照图3对此进行详细说明。

覆写模块250与图像接收模块210、表格格线校正模块240以及字符识别模块260连接。覆写模块250在由图像接收模块210接收到的图像上覆写由表格格线校正模块240生成的表格图像。然后，覆写模块250将其上覆写有表格图像的图像发送到字符识别模块260。表格图像的覆写使得可以获得通过将原始图像中的表格的点线或虚线转换成实线而形成的图像。因此，在后续处理中，由实线构成的表格是处理的对象。

字符识别模块260与覆写模块250和信息构成模块270连接。字符识别模块260对其上由覆写模块250覆写有表格图像的图像进行字符识别处理。在这种情况下，该字符识别处理可以是现有的字符识别处理。作为字符识别处理，例如，可以进行表格结构分析处理。例如，可以不加修改地使用现有的字符识别程序。在这种情况下，可以对由实格线构成的表格而不是由点格线构成的表格进行表格结构分析处理。然后，字符识别模块260将字符识别结果发送到信息构成模块270。

信息构成模块270与对象分离模块220、字符识别模块260以及输出模块280连接。信息构成模块270接收来自字符识别模块260的字符识别结果和来自对象分离模块220的区域构成信息，并且生成构成信息作为对图像的分析结果。例如，该构成信息包括指示字符串在图像中的位置、表格的结构以及表格的单元格中的字符串的类型的信息。然后，信息构成模块270将该构成信息发送到输出模块280。

输出模块280与信息构成模块270连接。输出模块280接收来自信息构成模块270的构成信息，将所接收到的构成信息转换成页面信息，并且输出该页面信息。该页面信息例如包括诸如XML(可扩展标记语言)等格式。另外，该输出例如包括将信息存储在文档数据库中和将信息发送到诸如翻译处理装置等另一信息处理装置。另外，该输出可以包括利用诸如打印机等打印装置打印图像以便指示图像的誊清稿、例如在显示装置上显示图像以及从诸如传真机等图像发送装置发送图像。

图3是示出根据本实施例的处理实例的流程图。该流程图示出了由图2所示的表格格线校正模块240进行的处理实例和由图1所示的模块进行的处理实例。

在步骤S302中，表格格线校正模块240接收来自表格区域提取模块230的表格区域图像。对同一图像进行步骤S310中的横格线(沿水平方向的格线)处理和步骤S350中的竖格线(沿竖直方向的格线)处理。

例如，对图4所示的表格区域图像400进行处理。表格区域图像400包括由横格线420～424和竖格线430～440构成的表格410。另外，如图4所示，在表格410的每个单元格中写入字符。当在表格区域图像400中在每个位置(水平方向)对沿竖直方向的黑色像素数进行计数时，得到图5所示的统计图。难以利用阈值根据波形来分离格线与其他部分(其中具有字符的部分)。如图5所示，这是因为点线部分和虚线部分中的格线的黑色像素数无法与字符部分中的黑色像素数区别开。

在步骤S310中，段长度计数模块110沿着水平方向测量每段的段长度。

在步骤S312中，段长度评估模块122提取段长度小于阈值1H或大于阈值2H的段(run＜th1H或run＞th2H)，其中th1H＜th2H。

在步骤S314中，段长度评估模块122在每个位置对在步骤S312中提取的段的黑色像素数进行计数。术语‘每个位置’意指当沿着水平方向投影目标段时的每个位置。例如，图6A所示的纵轴上的统计图对应于每个位置。该统计图表示段长度小于阈值1H或大于阈值2H的段的黑色像素数的累计数。

在步骤S316中，格线判定模块130判断在步骤S314中计数的黑色像素数是否大于阈值4H。如果判定黑色像素数大于阈值4H(判断结果为肯定)，则处理转入步骤S322。如果判定黑色像素数不大于阈值4H(判断结果为否定)，则处理转入步骤S324。例如，在图6A中，存在分别对应于横格线420、422以及424的黑色像素数大于阈值4H的三个部分(投影波形621、622以及623)。

在步骤S318中，段相似性评估模块124计算各段沿水平方向的相似性。该计算结果例如对应于图7A所示的曲线。通过在沿水平方向的各位置处(在纵轴上)标绘用公式1计算出的值而得到该曲线。

在步骤S320中，格线判定模块130判断步骤S318中的RLU是否大于阈值3H。如果判定RLU大于阈值3H(判断结果为肯定)，则处理转入步骤S322。如果判定RLU不大于阈值3H(判断结果为否定)，则处理转入步骤S324。例如，在图7A中，不存在大于阈值3H的部分。

在步骤S322中，当步骤S316或步骤S320中的判断结果为肯定时，格线图像生成模块140允许保留沿目标表格区域图像的水平方向的像素。在图6A中，保留投影波形621、622以及623。在图7A中，不存在保留部分。因此，当步骤S322结束时，在表格区域图像400中保留投影波形621、622以及623。

在步骤S324中，当步骤S316或步骤S320中的判断结果为否定时，格线图像生成模块140从目标表格区域图像中去除沿水平方向的像素。在图6A中，去除除了投影波形621、622以及623之外的其他部分。在图7A中，去除所有部分。因此，当步骤S324结束时，从表格区域图像400中去除除了投影波形621、622以及623之外的其他部分。

在步骤S326中，格线图像生成模块140根据在步骤S322中保留的图像和在步骤S324中去除的图像而生成其中仅保留作为格线的横线的掩模图像(mask image)。另外，如图8A所示，可以根据图6A所示的实例与图7A所示的实例的组合来生成掩模图像。

在步骤S350中，段长度计数模块110沿着竖直方向测量每段的段长度。

在步骤S352中，段长度评估模块122提取段长度小于阈值1V或大于阈值2V的段(run＜th1V或run＞th2V)，其中th1V＜th2V。

在步骤S354中，段长度评估模块122在每个位置对在步骤S352中提取的段的黑色像素数进行计数。术语“每个位置”意指当沿着竖直方向投影目标段时的每个位置。例如，图6B所示的横轴上的统计图对应于每个位置。该统计图表示段长度小于阈值1V或大于阈值2V的段的黑色像素数的累计数。

在步骤S356中，格线判定模块130判断在步骤S354中计数的黑色像素数是否大于阈值4V。如果判定黑色像素数大于阈值4V(判断结果为肯定)，则处理转入步骤S362。如果判定黑色像素数不大于阈值4V(判断结果为否定)，则处理转入步骤S364。例如，在图6B中，存在分别对应于竖格线430、432、434以及440的黑色像素数大于阈值4V的四个部分(投影波形611、612、613以及614)。

在步骤S358中，段相似性评估模块124计算各段沿竖直方向的相似性。该计算结果例如对应于图7B所示的曲线。通过在沿竖直方向的各位置处(在横轴上)标绘用公式1计算出的值而得到该曲线。

在步骤S360中，格线判定模块130判断步骤S358中的RLU是否大于阈值3V。如果判定RLU大于阈值3V(判断结果为肯定)，则处理转入步骤S362。如果判定RLU不大于阈值3V(判断结果为否定)，则处理转入步骤S364。例如，如图7B所示，存在分别对应于竖格线434、436以及438的大于阈值3V的三个部分(投影波形711、712以及713)。

在步骤S362中，当步骤S356或步骤S360中的判断结果为肯定时，格线图像生成模块140允许保留沿目标表格区域图像的竖直方向的像素。在图6B中，保留投影波形611、612、613以及614。在图7B中，保留投影波形711、712以及713。因此，当步骤S362结束时，在表格区域图像400中保留投影波形611、612、613(711)、712、713以及614。

在步骤S364中，当步骤S356或步骤S360中的判断结果为否定时，格线图像生成模块140从目标表格区域图像中去除沿竖直方向的像素。在图6B中，去除除了投影波形611、612、613以及614之外的其他部分。在图7B中，去除除了投影波形711、712以及713之外的其他部分。因此，当步骤S364结束时，从表格区域图像400中去除除了投影波形611、612、613(711)、712、173以及614之外的其他部分。

在步骤S366中，格线图像生成模块140根据在步骤S362中保留的图像和在步骤S364中去除的图像而生成其中仅保留作为格线的竖线的掩模图像。另外，如图8B所示，可以根据图6B所示的实例与图7B所示的实例的组合来生成掩模图像。

在从步骤S310到步骤S326的处理中，阈值1H、阈值2H、阈值3H以及阈值4H针对横格线。从步骤S350到步骤S366的处理中所使用的阈值1V、阈值2V、阈值3V以及阈值4V针对竖格线，并且可以与针对横格线的那些阈值具有相同的数值或不同的数值。

在步骤S380中，格线图像生成模块140合成仅由在步骤S326中生成的作为格线的横线构成的图像与由在步骤S366中生成的作为格线的竖线构成的图像。例如，图4所示的表格410变为图9所示的表格。也就是说，从图4所示的表格410中去除字符，并且提取仅由格线构成的表格410。

在步骤S382中，格线图像校正模块150进行拉伸、收缩处理以便将点线和虚线转换成实线。例如，图9所示的表格410变为图10所示的表格410。也就是说，从图4所示的表格410中去除字符，并且生成由实格线构成的表格1010。

图11A～11D是示出当对由包括虚线在内的格线构成的表格实施实验时(提取竖格线的处理)的实验结果实例的示图。图11A所示的表格1100是处理对象。图11B简略示出了黑色像素的统计图。从图11B可以看出，仅利用阈值难以将虚线与字符区别开。通过沿着竖直方向投影段长度小于阈值1V或大于阈值2V的段的黑色像素数而得到图11C所示的统计图(对应于图6B)。在该统计图中，仅突显出实线部分。图11D所示的曲线示出了利用公式1计算的各段的相似性的实例(对应于图7B)。在该曲线中，仅突显出虚线部分。

图12A～12D是示出当对由包括点线在内的格线构成的表格实施实验时(提取竖格线的处理)的实验结果实例的示图。图12A所示的表格1200是处理对象。图12B简略示出了黑色像素的统计图。从图12B可以看出，仅利用阈值难以将点线与字符区别开。通过沿着竖直方向投影段长度小于阈值1V或大于阈值2V的段的黑色像素数而得到图12C所示的统计图(对应于图6B)。在该统计图中，突显出实线部分和点线部分。图12D所示的曲线示出了利用公式1计算的各段的相似性的实例(对应于图7B)。在该曲线中，仅突显出点线部分。

图13A～13D是示出当对由实格线构成的表格实施实验时(提取竖格线的处理)的实验结果实例的示图。图13A所示的表格1300是处理对象。图13B简略示出了黑色像素的统计图。通过沿着竖直方向投影段长度小于阈值1V或大于阈值2V的段的黑色像素数而得到图13C所示的统计图(对应于图6B)。在该统计图中，仅突显出实线部分。图13D所示的曲线示出了利用公式1计算的各段的相似性的实例(对应于图7B)。从该曲线可以看出，不突显出任何部分。图13D所示的范围不同于图11D所示的范围，并且图13D示出的范围扩大化。

接下来，将参考图14说明根据本实施例的图像处理装置的硬件结构实例。图14所示的硬件结构例如由个人计算机(PC)构成，并且包括诸如扫描仪等数据读取单元1417和诸如打印机等数据输出单元1418。

CPU(中央处理单元)1401是根据计算机程序来进行处理的控制单元，在该计算机程序中记载有用于执行根据上述实施例的各种模块，即段长度计数模块110、段评估模块120、格线判定模块130、格线图像生成模块140、格线图像校正模块150、对象分离模块220以及表格区域提取模块230的序列。

ROM(只读存储器)1402存储有CPU 1401所使用的程序或运算参数。RAM(随机存取存储器)1403例如存储有在CPU 1401的执行过程中所使用的程序或在执行过程中适当改变的参数。ROM1402与RAM 1403通过诸如CPU总线等主机总线1404而相互连接。

主机总线1404通过桥接器1405而与诸如PCI(外围部件互连/接口)等外部总线1406连接。

键盘1408和诸如鼠标等指针设备1409是操作者操作的输入设备。显示器1410例如是液晶显示设备或CRT(阴极射线管)，并且将各种信息项显示为文本或图像信息。

HDD(硬盘驱动器)1411在其中设置有硬盘，并且驱动硬盘以便记录或复制由CPU 1401执行的程序或信息。该硬盘例如存储有由图像接收模块210接收到的图像和由表格格线校正模块240校正的表格图像。另外，该硬盘存储有诸如各种数据处理程序等各种计算机程序。

驱动器1412读取插入其中的诸如磁盘、光盘、磁光盘或半导体存储器等可移动记录介质1413上所记录的数据或程序，并且将所读取的数据或程序提供给通过接口1407、外部总线1406、桥接器1405以及主机总线1404而与驱动器1412连接的RAM 1403。类似于硬盘，可以将可移动记录介质1413用作数据记录区域。

连接端口1414用于与外部连接设备1415连接并且包括诸如USB和IEEE 1394等连接单元。连接端口1414通过接口1407、外部总线1406、桥接器1405以及主机总线1404而与CPU1401连接。通信单元1416与网络连接并且与外部进行数据通信。数据读取单元1417例如是扫描仪并且进行读取文档的处理。数据输出单元1418例如是打印机并且进行输出文档数据的处理。

图14所示的图像处理装置的硬件构造仅仅是实例。本实施例不限于图14所示的构造，而是可以具有任意构造，只要该构造能够执行上述模块即可。例如，可以通过专用硬件部件(例如特定用途集成电路(ASIC))来实现某些模块。可以将某些模块设置在外部系统中并且通过通信线路而与图像处理装置连接。图14所示的多个系统可以通过通信线路而相互连接以便相互协作。可以将某些模块集成到复印机、传真机、扫描仪、打印机或多功能机(具有扫描仪、打印机、复印机以及传真机中的两种或两种以上功能的图像处理装置)中。

在上述实施例中，给出点线和虚线作为被切断格线的实例。然而，例如，可以使用单点划线或双点划线作为格线。

在图3所示的流程图中，将步骤S302分为步骤S310和步骤S350。然而，可以进行步骤S310～S326的处理，并且可以将所接收到的图像旋转90度。然后，可以再次进行步骤S310～S326的处理。

可以将上述程序存储在记录介质中并随后提供上述程序，或者可以通过通信单元来提供该程序。在这种情况下，例如，可以将上述程序实现为“其上记录有程序的计算机可读记录介质”。

所述“其上记录有程序的计算机可读记录介质”意指在其上记录有程序并且用于安装、执行以及分发程序的计算机可读记录介质。

记录介质的实例包括：诸如由DVD论坛会议来制定其标准的“DVD-R、DVD-RW以及DVD-RAM”和其标准被制定为DVD+RW的“DVD+R和DVD+RW”等的数字化通用光盘(DVD)；诸如只读存储器(CD-ROM)、可记录CD(CD-R)以及可重写CD(CD-RW)等的致密光盘(CD)；蓝光盘(注册商标)；磁光盘(MO)；软盘(FD)；磁带；硬盘；只读存储器(ROM)；电可擦除可编程只读存储器(EEPROM)；闪存；以及随机存取存储器(RAM)。

可以将上述程序或一部分程序记录在记录介质上，随后可以保存或分发该记录介质。可以通过使用诸如有线通信网络、无线通信网络或其组合等传输介质进行通信来发送该程序或一部分程序。有线通信网络的实例包括局域网(LAN)、城域网(MAN)、广域网(WAN)、国际互联网、内联网以及外联网。另外，可以将该程序或一部分程序载到载波上来进行传输。

所述程序可以是另一程序的一部分，或者可以将所述程序连同另一程序一起记录在记录介质上。可以将该程序以分开的方式记录在多个记录介质上。可以通过诸如压缩或加密等任何方法来记录该程序，只要可将该程序恢复即可。

出于解释和说明的目的提供了本发明的示例性实施例的前述说明。其本意并不是穷举或将本发明限制为所公开的确切形式。显然，对于本技术领域的技术人员可以进行许多修改和变型。选择和说明该示例性实施例是为了更好地解释本发明的原理及其实际应用，因此使得本技术领域的其他技术人员能够理解本发明所适用的各种实施例并预见到适合于特定应用的各种修改。目的在于通过所附权利要求及其等同内容限定本发明的范围。

Claims (11)

1.一种图像处理装置，包括：

测量单元，其测量图像中的线段的长度；

第一评估单元，其基于由所述测量单元测量的线段长度和所述线段的位置来评估每条线段；

第二评估单元，其基于由所述测量单元测量的线段长度的相似性和所述线段的位置来评估每条线段；以及

判定单元，其基于由所述第一评估单元获得的评估结果和由所述第二评估单元获得的评估结果来判断每条线段是否为格线。

2.如权利要求1所述的图像处理装置，其中，

所述第一评估单元基于包括在所述线段中的子线段在所述线段的位置处的像素累计数来评估每条线段，并且

每条子线段具有预定范围内的线段长度。

3.如权利要求1所述的图像处理装置，其中，

所述第二评估单元基于包括在所述线段中的子线段的线段长度在所述线段的位置处的出现频率来评估每条线段。

4.如权利要求1～3中任一项所述的图像处理装置，其中，

所述测量单元测量沿所述图像的竖直方向的线段长度和沿所述图像的水平方向的线段长度，

所述每条线段的位置表示所述线段沿所述图像的竖直方向的位置或所述线段沿所述图像的水平方向的位置，并且

所述判定单元判断每条线段是否为沿竖直方向的格线，并且判断每条线段是否为沿水平方向的格线。

5.如权利要求1～3中任一项所述的图像处理装置，还包括：

表格图像生成单元，其利用被所述判定单元判定为格线的每条线段来生成表格图像；以及

实线转换单元，其将由所述表格图像生成单元生成的表格图像的每条格线转换为实线。

6.如权利要求4所述的图像处理装置，还包括：

表格图像生成单元，其利用被所述判定单元判定为格线的每条线段来生成表格图像；以及

实线转换单元，其将由所述表格图像生成单元生成的表格图像的每条格线转换为实线。

7.一种图像处理方法，包括：

测量图像中的线段的长度；

基于所测量的线段长度和所述线段的位置来评估每条线段；

基于所测量的线段长度的相似性和所述线段的位置来评估每条线段；以及

基于所评估的结果来判断每条线段是否为格线。

8.如权利要求7所述的图像处理方法，其中，

所述基于所测量的线段长度和所述线段的位置来评估每条线段的步骤包括：基于包括在所述线段中的子线段在所述线段的位置处的像素累计数来评估每条线段，并且

每条子线段具有预定范围内的线段长度。

9.如权利要求7所述的图像处理方法，其中，

所述基于所测量的线段长度的相似性和所述线段的位置来评估每条线段的步骤包括：基于包括在所述线段中的子线段的线段长度在所述线段的位置处的出现频率来评估每条线段。

10.如权利要求7～9中任一项所述的图像处理方法，其中，

所述测量步骤包括测量沿所述图像的竖直方向的线段长度和沿所述图像的水平方向的线段长度，

所述每条线段的位置表示所述线段沿所述图像的竖直方向的位置或所述线段沿所述图像的水平方向的位置，并且

所述判断步骤包括判断每条线段是否为沿竖直方向的格线，并且判断每条线段是否为沿水平方向的格线。

11.如权利要求7～9中任一项所述的图像处理方法，还包括：

利用被判定为格线的每条线段来生成表格图像；以及

将所生成的表格图像的每条格线转换为实线。

Images