CN101944179B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供了以对于电子文档的许多目的为最佳的格式规范生成电子文档的图像处理装置和图像处理方法。根据输入图像判别表区域，并分析表区域中的表结构。对所分析的表结构进行关于是否能够以该格式表示各格线的表线判断，并且根据该判断结果创建格线信息和矢量线对象。所创建的格线信息和矢量线对象用于生成电子文档。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及用于存储文档图像处理的结果的方法。 

背景技术

近年来，诸如互联网的网络广泛普及，因此，通常以电子的方式分发文档；然而，经常分发打印有电子文档的纸。已考虑如下技术：即使当仅可得到纸文档时，也可以从该纸获取纸文档的内容作为可再用的数据。例如，在日本特开平11-167532(1999)号公报中，公开了这样一种技术：将文档图像从终端发送至服务器，并且将在服务器上识别出的该文档图像的数据转换成可再用的格式并发送回至终端。此外，在日本特开2005-346137号公报中，公开了这样一种技术：将文档图像分成与对象的类型相对应的区域，并且可以单独输出数据。 

当将通过扫描纸文档所产生的文档图像转换成电子文档时，用户希望再使用的数据格式根据环境而不同，但希望对文档图像的对象进行布置以使用户容易利用各个对象。例如，对于希望作为表编辑并使用文档图像中的表的用户，希望将该表布置在电子文档上，以使得可以将该表作为表对象进行编辑。对于希望重印表并作为纸文档使用该表的用户，期望对该表进行布置，以使得根据文档图像尽可能精确地再现诸如表线的视觉信息。然而，当将图像上的表转换成表对象时，根据电子文档的格式的规范，可能不能完整再现文档图像的表线。为了再现表的视觉信息，可以使用日本特开2005-346137号公报中所公开的方法来作为矢量对象绘制表；然而，以这种方式，用户不能将该表作为表进行编辑，例如，不能添加或去除行。如上所 述，诸如在用户希望将该表作为表进行编辑的情况下以及在用户希望打印或显示表以使用该表的情况下，最佳格式的规范根据目的而不同。因此，难以生成对于电子文档的许多目的均为最佳的格式规范的电子文档。 

发明内容

根据本发明，提供一种图像处理装置，用于根据所输入的图像生成具有预定的格式的电子文档，所述图像处理装置包括：区域判别单元，用于分析所述图像并判别表区域；表结构分析单元，用于分析所判别出的表区域中的表结构和格线，并创建包括与表的单元格有关的信息的表结构信息；判断单元，用于判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的边表示为表的格线；用于根据被判断为能够表示为格线的边、创建要根据所述格式表示的格线信息的单元；用于通过对被判断为不能表示为格线的边进行矢量转换处理、创建矢量线对象的单元；以及电子文档生成单元，用于根据所创建的表结构信息、所创建的格线信息和所创建的矢量线对象，生成所述电子文档。 

根据本发明，提供一种图像处理方法，用于根据所输入的图像生成具有预定的格式的电子文档，所述图像处理方法包括：区域判别步骤，用于分析所述图像并判别表区域；表结构分析步骤，用于分析所判别出的表区域中的表结构和格线，并创建包括与表的单元格有关的信息的表结构信息；判断步骤，用于判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的边表示为表的格线；用于根据被判断为能够表示为格线的边、创建要根据所述格式表示的格线信息的步骤；用于通过对被判断为不能表示为格线的边进行矢量转换处理、创建矢量 线对象的步骤；电子文档生成步骤，用于根据所创建的表结构信息、所创建的格线信息和所创建的矢量线对象，生成所述电子文档。 

根据本发明，提供了生成对于电子文档的多个目的均为最佳的格式规范的电子文档的图像处理装置和图像处理方法。 

根据以下参考附图对示例性实施例的描述，本发明的其他特征将变得显而易见。 

附图说明

图1是示出根据本发明的实施例的系统的配置示例的图； 

图2是示出在该实施例中的图像处理装置的操作的图； 

图3是示出在该实施例中的表结构信息的图； 

图4是示出在该实施例中的表线判断处理的流程图； 

图5是示出在该实施例中的表线生成处理的流程图； 

图6是示出在该实施例中的输入图像的示例的图； 

图7是示出在该实施例中的表结构信息分析的结果示例的图； 

图8是示出在该实施例中的字符区域中的字符识别的结果的示例的图； 

图9是示出在该实施例中要转换的工作薄文档的规范的示例的图； 

图10是示出在该实施例中转换后的工作薄文档的示例的图； 

图11是示出在该实施例中在显示/编辑程序中显示工作薄文档的示例的图； 

图12是示出在另一实施例中利用显示/编辑程序编辑工作薄文档的示例的图； 

图13是示出在另一实施例中的输入图像的示例的图； 

图14是示出在另一实施例中要转换的工作薄文档的规范的示例的图； 

图15是示出在另一实施例中的表线判断处理的流程图；以及 

图16是示出在另一实施例中在显示/编辑程序中显示工作薄文档的示例的图。 

具体实施方式

以下，将参考附图详细描述本发明的优选实施例。然而，本发明的范围并不限于这些实施例。 

实施例1

图1是示出在实施例1中所使用的系统的配置的示例的图。附图标记100表示实现本发明的图像处理装置的配置的示例。图像处理装置100包括扫描器101、CPU 102、存储器103、硬盘104和网络I/F 105。扫描器101是用于将已读取的文档的纸上的信息转换成图像数据的读取装置。CPU 102是用于执行电子文档生成程序的处理器，其中，该电子文档生成程序用于对图像数据进行本发明的处理。存储器103用于例如当执行从硬盘104等读取的程序时临时存储工作存储器或数据。硬盘104是用于存储诸如电子文档生成程序的程序和数据的存储装置。网络I/F 105是用于与外部装置交换数据的接口。个人计算机(PC)120是通过诸如LAN 110的网络连接至图像处理装置100、并且接收从图像处理装置发送来的数据的终端装置。PC 102可以执行允许在屏幕上显示并编辑所接收到的电子文档的显示/编辑程序121。 

图2是示出在实施例1中的图像处理装置100的操作的图。通过CPU 102执行电子文档生成程序来实现图2中所示的各类处 理，但可以通过电路来实现一部分或整个处理。 

附图标记200表示从扫描器101输入的输入图像。附图标记210表示用于根据输入图像200生成电子文档的电子文档生成部。工作薄文档220是由电子文档生成部210生成的电子文档。针对工作薄文档220定义预定格式规范。下文将描述格式规范的示例。应注意，在该实施例中的工作薄文档的格式是在电子表格软件(例如，Microsoft Office Excel)中可使用的一种电子表格，但不限于此。 

框211至216示意性地表示由电子文档生成部210进行的各类处理。 

附图标记211表示区域判别部，该区域判别部用于分析已输入的文档图像并提取诸如字符、表和自然图像的区域。附图标记212表示表结构分析部，该表结构分析部用于分析从区域判别部211提取的表区域上的表结构和格线，并创建表结构信息。 

图3是以树的形式示出从表结构分析部212获得的表结构信息的图。在该表结构信息中，树结构由行和表的最小构成单位单元格形成，其中，单元格是通过将行分成列所获得的。单元格具有数据、矩形和格线的信息作为子元素。数据存储通过识别单元格内的字符所获得的结果。矩形由位置x和y以及尺寸w和h形成，并且存储单元格在文档内的坐标。格线是围绕单元格的线边界的信息，并且由上边、下边、左边和右边形成；这些边具有线类型信息和线颜色信息，其中，该线类型信息是线厚度和图样(pattern)信息。角各自由左上、右上、右下和左下形成，并且存储角的曲率的信息。图3所示的信息保存方法是一个示例；可以反转将行分成列的方法，并且可以以除了树结构外的任何结构形成表结构的信息。 

图2所示的附图标记213表示对从表结构分析部212提取的 字符区域进行字符识别的字符识别部。将通过该识别获得的结果存储在表结构信息的单元格元素内的数据中。附图标记214表示表线判断部，该表线判断部用于对照要转换的工作薄文档的格式规范来检查表线，并且判断是否可以将表线表示为单元格的边界线。 

附图标记215表示用于创建表的格线信息的表线生成部，并且创建由表线判断部214判断为不能绘制为单元格的边界线的表线的矢量线对象，并将该矢量线对象布置在适当位置。附图标记216表示工作薄文档转换部(电子文档生成部)，该工作薄文档转换部用于将字符识别数据、矢量线对象和单元格的边界线信息转换成工作薄文档220的格式。 

由工作薄文档生成部210生成的工作薄文档220具有表格221，并且可以通过由PC 120保存的显示/编辑程序121进行编辑和显示。表格221是以工作薄文档内的页为单位的表格的数据，并且包括表信息222和格线矢量信息223。 

以下，将参考图4的流程图描述表线判断部214的示例。 

在步骤S401，从由表结构分析部212提取的表结构树的单元格元素中选择未经过表线判断处理的单元格区域。在步骤S402，准备用于判断是否矢量化单元格的边元素的矢量化标记，并且将该矢量化标记设置为假。将矢量化标记中设置的信息存储在诸如存储器103和硬盘104的存储部中。这同样适用于通过进行下文描述的各类处理获得的结果的信息。在步骤S403，示出对所有的{边，邻边}即{上，右}、{右，下}、{下，左}和{左，上}进行重复处理的重复开端。邻边是指在顺时针方向上接合关注边的边。在步骤S404，判断边和邻边接合在一起的角的曲率是否落入要转换的工作薄文档的格式规范的范围内。如果该曲率落入该范围内，则处理进入步骤S405，而如果 该曲率落在该范围之外，则处理进入步骤S408。在步骤S405，判断边的线颜色是否落入要转换的工作薄文档的格式规范的范围内。如果该线颜色落入该范围内，则处理进入步骤S406，而如果该线颜色落在该范围之外，则处理进入步骤S409。在步骤S406，判断边的线类型是否落入要转换的工作薄文档的格式规范的范围内。如果该线类型落入该范围内，则处理进入步骤S407，而如果该线类型落在该范围之外，则处理进入步骤S409。步骤S407是从步骤S403开始的重复的结束。如果{边，邻边}是{左，上}，则重复完成，并且处理进入步骤S410，而如果不是，则处理进入步骤S403。在步骤S408，将边和邻边的矢量化标记设置为真，并且处理进入步骤S407。在步骤S409，将边的矢量化标记设置为真，并且处理进入步骤S407。在步骤S410，判断是否存在未处理的单元格。如果不存在未处理的单元格，则处理完成，而如果存在未处理的单元格，则处理进入步骤S401。 

通过图4所示的上述处理，表线判断部214判断边和邻边接合在一起的角的曲率、边的线颜色和边的线类型是否落入要转换的工作薄文档的格式规范的范围内。如果判断为它们未落入格式规范的范围内，即，如果判断为根据格式规范不能表示该边，则将该边的矢量化标记设置为真。用于判断是否能够表示该边的方法并不限于该方法；还可以基于格式规范的属性进行判断。 

以下，将参考图5的流程图描述由表线生成部215进行的处理的示例。 

在步骤S501，从由表结构分析部212提取的表结构信息的单元格信息中选择未经过表线生成处理的单元格区域。在步骤S502，示出对一个单元格区域的上边、右边、下边和左边重复进行处理的重复开端。在步骤S503，判断是否已对边进行格线 生成处理。如果未进行格线生成处理，则处理进入步骤S504，而如果已进行格线生成处理，则处理进入步骤S508。在步骤S504，判断由表线判断部214添加的矢量化标记为真还是为假。如果该标记为真，则处理进入步骤S505，而如果该标记为假，则处理进入步骤S509。在步骤S505，进行用于联结邻边的矢量化边的处理。如果邻边的矢量化标记为真，则联结矢量化边，并且如果剩余平行边的矢量化标记为真，则进一步进行联结。如果邻边都为假，则不将这些边联结在一起。在步骤S506，对在步骤S505中所联结的矢量化边进行矢量化处理。也就是说，对所输入的文档图像中的目标线区域进行矢量转换处理，以生成矢量线对象作为表线信息。在步骤S507，将在步骤S506所创建的矢量线对象布置在单元格上。将单元格布置在如下位置：矢量线对象的外接矩形左上点坐标和外接矩形右下点坐标与对应于矢量线对象的单元格的左上坐标的相对位置和该单元格的右下坐标的相对位置一致。也就是说，创建将矢量线对象布置在表区域的相对坐标中的表线信息。步骤S508示出从步骤S502开始的重复的结束。如果边为左边(即，如果对一个单元格区域的所有上边、右边、下边和左边完成处理)，则处理进入步骤S510，而如果没有完成处理，则处理进入步骤S502。在步骤S509，使用要转换的文档格式的单元格的格线的规范，根据表结构信息中的曲率、线类型和线颜色的信息，将单元格的边界线信息设置为表线信息。在步骤S510，判断是否存在未进行表线生成处理的单元格。如果存在未处理的单元格，则处理进入步骤S501，而如果不存在未处理的单元格，则处理完成。 

通过图5中所示的上述处理，联结矢量化标记为真的邻边，并因此进行矢量化处理，并且创建将所创建的矢量线对象布置在单元格上(即，在表区域的相对位置中)的表线信息。对于矢 量化标记为假的边，使用文档格式的单元格的格线的规范(能够以文档中的表的格式表示的格线)创建设置了单元格的边界线信息的表线信息。 

作为输入图像200的示例，以下将描述工作薄文档生成部210将图6所示的图像600转换成其本身格式的工作薄文档220的处理示例。 

区域判别部211首先使用已知的图像分析处理来提取输入图像中的字符区域和表区域。例如，在日本特开2004-086436号公报中提出了一个区域判别处理的示例。美国专利第5,680,478号的说明书公开了提取文档图像中的黑像素与白像素的集合，并且基于该集合的形状、大小和状态等，提取诸如字符、图片和图画、表、框和线的特征区域。还存在这样一种方法：在不使用区域判别处理的情况下，使用游程长度方法等从图像中提取原始线信息。 

在图像600的示例中，假设提取由虚线围绕的区域601作为表区域，以及提取区域602、603、604、605和606作为字符区域。 

然后，表结构分析部212使用已知的表结构分析技术来提取关于表内的行、列的结构、格线的线颜色和线类型、角部的曲率等的信息。在例如日本特开2004-086436号公报中提出了一个表结构分析技术的示例。日本特开2004-086436号公报公开了，基于从两个方向上的各边缘确定的直方图，从表区域内的白像素块的边界附近获取格线信息。 

图7是在表中示出由表结构分析部212提取的信息的示例的图。单元格1-1表示从左上角起的第一行第一列的单元格。示出了在该单元格的外接矩形中，左上坐标是(100，200)(左上原点，单位像素)，尺寸是(200，70)(宽度，高度，单位像素)。示出了在该单元格的各边中，所有边的线颜色是12位RGB的#000(黑 色)，并且所有边的线类型为1。示出了在该单元格的曲率中，左上角部的曲率为1/30(1/像素)，并且其他角部的曲率为∞(曲率的半径为零)。 

这里，线类型的信息由格线图样的显示区域和非显示区域的长度相对于厚度的图样的重复来表示。例如，当线类型为1时，仅示出显示区域中的实线；当线类型是1-1时，示出重复显示区域和宽度与厚度相同的非显示区域的虚线。用于存储线类型的图样信息的方法是一个示例；可以通过其他方法存储该信息。 

单元格1-2表示从左上角起的第一行第二列的单元格。该单元格表示提取了这样的单元格信息：单元格的外接矩形的左上坐标为(300，200)，尺寸为(400，70)，所有边的线颜色为#000(黑色)，所有边的线类型为实线，右上角部的曲率为1/30，并且其他角部的曲率为∞(曲率的半径为零)。 

单元格2-1表示从左上角起的第二行第一列的单元格。该单元格表示提取了这样的单元格信息：单元格的外接矩形的左上坐标为(100，270)，尺寸为(200，70)，所有边的线颜色为#000(黑色)，所有边的线类型为实线，左下角部的曲率为1/30，并且其他角部的曲率为∞(曲率的半径为零)。 

单元格2-2表示从左上角起的第二行第二列的单元格。该单元格表示提取了这样的单元格信息；单元格的外接矩形的左上坐标为(300，270)，尺寸为(400，70)，所有边的线颜色为#000(黑色)，所有边的线类型为实线，右下角部的曲率为1/30，并且其他角部的曲率为∞(曲率的半径为零)。 

字符识别部213使用已知的字符识别技术来识别各字符区域内的字符，并且连同字符大小一起生成字符码数据和OCR显示数据。将简要描述字符识别处理的示例。该描述仅是一个示 例；可以使用其他方法。 

在字符识别处理中，首先判断在字符区域中写入方向是水平方向还是垂直方向，即，判断行的方向。这样做的一种方式是，对图像进行二值化，获取垂直方向和水平方向上的投影，并且将投影分散低的方向判断为行方向。然后，将图像分成各个字符图像。优选地，通过进行以下处理将图像分成字符图像：通过使用二值图像在行方向上的投影来找到要切割的线空间；从而，将图像分成行图像；而且，通过使用行和垂直方向上的投影来找到要切割的行图像的字符空间。然后，获得各字符图像的特征，从预先存储所有类型字符的特征的字典中搜索最接近于该特征的特征信息，并且作为识别的结果，获得由字典表示的字符码。可以作为在识别各个字符时所获取的字符的大小的平均值，获得字符的大小；也可以使用其他方法。 

图8是在表中示出图6的示例中由区域判别部211和字符识别部213进行的处理的结果的示例。在该示例中，作为字符识别部的识别结果，从区域602、603、604、605和606中分别提取字符串“ApplicationForm”、“ID”、“1234567”、“name”和“Maruko Taro”。 

由于区域603在图7所示的单元格1-1内，所以将区域603作为单元格1-1的数据来存储。由于区域604在单元格1-2内，所以将区域604作为单元格1-2的数据来存储。由于区域605在单元格2-1内，所以将区域605作为单元格2-1的数据来存储。由于区域606在单元格2-2内，所以将区域606作为单元格2-2的数据来存储。 

将参考图4的流程图来描述表线判断部214的处理。 

在步骤S401，选择单元格1-1作为未经过格线判断的单元格。在步骤402，将矢量化标记定义为单元格1-1的上边、下边、 左边和右边的信息，并且针对上边、下边、左边和右边中的每一边设置假信息。在步骤S403，将上的值代入边的变量，将右的值代入邻边的变量，并因而开始重复处理。 

在步骤S404，判断作为边与邻边之间的角的右上角部的曲率是否落入规范的范围内。将使用图9来描述要转换的工作薄文档的规范。假设在这种情况下要转换的工作薄文档是作为其本身XML格式的工作薄文档的工作薄文档A，其中，线颜色的规范是单色32位颜色，线类型的规范是实线和三个图样的虚线，并且角部的曲率为∞。由于在单元格1-1的右上角部中，该角部的曲率为∞，即，该角部的曲率落入规范的范围内，所以处理进入步骤S405。 

在步骤S405，判断边的线颜色是否落入线颜色的规范的范围内。由于线颜色是RGB 12位单色并且可以被转换成RGB 32位单色，即，线颜色落入规范的范围内，则处理进入步骤S406。在步骤S406，判断边的线类型是否落入线类型的规范的范围内。由于线类型为1(实线)，即，线类型落入该规范内，则处理进入步骤S407。 

在步骤S407，由于未完成重复处理，则处理进入步骤S403。在步骤S403，将右代入边，并且将下代入邻边，接着处理进入步骤S404。同样，{边，邻边}相对于{右，下}和{下，左}落入规范的范围内，并且矢量化标记仍然为假。最后，将{左，上}代入{边，邻边}，并且处理进入步骤S404。在步骤S404，由于作为边与邻边之间的角的左上角部的曲率为1/30，即，该曲率落在规范的范围外，则处理进入步骤S408。在步骤S408，将作为边与邻边的左边与上边的矢量化标记设置为真，并且处理进入步骤S407。在步骤S407，判断为完成重复处理，并且处理进入步骤S410。在步骤S410，未处理单元格1-2、2-1和2-2，因此， 处理进入步骤S401。 

当对单元格1-2、2-1和2-2进行相同处理时，在单元格1-2中将上边和右边的矢量化标记设置为真，在单元格2-1中将下边和左边的矢量化标记设置为真，并且在单元格2-2中将右边和下边的矢量化标记设置为真。在步骤S410，对所有单元格完成矢量化判断处理，因此处理完成。 

将参考图5的流程图描述表线生成部215的处理。在步骤S501，选择单元格1-1作为未处理的单元格。在步骤S503，将上代入边的变量，并且开始重复处理。在步骤S503，上边是未处理矢量的边，因而，处理进入步骤S504。在步骤S504，根据由表线判断部214存储的矢量化标记，将单元格1-1的上边判断为真，因而，处理进入步骤S505。在步骤S505，由于左边的矢量化标记为真，因此联结左边，并且判断为要进行矢量化。 

在步骤S506，通过使用已知的矢量化技术，根据输入图像，对于在步骤S505联结的目标边创建矢量线对象。作为矢量化技术的示例，存在日本专利第3026592号和日本特开2005-346137号公报中公开的方法。例如，在日本专利第3026592号中，公开了这样一种技术：通过进行以下操作，生成通过像素间的矢量的集合描述被称为轮廓矢量的联结像素数据的周围的信息。在对图像进行光栅扫描时，基于关注像素及其邻近像素的状态，检测在水平方向和垂直方向上像素间的矢量；接着，基于像素间的这些矢量的连接状态提取图像数据的轮廓。在日本特开2005-346137号公报中，公开了这样一种技术：通过利用直线、二次或三次贝塞尔曲线近似轮廓矢量，生成虽然发生显著缩放但高质量的矢量描述的数据。 

在步骤S507，在步骤S506所创建的矢量线对象中，将矢量线对象外接矩形左上端坐标判断为单元格左上端的相对坐标。 将矢量线对象外接矩形左下端坐标判断为单元格右下端(或者右下单元格的左上端)的相对坐标。判断矢量线对象的布置坐标值。在步骤S508，没有满足用于完成重复处理的条件，因而，处理进入步骤S502。在步骤S502，将右代入边的值。在步骤S503，由于还没有矢量化右边，所以处理进入步骤S504。在步骤S504，由于边的矢量化标记为假，因而处理进入步骤S509。在步骤S509，将表结构信息中的角部曲率∞、实线和#000的信息转换成要转换的工作薄文档的单元格的边界线格式。 

在步骤S508，没有满足用于完成重复处理的条件，因而，处理进入步骤S502。在步骤S502，将下代入边的值，并重复处理。如同右边一样，将下边转换成单元格的边界线格式。最后，将左代入边的值，并且处理进入步骤S503。在步骤S503，由于左边与上边联结，并且在处理上边时完成了矢量化，所以处理进入步骤S508。在步骤S508，完成重复处理，因而，处理进入步骤S510。在步骤S510，未处理单元格1-2、2-1和2-2，因而，处理进入步骤S501。 

同样，从步骤S501开始对单元格1-2、2-1和2-2进行处理，并因而，对于单元格1-2，将上边和右边彼此联结并转换成矢量线对象，并且将下边和左边转换成单元格的边界线格式。对于单元格2-1，将下边和左边彼此联结并转换成矢量线对象，并且将上边和右边转成单元格的边界线格式。对于单元格2-2，将右边和下边彼此联结并转换成矢量线对象，并且将上边和左边转换成单元格的边界线格式。在步骤S510，不存在未处理的单元格，并因而完成处理。 

基于由表结构分析部212创建的表结构信息、由字符识别部213识别出的字符和由表线生成部215创建的表的格线信息，工作薄文档转换部216进行到工作薄文档格式的电子文档的转换。 

图10的电子文档1000是为了描述本示例所作出的、根据虚拟XML格式的规范而生成的工作薄文档220的示例。 

符号1001是用于存储表信息并对应于由元素名称“Table”覆盖的区域的部分。在符号1001中，存储了描述表的列信息的“Column”元素部分1003和描述行信息的“Row”元素部分1004。根据一个大的表信息生成工作薄文档的表格。 

在图6的输入图像的示例中，图像内的行和列的数量为2×2，但添加了一行和一列以表示表的上部和左部中的空白，从而形成3×3。因此，存在表示列的三个“Column”元素部分1003和表示行的三个“Row”元素部分1004。“Column”元素部分1003存储列号“c”属性和各列宽度“width”属性。 

在“Column”元素部分1003中，如在图7的单元格的矩形信息中所示，由于表左部的宽度为100(也就是说，单元格1-1的位置的坐标x为100)，所以“Column”元素部分1003在c＝1时的“Column”元素的宽度为100。由于在图7的第一表列中单元格的尺寸的宽度为200，所以“Column”元素部分1003在c＝2时的“Column”元素的宽度为200。由于在图7的第二表列中单元格的尺寸的宽度为400，所以“Column”元素部分1003在c＝3时的“Column”元素的宽度为400。 

在“Row”元素中，存储有行号“r”属性和各行高度“height”属性；“Row”元素由数量与列相对应的单元格信息“Cell”元素组成。 

在“Row”元素部分1004中，如图7的单元格的矩形信息中所示，由于表上部的高度为200(也就是说，单元格1-1的位置的y坐标为200)，所以“Row”元素在r＝1时的高度“height”为200。由于第一表行的高度为70，则“Row”元素在r＝2时的高度“height”为70。由于第二表行的高度为70，所以“Row”元素在r＝3时的高度“height”为70。 

由于在r＝1时的“Row”元素为空白并且不存在单元格信息，所以不存在子元素“Cell”元素。由于在r＝2时的“Row”元素和在r＝3时的“Row”元素中的每一个元素中存在两个单元格信息，所以保存两个“Cell”元素。 

“Cell”元素存储表示“Cell”元素本身为第c列的“c”属性、表示在单元格中所描述的数据类型的“type”属性和表示单元格中的数据值的“value”属性；“Cell”元素由单元格的边界线信息“Line”形成。这里，根据图8所示的字符识别结果，r＝2的“Row”元素内的c＝2的“Cell”元素存储类型＝“sting”和值＝“ID”。c＝3的“Cell”元素存储类型＝“sting”和值＝“1234567”。r＝3的“Row”元素内的c＝2的“Cell”元素存储类型＝“sting”和值＝“Name”。c＝3的“Cell”元素存储类型＝“sting”和值＝“Maruko Taro”。 

“Line”元素存储表示该元素对应于四边中的哪一边的“position”属性、表示线类型的“type”属性和表示线颜色的“color”属性。 

根据在图5的流程图中所创建的单元格的边界线信息，针对r＝2的“Row”元素内的c＝2的“Cell”元素，设置位置为右和下的两个“Line”元素。分别地，在“type”属性中存储了表示实线的“solid”，以及在“color”属性中存储了表示黑色的#000000。 

针对r＝2的“Row”元素内的c＝3的“Cell”元素，设置位置为左和下的两个“Line”元素。分别地，在“type”属性中存储了表示实线的“solid”，以及在“color”属性中存储了表示黑色的#000000。 

针对r＝3的“Row”元素内的c＝2的“Cell”元素，设置位置为右和上的两个“Line”元素。分别地，在“type”属性中存储了表示实线的“solid”，以及在“color”属性中存储了表示黑色的#000000。 

针对r＝3的“Row”元素内的c＝3的“Cell”元素，设置位置为左和上的两个“Line”元素。分别地，在“type”属性中存储了表示实 线的“solid”，以及在“color”属性中存储了表示黑色的#000000。 

符号1002随意地布置在表上，并且是存储有图形信息的部分并对应于由元素名称“Shape”围绕的区域。符号1002由描述图形信息的多个“Shape”元素组成。 

“Shape”元素具有作为子元素的图形对象，并且存储关于绘制了图形对象的位置的信息作为属性。这里，“Shape”元素对应于一个矢量线对象。在符号1002中，包括了由表示贝塞尔曲线的子元素“Path”形成的四个“Shape”元素1005、1006、1007和1008。在本发明中，矢量线对象定义左上端和右下端作为单元格的相对坐标。因此，“Shape”元素由表示相对于左上端的目标单元格的矩阵的fromCell的信息、表示相对坐标的fromPos的信息、表示相对于右下端的目标单元格的矩阵的toCell的信息以及表示相对坐标的toPos的信息组成。 

将具体描述作为单元格1-1的左上边的矢量线对象的“Shape”元素1005。在“Shape”元素1005中，对于第二行第二列的单元格(fromCell＝“22”)，描述了在从左上端(0，0)(fromPos＝“00”)到右下端的区域内进行绘制的位置以及尺寸信息。第二行第二列的右下端对应于第三行第三列(toCell＝“33”)的左上端(0，0)(toPos＝“00”)。 

同样，作为单元格1-2的右上边的矢量线对象的“Shape”元素1006如下。具体地，对于第二行第三列的单元格(fromCell＝“23”)，描述了在从左上端(0，0)(fromPos＝“0 0”)到右下端的区域中进行绘制的位置以及尺寸信息。第二行第三列的右下端对应于第三行第四列(toCell＝“34”)的左上端(0，0)(toPos＝“0 0”)。 

作为单元格2-1的左下边的矢量线对象的“Shape”元素1007如下。具体地，对于第三行第二列的单元格(fromCell＝“3 3”)，描述了在从左上端(0，0)(fromPos＝“0 0”)到右下端的区域内进行 绘制的位置以及尺寸信息。第三行第二列的右下端对应于第四行第三列(toCell＝“3 4”)的左上端(0，0)(toPos＝“0 0”)。 

作为单元格2-2的右下边的矢量线对象的“Shape”元素1008如下。具体地，对于第三行第三列的单元格(fromCell＝“3 3”)，描述了在从左上端(0，0)(fromPos＝“0 0”)到右下端的区域内进行绘制的位置以及尺寸信息。第三行第三列的右下端对应于第四行第四列(toCell＝“4 4”)的左上端(0，0)(toPos＝“0 0”)。 

“Path”元素具有关于对象的形状的信息，并且在具有“canvasSize”属性中设置的尺寸的平面上，利用三次贝塞尔曲线描述“data”属性中的曲线形状。 

窗口1101是由显示/编辑程序121显示的窗口，并且包括表格编辑窗口1102。 

在表格编辑窗口1102中，生成与工作簿文档220中的表格信息221的内容相对应的显示。对于在本发明的实施例1中所示的图10中的电子薄文档1000，绘制表信息1001和格线数据1002的内容。对于不能由单元格的边界线表示的角部具有曲率的表，按其输入图像的原样生成表。 

在表格编辑窗口1102中，用户可以添加表的行，改变单元格的内容，并且改变单元格的尺寸。此外，用户可以存储已编辑的工作薄文档，并且在纸上打印所显示的表格编辑窗口1102的外观。 

图12示出通过用户添加行和改变单元格尺寸而获得的结果的示例。由于将矢量线对象描述为相对于单元格的坐标，因此，即使进行诸如用于改变单元格的尺寸和插入行的操作，矢量线对象也会像单元格的边界线一样跟随。 

如上所述，在本示例中，生成表示不能由格式的规范再现的格线、并可以作为表进行编辑的工作簿。 

利用显示/编辑程序121，用户可以通过菜单等容易地选择并使用这样生成的工作薄。具体地，根据本实施例，可以提供格式适合于打印或在显示器上显示工作薄的目的和编辑工作薄的表的目的中的任一目的或者适合于这两个目的工作薄。 

实施例2

尽管实施例1涉及变换不能简单地通过规范表示的格线的情况，但是可以变换由于本身复杂的结构而不能表示的格线。 

以下将描述图13的图像1300是输入图像以及图14的表是转换格式的规范的示例中的处理。 

例如，当通过区域判别部211处理图像1300时，假设提取区域1301和1302作为表区域。 

通过表结构分析部212对区域1301和1302进行与实施例1中的处理相同的处理，并因而提取表结构信息，以及通过字符识别部213提取通过识别字符区域上的字符而获得的结果。 

将参考图15的流程图描述由表线判断部214进行的处理示例。 

在该实施例2中，由于增加了用于格线规范的标准的数量，所以将步骤S1501中用于判断表结构本身的规范的处理添加到图4所示的实施例1中的表线判断的流程图中。 

在步骤S1501，判断是否满足关于表本身的位置的规范的范围。在该实施例中，如果判断的目标表存在于另一个表内，则判断为不满足关于表本身的位置的规范。另一方面，如果判断的目标表不存在于另一个表内，则判断为满足关于表本身的位置的规范。对于区域1301，满足关于表的位置的规范，因而，处理进入步骤S1502。此后，进行与实施例1中的处理相同的处理，并且将第一行第一列的单元格的左边和上边的矢量化标记设置为真，将第一行第二列的单元格的右边和上边的矢量化标 记设置为真，并且将第三行第一列的单元格的左边、下边和右边的矢量化标记设置为真。 

对于表区域1302，表的位置在表区域1301的单元格内，因而，处理进入步骤S1512。在步骤S1512，将表结构的所有边的矢量化标记设置为真，并且还将内部字符串表示为图形对象内的文本。 

基于表线判断部214的判断结果，表线生成部215生成表线。对于区域1301，将第一行第一列的单元格的左上边转换成矢量线对象，将第一行第二列的单元格的右上边转换成矢量线对象，以及将第三行第一列的单元格的右下边和左下边转换成矢量线对象。对于区域1302，将所有边转换成矢量线对象。 

基于字符识别部213和表线生成部215的结果，工作薄文档转换部216进行用于将字符识别数据、矢量线对象和单元格的边界线信息转换成工作薄文档的处理。 

图16是通过显示/编辑程序121打开通过转换图像1300得到的工作薄文档的示例。如图16所示，可以再现由传统规范不能表示的区域1302。 

根据本实施例，即使表的结构本身复杂，也可以提供格式适合于打印或在显示器上显示工作薄的目的和编辑工作薄的表的目的中的任一目的或者适合于这两个目的工作薄。 

其他实施例

还可以通过读出并执行存储设备上所记录的程序以执行上述实施例的功能的系统或设备的计算机(或者诸如CPU或MPU的装置)以及通过以下方法来实现本发明的各方面，其中，由系统或设备的计算机通过例如读出并执行存储设备上所记录的程序以执行上述实施例的功能，来执行该方法的各步骤。为了该目的，例如，经由网络或者从用作存储设备的各种类型的记录 介质(例如，计算机可读介质)向计算机提供该程序。 

尽管已经参考典型实施例描述了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。 

Claims (9)

1.一种图像处理装置，用于根据所输入的图像生成具有预定的格式的电子文档，所述图像处理装置包括：

区域判别单元，用于分析所述图像并判别表区域；

表结构分析单元，用于分析所判别出的表区域中的表结构和格线，并创建包括与表的单元格有关的信息的表结构信息；

判断单元，用于判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的边表示为表的格线；

用于根据被判断为能够表示为格线的边、创建要根据所述格式表示的格线信息的单元；

用于通过对被判断为不能表示为格线的边进行矢量转换处理、创建矢量线对象的单元；以及

电子文档生成单元，用于根据所创建的表结构信息、所创建的格线信息和所创建的矢量线对象，生成所述电子文档。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述判断单元基于边和该边的邻边接合在一起的角的曲率，判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的该边表示为表的格线。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述判断单元基于边的线颜色，判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的该边表示为表的格线。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述判断单元基于边的线类型，判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的该边表示为表的格线。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述判断单元基于所创建的表结构信息中包括的表的位置，判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的边表示为表的格线。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述电子文档生成单元创建将所述矢量线对象布置在根据所述表结构信息的单元格中的电子文档。

7.根据权利要求1所述的图像处理装置，其特征在于，还包括字符识别装置，其中，

所述区域判别单元判别字符区域，

所述字符识别装置从判别出的字符区域识别字符，以及

所述电子文档生成单元根据所创建的表结构信息、所创建的格线信息、所创建的矢量线对象和所识别出的字符，生成所述电子文档。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述电子文档的格式是电子表格的格式。

9.一种图像处理方法，用于根据所输入的图像生成具有预定的格式的电子文档，所述图像处理方法包括：

区域判别步骤，用于分析所述图像并判别表区域；

表结构分析步骤，用于分析所判别出的表区域中的表结构和格线，并创建包括与表的单元格有关的信息的表结构信息；

判断步骤，用于判断是否能够根据所述格式将所创建的表结构信息中包括的单元格的边表示为表的格线；

用于根据被判断为能够表示为格线的边、创建要根据所述格式表示的格线信息的步骤；

用于通过对被判断为不能表示为格线的边进行矢量转换处理、创建矢量线对象的步骤；以及

电子文档生成步骤，用于根据所创建的表结构信息、所创建的格线信息和所创建的矢量线对象，生成所述电子文档。

Images