CN102375978A

CN102375978A - 处理图像的方法和设备

Info

Publication number: CN102375978A
Application number: CN2010102576648A
Authority: CN
Inventors: 何源; 孙俊; 于浩; 直井聪; 堀田悦伸
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-08-17
Filing date: 2010-08-17
Publication date: 2012-03-14
Also published as: JP2012043433A; US20120045131A1

Abstract

公开了一种处理图像的方法和设备。从多个图像的每个中提取格线且将所提取的格线拟合到实数二维空间中。通过将每个图像中所提取的格线与格线模板对齐来确定所拟合的格线围成的拟合单元格与格线模板的模板单元格间的对应关系。针对相对应的每对单元格，根据其间的仿射变换将模板单元格中每个像素的位置映射到实数二维空间中的实数位置。根据图像中具有与实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与实数位置对应的模板单元格中的像素的像素值。通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于图像的合成图像。根据多个图像的相应合成图像获得表格模板。

Description

处理图像的方法和设备

技术领域

本发明涉及图像处理技术，并且更具体地，涉及处理图像以获得表格的模板的方法和设备。

背景技术

在许多文档成像系统中，大量的表格被扫描进计算机系统中，而计算机系统则处理所得到的文档图像以提取出相关信息。通常，表格包括预印制的格线和例如文字、符号等等的固定内容。格线围成的单元格中可以通过手工填写或机器打印来填入可变的内容。为提取所填写或打印的信息，计算机系统首先识别格线和固定内容以作为表格模板。根据表格模板可以识别文档图像中单元格的区域并且去除格线和固定内容部分以获得填入的可变内容部分，并接着识别通过人工填写或机器打印来填入的内容。

为识别表格模板并且将填写或打印的内容指派给对应的单元格，常用的技术是把文档图像注册到表格模板。在自动表格处理方法中，计算机系统需要具有针对每种要处理的表格的表格模板，其中定义有表格中格线、单元格的位置和固定内容。表格模板可以是预定义的，例如由操作人员手工输入，也可以根据输入文档图像自动生成，例如在美国专利US6886136号中公开了自动生成表格模板的方法。

发明内容

本发明的一个实施例是一种处理图像的设备。设备可以包含格线提取装置、对应关系确定装置、位置映射装置、像素值生成装置、图像生成装置和表格模板生成装置。格线提取装置可以从多个图像的每个中提取格线并且将所提取的格线拟合到实数二维空间中。对应关系确定装置可以通过将每个图像中所提取的格线与格线模板对齐来确定所拟合的格线围成的拟合单元格与格线模板的模板单元格间的对应关系。位置映射装置可以针对相对应的每对单元格，根据其间的仿射变换将模板单元格中每个像素的位置映射到实数二维空间中的实数位置。像素值生成装置可以根据图像中具有与实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与实数位置对应的模板单元格中的像素的像素值。图像生成装置可以通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于图像的合成图像。表格模板生成装置可以根据多个图像的相应合成图像获得表格模板。

本发明的一个实施例是一种处理图像的方法。根据该方法，可以从多个图像的每个中提取格线并且将所提取的格线拟合到实数二维空间中。通过将每个图像中所提取的格线与格线模板对齐来确定所拟合的格线围成的拟合单元格与所述格线模板的模板单元格间的对应关系。针对相对应的每对单元格，根据其间的仿射变换将模板单元格中每个像素的位置映射到实数二维空间中的实数位置。根据图像中具有与实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与实数位置对应的模板单元格中的像素的像素值。通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于图像的合成图像。根据多个图像的相应合成图像获得表格模板。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。

图1是示出根据本发明一个实施例的处理图像的设备的示例性结构的框图。

图2是示出包含表格的文档图像的示例的图。

图3是示出格线模板的一个示例的图。

图4是示出实线二维空间中拟合的格线及其所置成的拟合单元格的示例的图。

图5是示出模板单元格与拟合单元格之间的仿射变换的示意图。

图6是示出根据仿射变换从模板单元格中像素的位置实数二维空间中的实数位置的映射的示意图。

图7是示出根据平行平面间的仿射变换从模板单元格中像素的位置实数二维空间中的实数位置的映射的示意图。

图8是示出实数位置与其相邻像素位置间的关系的示意图。

图9是示出根据本发明一个实施例的处理图像的方法的示例性过程的流程图。

图10是示出根据本发明一个实施例的生成格线模板的部分的示例性结构的框图。

图11是示出根据本发明一个实施例的生成格线模板的示例性过程的示意图。

图12是示出其中实现本发明的设备和方法的计算机的示例性结构的框图。

具体实施方式

本文中所用的术语，仅仅是为了描述特定的实施例，而不意图限定本发明。本文中所用的单数形式的“一”和“该”，旨在也包括复数形式，除非上下文中明确地另行指出。还要知道，“包含”一词在本说明书中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件，以及/或者它们的组合。

以下参照按照本发明实施例的方法、设备的流程图和/或框图描述本发明。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得通过计算机或其它可编程数据处理装置执行的这些指令，产生实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能指令计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品。

也可以把计算机程序指令加载到计算机或其它可编程数据处理装置上，使得在计算机或其它可编程数据处理装置上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令就提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

应当明白，附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在现有技术的方法中，通过把包含相同表格的文档图像彼此对齐并提取其中相对不变的部分，来提取表格模板。然而在获得文档图像的过程中，可能会因文档的倾斜、旋转等而使得文档图像中的表格发生变形和扭曲，尤其是不同程度的局部变形和扭曲。虽然对齐能够部分地克服文档整体旋转的影响，然而并不能克服文档局部扭曲和局部变形的影响。

尤其是，表格的单元格内可能包含固定的内容，例如文字、符号等等。文档图像的不同程度的局部变形和扭曲会导致不能将这样的固定内容识别到表格模板，使得在处理文档图像时将固定内容识别为可变内容。

图1是示出根据本发明一个实施例的处理图像的设备100的示例性结构的框图。

如图1所示，设备100包括格线提取装置101、对应关系确定装置102、位置映射装置103、像素值生成装置104、图像生成装置105和表格模板生成装置106。

格线提取装置101从多个图像的每个中提取格线并且将所提取的格线拟合到实数二维空间中。

多个图像中的每个图像是包含相同表格的文档图像。图2是示出包含表格的文档图像的示例的图。如图2所示，格线围成各个单元格。单元格内包含的浅色文字是固定内容部分，深色文字是人工填写或机器打印的可变内容部分。可选地，也可以把文档图像的边缘作为缺省的格线，并且在这样的情况下，可以通过延伸非缺省格线与缺省格线相交来获得文档图像边缘部分的单元格。

可以通过已知的方法来从文档图像中提取格线。例如可采用美国专利US7039235号和美国专利申请US2005031208号中描述的方法。此外，可以采用诸如最小二乘法的直线拟合方法来将提取的格线拟合到实数二维空间中。这里，所提取的格线上的点对应于文档图像中的像素，其位置为整数的纵坐标和横坐标。拟合到实数二维空间的格线由相应函数来描述，其上的点的位置不限于离散的整数值，也可以是实数值。图4是示出实线二维空间中拟合的格线及其所置成的拟合单元格的示例的图。如图4所示，X和Y轴坐标值(x，y)表示实数二维空间中点的位置。直线401、402、403和404分别是通过拟合所提取的格线而得到是实数二维空间中的直线。如图4所示，这些直线围成一个单元格。

经过格线装置101的处理，可以得到提取的格线和由拟合的格线围成的拟合单元格110。

回到图1，对应关系确定装置102通过将每个图像中所提取的格线110与格线模板111对齐来确定所拟合的格线围成的拟合单元格110与格线模板111的模板单元格间的对应关系。

图3示出格线模板的一个示例的图。如图3所示，格线模板中包含格线和由格线围成的单元格。可以通过从多个图像中随机选择或指定的图像中提取格线来形成格线模板。

可采用已知的方法来将每个图像中所提取的格线与格线模板对齐。例如，可以相对格线模板不断地整体移动所提取的格线并计算格线模板与所提取格线间的相似度。如果根据格线模板与所提取格线间的某种相对位置关系获得最大的相似度，则确定在此相对位置关系下格线模板与所提取格线间对齐。

在彼此对齐的情况下，能够确定格线模板中的模板单元格与所提取的格线围成的单元格之间的对应关系。由于所提取格线围成的单元格与拟合单元格的对应关系是已知的，因此也能够确定格线模板中的模板单元格与拟合单元格之间的对应关系。

回到图1，位置映射装置103针对相对应的每对单元格(格线模板中的模板单元格和实数二维空间中的拟合单元格)，根据其间的仿射变换将模板单元格中每个像素的位置映射到所述实数二维空间中的实数位置。

仿射变换是仿射平面(或空间)到自身的一类变换。仿射变换的性质包括保持点的共线性(或共面性)以及共线三点的简比不变。如图5所示，平面501中的单元格ABCD是模板单元格，平面502中的单元格A′B′C′D′是对单元格ABCD进行仿射变换得到的拟合单元格。

根据点的共线性，在平面501中点A、E、B共线并且点D、F、C共线，则在平面502中通过对这些点进行仿射变换点而得到的对应点A′、E′、B′共线，并且点D′、F′、C′。根据共线三点简比不变性质，Len(A，E)/Len(E，B)＝Len(A′，E′)/Len(E′，B′)，Len(D，F)/Len(F，C)＝Len(D′，F′)/Len(F′，C′)，其中Len(，)表示两点之间的距离。

在假设对应的模板单元格与拟合单元格间存在仿射变换关系的情况下，可以利用上述性质确定模板单元格中任何像素所映射到的拟合单元格中的点。下面以图6示出的情形为例来说明这样的映射方法。

图6是示出根据仿射变换从模板单元格中像素的位置实数二维空间中的实数位置的映射的示意图，其中图6(b)示出一个模板单元格601(顶点为P1、P3、P5、P7)，图6(a)示出与之相对应的拟合单元格602(顶点为P1′、P3′、P5′、P7′)。对于模板单元格601中的任意一点P，可以将其视为两个直线的交点，其中一个直线与格线的交点为P4和P8，另一个直线与格线的交点为P2和P6。在假定顶点P1′、P3′、P5′、P7′分别与顶点P1、P3、P5、P7对应的情况下，根据共线性和简比不变性，可以确定拟合单元602中与分别点P2、P4、P6、P8对应的P2′、P4′、P6′、P8′。再根据共线性，可以确定直线P2′P6′与直线P4′P8′的交点P′即为与点P对应的点。交点P′的位置即为模板单元格中的像素的位置P所映射到的实数二维空间中的实数位置P′。

在一个可选实施例中，仿射变换可以被简化为平行平面间的仿射变换。在这样的情况下，可以将拟合单元格视为通过旋转相应的模板单元格而得到的。在该实施例中，可以计算拟合单元格相对模板单元格的旋转角度，并且根据旋转角度计算模板单元格中任意点在拟合单元格中的相应点的位置。

图7是示出根据平行平面间的仿射变换从模板单元格中像素的位置实数二维空间中的实数位置的映射的示意图，其中图7(b)示出一个模板单元格，图7(a)示出与相对应的拟合单元格。对于模板单元格中的任意一点P，可以计算其与模板单元格中一个参考点的连线与X和Y轴之一(在图7的例子中为模板单元格的底边，其与X轴方向相同)的夹角α。参考点可以是模板单元格或甚至是模板单元格所处平面中的任意点，只要能够确定其在相应拟合单元格所处平面中的映射参考点。优选地，参考点可以是便于确定映射参考点的点，例如模板单元格的顶点。针对拟合单元格，计算模板单元格的上述底边在拟合单元格中的对应边相对于上述X和Y轴之一的夹角θ，从而得到上述连线在拟合单元格中的对应连线相对于上述X和Y轴之一的夹角α+θ。由于上述连线和对应连线的长度不变，在映射参考点和夹角α+θ已知的情况下，能够计算对应点P′的在实数二维空间的位置。

回到图1，像素值生成装置104根据图像中具有与实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与实数位置对应的模板单元格中的该像素的像素值。

图8是示出实数位置与其相邻像素位置间的关系的示意图。图8(a)中示出一个实数位置(i′+a，j′+b)，其中i′，j′为实数的整数部分，a，b为实数的小数部分。与实数位置(i′+a，j′+b)相邻的像素位置分别为(i′，j′)，(i′+1，j′)，(i′，j′)，(i′+1，j′+1)。需要注意的是，相邻的像素位置不限于所列的像素位置，而是还可以包括其它相邻像素位置。图8(b)示出了与实数位置对应的模板单元格中的像素的位置(i，j)。

在一个实施例中，像素值生成装置104可以通过计算图像中具有与实数位置相邻的位置的多个像素(例如，(i′，j′)，(i′+1，j′)，(i′，j′)，(i′+1，j′+1))的像素值的加权和来生成像素值，其中每个像素的位置与实数位置的距离越小，则相应像素值的权重就越大。例如，假设实数位置为(i′+a，j′+b)，则所生成的像素值可以是(1-a)×(1-b)×f(i′，j′)+a×(1-b)×f(i′+1，j′)+b×(1-a)×f(i′，j′+1)+a×b×f(i′+1，j′+1)，其中f(x，y)是所述图像中像素(x，y)的像素值。

在另一个实施例中，像素值生成装置104可以将图像中具有与实数位置相邻的位置的多个像素(例如，(i′，j′)，(i′+1，j′)，(i′，j′)，(i′+1，j′+1))的像素值中的最小值，即min{fi′，j′)，f(i′+1，j′)，f(i′，j′+1)，f(i′+1，j′+1)}，作为所生成的像素值，其中f(x，y)是图像中像素(x，y)的像素值。

回到图1，图像生成装置105通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于图像的合成图像112。也就说，合成图像112包括格线模板中的格线，以及模板单元格中的非格线像素。对于合成图像112中的非格线像素，其像素值为像素值生成装置104获得的像素值。

表格模板生成装置106根据多个图像的相应合成图像112获得表格模板。可采用已知的方法来根据多个图像的相应合成图像获得表格模板。例如可采用美国专利US6886136号中描述的方法。可选地，表格模板生成装置106可以通过下述方式来获得表格模板：对于表格模板中的每个像素，把多个合成图像中对应像素的最大像素值作为该像素的像素值。

如图9所示，方法从步骤900开始。在步骤902，从多个图像的每个中提取格线并且将所提取的格线拟合到实数二维空间中。

多个图像中的每个图像是包含相同表格的文档图像。格线围成各个单元格。单元格内包含的浅色文字是固定内容部分，深色文字是人工填写或机器打印的可变内容部分。可选地，也可以把文档图像的边缘作为缺省的格线，并且在这样的情况下，可以通过延伸非缺省格线与缺省格线相交来获得文档图像边缘部分的单元格。

可以通过已知的方法来从文档图像中提取格线。例如可采用美国专利US7039235号和美国专利申请US2005031208号中描述的方法。此外，可以采用诸如最小二乘法的直线拟合方法来将提取的格线拟合到实数二维空间中。这里，所提取的格线上的点对应于文档图像中的像素，其位置为整数的纵坐标和横坐标。拟合到实数二维空间的格线由相应函数来描述，其上的点的位置不限于离散的整数值，也可以是实数值。

经过步骤902的处理，可以得到提取的格线和由拟合的格线围成的拟合单元格。

在步骤904，通过将每个图像中所提取的格线与格线模板对齐来确定所拟合的格线围成的拟合单元格与格线模板的模板单元格间的对应关系。

可以通过从多个图像中随机选择或指定的图像中提取格线来形成格线模板。

在步骤906，针对相对应的每对单元格(格线模板中的模板单元格和实数二维空间中的拟合单元格)，根据其间的仿射变换将模板单元格中每个像素的位置映射到所述实数二维空间中的实数位置。

在假设对应的模板单元格与拟合单元格间存在仿射变换关系的情况下，可以利用共线性和简比不变性确定模板单元格中任何像素所映射到的拟合单元格中的点。

在步骤908，根据图像中具有与实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与实数位置对应的模板单元格中的该像素的像素值。

假设一个实数位置(i′+a，j′+b)，其中i′，j′为实数的整数部分，a，b为实数的小数部分。与实数位置(i′+a，j′+b)相邻的像素位置分别为(i′，j′)，(i′+1，j′)，(i′，j′)，(i′+1，j′+1)。需要注意的是，相邻的像素位置不限于所列的像素位置，而是还可以包括其它相邻像素位置。与实数位置对应的模板单元格中的像素的位置为(i，j)。

在一个实施例中，可以通过计算图像中具有与实数位置相邻的位置的多个像素(例如，(i′，j′)，(i′+1，j′)，(i′，j′)，(i′+1，j′+1))的像素值的加权和来生成像素值，其中每个像素的位置与实数位置的距离越小，则相应像素值的权重就越大。例如，假设实数位置为(i′+a，j′+b)，则所生成的像素值可以是(1-a)×(1-b)×f(i′，j′)+a×(1-b)×f(i′+1，j′)+b×(1-a)×f(i′，j′+1)+a×b×f(i′+1，j′+1)，其中f(x，y)是所述图像中像素(x，y)的像素值。

在另一个实施例中，可以将图像中具有与实数位置相邻的位置的多个像素(例如，(i′，j′)，(i′+1，j′)，(i′，j′)，(i′+1，j′+1))的像素值中的最小值，即min{f(i′，j′)，f(i′+1，j′)，f(i′，j′+1)，f(i′+1，j′+1)}，作为所生成的像素值，其中f(x，y)是图像中像素(x，y)的像素值。

在步骤910，通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于图像的合成图像。也就说，合成图像包括格线模板中的格线，以及模板单元格中的非格线像素。对于合成图像中的非格线像素，其像素值为通过步骤908获得的像素值。

在步骤912，根据多个图像的相应合成图像获得表格模板。可采用已知的方法来根据多个图像的相应合成图像获得表格模板。例如可采用美国专利US6886136号中描述的方法。方法在步骤914结束。可选地，在步骤912，可以通过下述方式来获得表格模板：对于表格模板中的每个像素，把多个合成图像中对应像素的最大像素值作为该像素的像素值。

根据本发明的实施例，由于以单元格为单位来进行变形和扭曲校正，因此能够更加准确地消除文档图像的畸变，保证文档对齐的质量，从而提高表格模板的准确性。

此外，也可以根据多个图像来获得格线模板。

图10是示出根据本发明一个实施例的生成格线模板的部分的示例性结构的框图，这个部分可以单独实现，也可以被包含在结合图1描述的设备中。

如图10所示，生成格线模板的部分包括格线累加装置1001和格线模板生成装置1002。

格线累加装置1001在多个图像之间彼此对齐所提取的格线并且在空白图像上累加多个图像的所提取的格线的像素的像素值。

格线模板生成装置1002通过将空白图像上累加值超过预定阈值的像素识别为格线的像素来生成格线模板。

如图11所示，作为过程的开始，从多个图像中分别提取出格线1101₁，...，1101_n。在多个图像之间彼此对齐所提取的格线1101₁，...，1101_n。在步骤1102，在空白图像上累加多个图像的所提取的格线1101₁，...，1101_n的像素的像素值。在步骤1103，将空白图像上累加值超过预定阈值的像素识别为格线的像素，从而生成格线模板1104。

所属技术领域的技术人员知道，本发明可以体现为系统、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即，可以是完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、或者本文一般称为“电路”、“模块”或“系统”的软件部分与硬件部分的组合。此外，本发明还可以采取体现在任何有形的表达介质(medium of expression)中的计算机程序产品的形式，该介质中包含计算机可用的程序码。

可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质，计算机可读存储介质例如可以是--但不限于--电的、磁的、光的、电磁的、红外线的、或半导体的系统、装置、器件或传播介质、或前述各项的任何适当的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或前述各项的任何适当的组合。在本文语境中，计算机可读存储介质可以是任何含有或存储供指令执行系统、装置或器件使用的或与指令执行系统、装置或器件相联系的程序的有形介质。

计算机可读信号介质可以包括例如在基带中或作为载波的一部分传播的带有计算机可读程序代码的数据信号。这样一种传播信号可以采取任何适当的形式，包括--但不限于--电磁的、光的或其任何适当的组合。计算机可读信号介质可以是不同于计算机可读存储介质的、可以传达、传播或传输供指令执行系统、装置或器件使用的或与指令执行系统、装置或器件相联系的程序的任何一种计算机可读介质。包含在计算机可读介质中的程序代码可以采用任何适当的介质传输，包括-但不限于-无线、有线、光缆、射频等等、或上述各项的任何适当的组合。

用于执行本发明的操作的计算机程序码，可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言-诸如”C”程序设计语言或类似的程序设计语言。程序码可以完全地在用户的计算上执行、部分地在用户的计算机上执行、作为一个独立的软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何种类的网络--包括局域网(LAN)或广域网(WAN)--连接到用户的计算机，或者，可以(例如利用因特网服务提供商来通过因特网)连接到外部计算机。

在图12中，中央处理单元(CPU)1201根据只读映射数据(ROM)1202中存储的程序或从存储部分1208加载到随机存取映射数据(RAM)1203的程序执行各种处理。在RAM 1203中，也根据需要存储当CPU 1201执行各种处理等等时所需的数据。

CPU 1201、ROM 1202和RAM 1203经由总线1204彼此连接。输入/输出接口1205也连接到总线1204。

下述部件连接到输入/输出接口1205：输入部分1206，包括键盘、鼠标等等；输出部分1207，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分1208，包括硬盘等等；和通信部分1209，包括网络接口卡比如LAN卡、调制解调器等等。通信部分1209经由网络比如因特网执行通信处理。

根据需要，驱动器1210也连接到输入/输出接口1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体映射数据等等根据需要被安装在驱动器1210上，使得从中读出的计算机程序根据需要被安装到存储部分1208中。

在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图12所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘、光盘(包含光盘只读映射数据(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体映射数据。或者，存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等，其中存有程序，并且与包含它们的方法一起被分发给用户。

以下的权利要求中的对应结构、材料、操作以及所有功能性限定的装置(means)或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的描述其目的在于示意和描述，并非是穷尽性的，也并非是要把本发明限定到所表述的形式。对于所属技术领域的普通技术人员来说，在不偏离本发明范围和精神的情况下，显然可以作出许多修改和变型。对实施例的选择和说明，是为了最好地解释本发明的原理和实际应用，使所属技术领域的普通技术人员能够明了，本发明可以有适合所要的特定用途的具有各种改变的各种实施方式。

附记1.一种处理图像的设备，包括：

格线提取装置，从多个图像的每个中提取格线并且将所提取的格线拟合到实数二维空间中；

对应关系确定装置，通过将每个所述图像中所提取的格线与格线模板对齐来确定所拟合的格线围成的拟合单元格与所述格线模板的模板单元格间的对应关系；

位置映射装置，针对相对应的每对单元格，根据其间的仿射变换将模板单元格中每个像素的位置映射到所述实数二维空间中的实数位置；

像素值生成装置，根据所述图像中具有与所述实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与所述实数位置对应的模板单元格中的所述像素的像素值；

图像生成装置，通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于所述图像的合成图像；和

表格模板生成装置，根据所述多个图像的相应合成图像获得表格模板。

附记2.如附记1所述的设备，还包括：

格线累加装置，在所述多个图像之间彼此对齐所提取的格线并且在空白图像上累加所述多个图像的所提取的格线的像素的像素值；和

格线模板生成装置，通过将所述空白图像上累加值超过预定阈值的像素识别为格线的像素来生成所述格线模板。

附记3.如附记1或2所述的设备，其中所述仿射变换为平行平面间的仿射变换。

附记4.附记1或2所述的设备，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝(1-a)×(1-b)×f(i，j)+a×(1-b)×f(i+1，j)+b×(1-a)×f(i，j+1)+a×b×f(i+1，j+1)，其中f(x，y)是所述图像中像素(x，y)的像素值。

附记5.如附记1或2所述的设备，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝min{f(i，j)，f(i+1，j)，f(i，j+1)，f(i+1，j+1)}，其中f(x，y)是所述图像中像素(x，y)的像素值。

附记6.附记1或2所述的设备，其中所述表格模板生成装置进一步被配置为对于表格模板中的每个像素，把所述多个合成图像中对应像素的最大像素值作为所述像素的像素值。

附记7.一种处理图像的方法，包括：

从多个图像的每个中提取格线并且将所提取的格线拟合到实数二维空间中；

通过将每个所述图像中所提取的格线与格线模板对齐来确定所拟合的格线围成的拟合单元格与所述格线模板的模板单元格间的对应关系；

针对相对应的每对单元格，根据其间的仿射变换将模板单元格中每个像素的位置映射到所述实数二维空间中的实数位置；

根据所述图像中具有与所述实数位置相邻的位置的多个像素的像素值生成一个像素值，以作为与所述实数位置对应的模板单元格中的所述像素的像素值；

通过合并格线模板的格线和具有所生成的像素值的模板单元格中像素，生成对应于所述图像的合成图像；和

根据所述多个图像的相应合成图像获得表格模板。

附记8.如附记7所述的方法，还包括：

通过在所述多个图像之间彼此对齐所提取的格线并且在空白图像上累加所述多个图像的所提取的格线的像素的像素值；和

通过将所述空白图像上累加值超过预定阈值的像素识别为格线的像素来生成所述格线模板。

附记9.如附记7或8所述的方法，其中所述仿射变换为平行平面间的仿射变换。

附记10.如附记7或8所述的方法，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝(1-a)×(1-b)×f(i，j)+a×(1-b)×f(i+1，j)+b×(1-a)×f(i，j+1)+a×b×f(i+1，j+1)，其中f(x，y)是所述图像中像素(x，y)的像素值。

附记11.如附记7或8所述的方法，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝min{f(i，j)，f(i+1，j)，f(i，j+1)，f(i+1，j+1)}，其中f(x，y)是所述图像中像素(x，y)的像素值。

附记12.如附记7或8所述的方法，其中所述生成表格模板包括对于表格模板中的每个像素，把所述多个合成图像中对应像素的最大像素值作为所述像素的像素值。

Claims

1.一种处理图像的设备，包括：

2.如权利要求1所述的设备，还包括：

3.如权利要求1或2所述的设备，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝(1-a)×(1-b)×f(i，j)+a×(1-b)×f(i+1，j)+b×(1-a)×f(i，j+1)+a×b×f(i+1，j+1)，其中f(x，y)是所述图像中像素(x，y)的像素值。

4.如权利要求1或2所述的设备，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝min{f(i，j)，f(i+1，j)，f(i，j+1)，f(i+1，j+1)}，其中f(x，y)是所述图像中像素(x，y)的像素值。

5.如权利要求1或2所述的设备，其中所述表格模板生成装置进一步被配置为对于表格模板中的每个像素，把所述多个合成图像中对应像素的最大像素值作为所述像素的像素值。

6.一种处理图像的方法，包括：

根据所述多个图像的相应合成图像获得表格模板。

7.如权利要求6所述的方法，还包括：

8.如权利要求6或7所述的方法，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝(1-a)×(1-b)×f(i，j)+a×(1-b)×f(i+1，j)+b×(1-a)×f(i，j+1)+a×b×f(i+1，j+1)，其中f(x，y)是所述图像中像素(x，y)的像素值。

9.如权利要求6或7所述的方法，其中假设所述实数位置为(i+a，j+b)，则所生成的像素值＝min{f(i，j)，f(i+1，j)，f(i，j+1)，f(i+1，j+1)}，其中f(x，y)是所述图像中像素(x，y)的像素值。

10.如权利要求6或7所述的方法，其中所述生成表格模板包括对于表格模板中的每个像素，把所述多个合成图像中对应像素的最大像素值作为所述像素的像素值。