CN102236789A - 对表格图像进行校正的方法以及装置 - Google Patents

Abstract

本发明提供一种对表格图像进行校正的方法，所述表格图像包括待校正表格单元，该方法包括：匹配步骤，把待校正表格单元与预定的表格模板中定义的标准表格单元进行匹配，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和映射步骤，把通过匹配步骤得到的匹配的待校正表格单元映射到与所述匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。还提供用于进行上述表格图像校正的装置。上述方法和装置不仅可以校正扫描过程中图像的扭曲，还可以校正扫描过程中图像的旋转、缩放和平移等现象。因此，便于对表格图像进行进一步的处理，例如对用户填充数据的定位和识别。

Description

对表格图像进行校正的方法以及装置

技术领域

本发明总体上涉及图像处理的技术领域，更具体而言，涉及对输入的表格图像进行校正的方法以及装置。

背景技术

在通过例如滚筒式扫描仪扫描表格得到的图像中可能出现扭曲。在扫描仪完成了许多扫描任务之后，滚筒的两侧施加到输入纸上的物理压力是不同的。因此，纸的两侧的行进速度不相同，于是可能出现扫描结果中的扭曲。许多传统方法考虑了对表格旋转、缩放和平移的校正，但是很少方法考虑对扭曲的表格图像的校正。然而，在许多情况下，需要对得到的表格图像进行进一步的处理，例如对填充数据的定位和识别。在表格图像扭曲的程度较大的情况下，会出现对填充数据的错误的定位。

鉴于上述情况，可见针对扫描的表格图像设计一种用于校正图像扭曲的方法是很有必要的。

发明内容

鉴于上述现有技术中存在的问题，根据本发明的实施例提出了一种对输入的表格图像进行校正的方法，所述表格图像包括待校正表格单元，该方法包括步骤：

匹配步骤，把待校正表格单元与预定的表格模板中定义的标准表格单元进行匹配，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和

映射步骤，把通过匹配步骤得到的匹配的待校正表格单元映射到与匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

根据本发明的实施例还涉及一种用于对输入的表格图像进行校正的装置，所述表格图像包括待校正表格单元，该装置包括：

匹配单元，配置成匹配待校正表格单元与预定的表格模板中定义的标准表格单元，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和

映射单元，配置成把匹配的待校正表格单元映射到与匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

根据本发明的实施例又涉及一种存储有机器可读取的指令代码的程序产品，所述指令代码由机器读取并执行时，可执行如上所述的根据本发明的实施例的对输入的表格图像进行校正的方法。

根据本发明的实施例又涉及一种承载有如上所述的程序产品的存储介质。

根据本发明实施例的方法和装置可获得的一个益处是，通过对扫描得到的表格图像进行处理，使其转换成一种标准表格图像，能够校正扫描过程中图像的扭曲，提供图像处理的效率和准确性。此外可获得的益处是，通过使校正后的表格图像中各像素的位置与表格模板中各像素的位置一致，可以进一步校正扫描过程中的旋转、缩放和平移等现象。因此，便于对表格图像进行进一步的处理，例如对用户填充数据的定位和识别。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，使其相对于在依据本发明的示例性装置中的其它部件变得更大。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出了根据本发明的实施例的对输入的表格图像进行校正的方法的流程简图；

图2是示出了根据图1所示的实施例的方法的一个具体示例中所应用的匹配步骤的流程简图；

图3是示出了使用递归搜索进行匹配的过程的示意简图；

图4是示出了在如图1所示的实施例的方法的一个具体示例中所应用的映射步骤的流程简图；

图5A-5B是示出了映射步骤中像素位置的逆映射的示意简图；

图6是示出了根据本发明的实施例的对输入的表格图像进行校正的装置的简化框图；

图7是示出了根据图6的实施例的装置中匹配单元的一个具体示例的简化框图；

图8A-8C是示出了使用根据本发明的实施例的方法和装置对扭曲的表格文本图像进行校正的实例；以及

图9是示出可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1是示出了根据本发明的实施例的对输入的表格图像进行校正的的方法100的流程简图，输入的表格图像包括待校正表格单元。如图所示，该方法100开始于步骤S110。在匹配步骤S120，把待校正表格单元与预定的表格模板中定义的标准表格单元进行匹配，以得到与各标准表格单元相匹配的匹配的待校正表格单元。在映射步骤S130，把通过匹配步骤得到的匹配的待校正表格单元映射到与匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

下面参照图2-4详细地描述根据图1的实施例的方法的一个具体示例。

该示例的方法利用在表格模板数据库中存储的预定表格模板对输入的表格图像例如表格文本图像进行校正，以便把输入的表格图像转换成一种标准表格图像。在示例的方法中，校正是以表格单元为单位进行的。也就是说，匹配和映射均是以表格单元为单位进行的。本文中，表格单元是指由横向相邻的两条线和纵向相邻的两条线所限定的区域。

表格模板数据库中记录了构建预定表格模板的各条表格线和由表格线所定义的各标准表格单元的结构信息，例如水平直线的y坐标，竖直直线的x坐标以及标准表格单元的顶点坐标。在示例的方法中，标准表格单元例如为矩形。为了减少要存储的数据，可以在模板数据库中仅存储矩形标准表格单元的成对角关系的两个顶点坐标，另外两个顶点坐标可以通过类推的方式获得。

图2是示出一个具体示例所应用的匹配步骤S220的流程简图。如图2所示，在通过例如滚筒式扫描仪输入表格图像之后，在步骤S222，从输入的表格图像中提取横向方向上的线，得到可以用方程y＝kx+b＝tan(θ)x+b表示的横向直线，倾斜角度θ的典型范围为-5°～+5°。具体来说，采用哈夫变换(Hough Transform)的变形版本来粗略检测出横向直线。例如，把图像中的每个黑像素点(前景点)P(x，y)投票到由θ和b组成的二维平面θ-b上，其中当θ取不同的值θ₁，...，θ_N时，可以计算得到不同的b值b₁，...，b_N。在所有黑像素点都投票到θ-b平面之后，图像中的每一条横向直线将对应θ-b平面上的某个极大值点(θ^＊，b^＊)，它就是该横向直线的参数值。不过，采用哈夫变换检测到的直线参数一般精度不够，可进一步对该横向直线附近的点采用最小二乘拟合，以得到精度更高的直线参数(θ，b)。在一种可替选的实施方式中，采用线性回归(Line Fitting)的直线拟合来提取横向方向上的线。在另一可替选的实施方式中，采用RANSAC算法通过迭代来提取横向方向上的线。线性回归或RANSAC算法是图像处理领域公知的技术，其具体操作在此不再赘述。

提取出的横向直线的数目可能比表格模板中的水平直线的数目多，例如误检出某直线或模板未定义该直线，或者比水平直线的数目少，如某条直线检测失败。在提取出的横向直线的数目不少于水平直线的数目的情况下，接下来在步骤S224中，需要在由提取出的横向直线组成的一个或多个序列中确定与表格模板中的水平直线的规定序列相匹配的横向直线序列。具体来说，提供用于表示此匹配的程度的代价函数cost(La，Lb)，其中La＝{a₁，...，a_M}，Lb＝{b₁，...，b_N}，La表示水平直线的某种参数(如y坐标)的集合，Lb表示与所述某种参数对应的横向直线的某种参数(如参数b)的集合，M表示水平直线的数目，以及N表示横向直线的数目。计算所述一个序列或者所述多个序列中每个序列的代价函数cost(La，Lb)的值，当所述一个序列的代价函数的值小于预定阈值时，把该序列确定为匹配的横向直线序列，或者把多个序列中具有代价函数最小值的序列确定为匹配的横向直线序列。在示例的方法中，对于所述一个序列或者所述多个序列的每一个序列，代价函数cost(La，Lb)可以用下面的公式(1)表示，即，代价函数cost(La，Lb)的值等于该序列中相邻的横向直线之间的距离与表格模板中相应水平直线之间的距离的差的平方和。这里，在横向直线接近水平的情况下，横向直线在竖直方向上的间距可以认为是相邻的横向直线之间的距离。可替选地，可以把距离归一化，而用0～1之间的系数来表示距离。

cost(La，Lb)＝min cost(La，Lc)，...(1)

cost(La，Lc)＝((a₂-a₁)-(c₂-c₁))²+((a₃-a₂)-(c₃-c₂))²+...+((a_M-a_M-1)-(c_M-c_M-1))²

其中Lc＝{c₁，...，c_M}，Lc是Lb的含M个元素的所有可能子集，则Lc的组合数为：C(N，M)＝N(N-1)...(N-M+1)/(1×2×3×...×M)。

上面的代价函数例如通过一个递归过程实现。定义递归函数match(i，j)，其中变量i＝1，2，...，M，以及变量j＝1，2，...，N，其表示把集合La中的第i个元素a_i和集合Lb中的第j个元素b_j进行匹配。在进行此匹配时，集合La中第i个元素a_i之前的元素a₁，...，a_i-1以及集合Lb中的第j个元素b_j之前的元素b₁，...，b_j-1已经进行了匹配操作。每次匹配操作的结果都有匹配和不匹配这两种情况，因此递归过程呈现如图3所示的二叉树的形式。当匹配操作的结果为匹配时，把集合La和集合Lb中的下一元素进行匹配，即变量i和j均增加1。当匹配操作的结果为不匹配时，把未匹配成功的集合La的当前元素与集合Lb中的下一元素进行匹配，即只把变量j增加1。除二叉树的末端节点的匹配操作以外，递归函数match(i，j)具有如下两种可能的取值情况：

(1)match(i，j)＝match(i，j+1)+0，假设a_i不与b_j匹配；

(2)match(i，j)＝match(i+1，j+1)+0，假设a_i与b_j匹配且i＝1时，令c₁＝b_j；

或者match(i+1，j+1)+((a_i-a_i-1)-(c_i-c_i-1))²，假设a_i与b_j匹配且i＞1时，令c_i＝b_j。

为了得到最优匹配解，除根节点以外的匹配操作向上一级匹配操作返回以上两种取值中较小的值，即match(i，j)＝min{match(i，j+1)，match(i+1，j+1)或match(i+1，j+1)+((a_i-a_i-1)-(c_i-c_i-1))²}。对于二叉树的末端节点的匹配操作，当满足条件M-i＞N-j时，表明集合La中尚未匹配成功的元素的数目多于集合Lb中剩余的未进行匹配的元素的数目，则递归函数match(i，j)取值为无穷大，而当满足条件i＝M+1时，表明集合La中的所有元素已经匹配成功，则递归函数match(i，j)取值为0。

以下结合图3的递归搜索过程的示范例解释水平直线与横向直线之间的匹配过程。假设集合La中水平直线为3条，以及集合Lb中横向直线为4条。图3中，每个方框表示一次匹配操作，连接两个方框的线条的箭头指向下一次匹配操作。首先，进行初始化，令i＝1，j＝1。接下来，进行递归搜索过程。如果满足条件M-i＞N-j，则递归函数match(i，j)＝无穷大，递归返回。如果满足条件i＝M+1，则递归函数match(i，j)＝0，递归返回。否则，递归函数match(i，j)＝min{match(i，j+1)，match(i+1，j+1)或match(i+1，j+1)+((a_i-a_i-1)-(c_i-c_i-1))²}。递归搜索过程结束时，返回match(1，1)的值，其是最小代价函数值，并得到最优匹配解Lc^＊＝{c₁ ^＊，c₂ ^＊，...，c_M ^＊}。

进一步，为了加速搜索过程，还可以配合剪枝策略，即当((a_i-a_i-1)-(c_i-c_i-1))²超过某个阈值时，返回无穷大，以结束当前搜索路径。

代价函数的物理含义没有特别的限制，根据具体应用，本领域技术人员可以采取其它适当定义的代价函数。

示例的方法中的表格模板是包括全部水平直线的完全版本。然而，在提取出的横向直线的数目比表格模板中的水平直线的数目少的情况下，匹配算法失效。此时，需要重新设计新的表格模板，例如从完全版本中去除容易检测失败的某条直线，以得到直线少而主要的版本，再利用此版本的表格模板进行与提取出的横向直线的匹配过程。

可替选地，匹配的过程可以采用以下的任意一种方法：穷举横向直线的每一种组合进行一一匹配，动态规划算法(Dynamic Programming)，或者最优匹配序列分析算法(Optimal Matching)。这些方法是图像处理领域公知的技术，其具体操作在此不再赘述。

接下来，从输入的表格图像中提取纵向方向上的表格线。在利用滚筒式扫描仪进行图像扫描的情况下，一般来说横向是同时扫描的，因此所得图像中的横向表格线可以是接近水平的直线，然而，由于纵向不是同时扫描的，因此所得图像中的纵向表格线可能不会是直线。为了更加精确地检测表格线，在步骤S226，把输入的表格图像中纵向方向上的表格线提取为曲线，可以用方程x＝A₀+A₁y+A₂y²+A₃y³来表示。具体来说，首先采用上述哈夫变换的变形版本来粗略检测纵向表格线，得到用方程x＝k′y+b′＝tan(θ′)y+b′表示的纵向直线。然后进行纵向表格线的精确检测，例如，采用最小二乘算法，对纵向直线附近的点用曲线方程x＝A₀+A₁y+A₂y²+A₃y³拟合。在一种可替选实施方式中，可以采用最小二乘算法分别对每两条横向直线之间的纵向小线段进行直线拟合，以便从输入的表格图像中提取出纵向方向上的分段线性折线。

接下来，需要在由提取的纵向曲线组成的一个或多个序列中确定与表格模板中竖直直线的规定序列相匹配的纵向曲线序列。在步骤S228中，为了简化匹配期间的操作，纵向曲线采用以上粗略检测到的纵向直线来近似表示，因此纵向曲线的匹配过程与横向直线的匹配过程类似，在此省略了对其的详细描述。

然后，在步骤S230，通过计算匹配的横向直线序列与匹配的纵向曲线序列的所有交点，得到由它们交织而成的所有四边形Q₁，...，Q_N中每个四边形Q_i的四个顶点：(x₁，y₁)，(x₂，y₂)，(x₃，y₃)和(x₄，y₄)，其中x₁，...，x₄和y₁，...，y₄分别是各顶点在X-Y平面上的X坐标和Y坐标。这些四边形分别与表格模板中的各标准表格单元匹配，构成匹配的待校正表格单元。

在以上示例的方法，横向表格线提取为直线，以及纵向表格线提取为曲线。本领域技术人员根据实际需要，也可以把横向表格线提取为曲线或分段线性折线。

图4是示出一个具体示例中所应用的映射步骤S430的流程简图。如图4所示，在映射步骤S430的处理中，把通过匹配步骤S220得到的匹配的待校正表格单元映射到与之相匹配的相应标准表格单元，以形成校正的表格图像。即，把每一个四边形Q_i区域映射到表格模板中定义的相应标准表格单元的矩形R_i区域，在模板数据库中存储了矩形R_i区域的成对角关系的两个顶点(x_l，y_t)和(x_r，y_b)。

首先，在步骤S432，基于匹配的待校正表格单元内像素的特性参数值来确定标准表格单元内像素的特性参数值。

具体地，例如通过双线性插值来进行像素位置的逆映射，以获得矩形Ri区域中的每个像素在四边形Qi区域中的对应位置。图5A-5B是示出了像素位置的逆映射的示意简图。图5A示出了由提取的表格线交织成的四边形Qi区域，以及图5B示出了表格模板中的矩形Ri区域。

矩形Ri区域中像素P的坐标(x，y)可以利用矩形Ri区域的四个顶点的坐标来表示为如下公式(2)的形式：

P＝(1-cx)＊(1-cy)＊P1+cx＊(1-cy)＊P2+(1-cx)＊cy＊P3+cx＊cy＊P4...(2)

其中，P＝(x，y)，P1＝(x_l，y_t)，P2＝(x_r，y_t)，P3＝(x_l，y_b)，P4＝(x_r，y_b)，cx＝(x-x_l)/(x_r-x_l)，以及cy＝(y-y_t)/(y_b-y_t)。

像素P(x，y)在四边形Qi区域中的对应位置P’的坐标(x’，y’)可以利用四边形Qi区域的四个顶点的坐标通过以下公式(3)求得：

P’＝(1-cx)＊(1-cy)＊P’1+cx＊(1-cy)＊P’2+(1-cx)＊cy＊P’3+cx＊cy＊P’4...(3)

其中，P’＝(x’，y’)，P’1＝(x₁，y₁)，P’2＝(x₂，y₂)，P’3＝(x₃，y₃)，P’4＝(x₄，y₄)。给定每一个P＝(x，y)，通过上面的公式(3)，可以计算出P’＝(x’，y’)。

在一种可替选实施例中，可以通过透视变换进行像素位置的逆映射。透视变换的方法是图像处理领域公知的技术，其具体操作在此不再赘述。

然后，基于四边形Qi区域中与所述对应位置有关的至少一个像素的特性参数值，确定矩形Ri区域中像素P(x，y)的特性参数值。该特性参数值选自表示黑白的亮度值、表示灰度的亮度值和颜色值(R，Y，B)中的一种。一般地，通过公式(3)得到的对应位置P’的坐标(x’，y’)为浮点数。为了确定矩形Ri区域中像素P(x，y)的特性参数值，例如采用最近邻插值的方法，将四边形Qi区域中具有通过把对应位置P’的坐标(x’，y’)舍入取整或者+0.5后取整得到的坐标的像素的特性参数值作为矩形Ri区域中像素P(x，y)的特性参数值。这种方法对于黑白、灰度和彩色图像都是适用的。在一种可替选实施方式中，可以采用双线性插值的方法，通过四边形Qi区域中与对应位置P’(x’，y’)最近邻的四个像素的特性参数值来确定矩形Ri区域中像素P(x，y)的特性参数值。这种方法适用于灰度和彩色图像。

接下来，在步骤S434，通过包含有具有所确定的特性参数值的像素的所有标准表格单元来形成校正的表格图像，从而把四边形的待校正表格单元转换成矩形的表格单元。

此外，根据本发明的实施例的对输入的表格图像进行校正的上述方法也适用于标准表格单元配置为矩形的组合的情形。

再者，本发明另外的实施例还提供了一种对输入的表格图像进行校正的装置。图6示出了这种装置600的简化框图。如图所示，该装置600包括：匹配单元610，配置成匹配待校正表格单元与预定的表格模板中定义的标准表格单元，以得到与各标准表格单元相匹配的匹配的待校正表格单元；映射单元620，配置成把利用匹配单元610得到的匹配的待校正表格单元映射到与之相匹配的相应标准表格单元，以形成校正的表格图像。

图7示出了根据图6的实施例的装置600中匹配单元610的一个具体示例710的简化框图。如图所示，该匹配单元710包括第一提取子单元712，第一序列匹配子单元714，第二提取子单元718，第二序列匹配子单元720以及交织子单元716。在工作中，第一提取子单元712从输入的表格图像中提取横向方向上的线。第一序列匹配子单元714把从第一提取子单元712获得的横向方向上的线与表格模板中的所有水平直线进行匹配，以得到与水平直线一一匹配的有序排列的横向方向上的线。第二提取子单元718从输入的表格图像中提取纵向方向上的线。第二序列匹配子单元720把从第二提取子单元718获得的纵向方向上的线与表格模板中的所有竖直直线进行匹配，以得到与竖直直线一一匹配的有序排列的纵向方向上的线。交织子单元716使从第一序列匹配子单元714获得的匹配的横向方向上的线与从第二序列匹配子单元720获得的匹配的纵向方向上的线交织，以得到与标准表格单元一一匹配的待校正表格单元。

上述图6中示出的装置600及其所包括的各个单元610-620，图7中示出的单元710及其所包括的各子单元712-720，可以被配置成执行上面参照图1-4所描述的各种操作。关于这些操作的进一步细节，可以参考以上描述的各个实施例、具体实施方式和实例，这里不再详细描述。

图8A-8C给出了使用根据本发明的实施例的方法和装置对扭曲的表格文本图像进行校正的实例，其分别示出了向右扭曲的表格图像、表格模板和校正后的标准表格图像。

通常，在扫描的表格图像中会出现没有置于表格单元内的附加信息，如图8A中位于上部的说明性信息和位于下部的提示信息。这些附加信息有些需要在校正后的图像中保留，例如说明性信息，有些则不需要保留，例如提示信息。为此，在表格模板中可以存在虚设的表格线，例如图8B中最上方的水平直线，以构成虚设的标准表格单元，用来把需要保留的信息置于其内。该虚设的表格线不参与从输入的表格图像中提取的横向直线的匹配操作。但是，在映射步骤中要使用该虚设的表格线，以便把输入的表格图像中需要保留的位于表格单元外的信息映射到虚设的标准表格单元中。为此，在映射步骤之前，在通过匹配步骤得到的匹配的表格线的序列中可以增加与所述虚设的表格线对应的附加表格线，以构成与虚设的标准表格单元相对应的待校正表格单元。附加表格线可以设置为与最近邻的表格线平行，其间的距离可以等于虚设的表格线和表格模板中与其最近邻的表格线之间的距离。或者，附加表格线与最近邻的表格线之间的距离可以相对于虚设的表格线和表格模板中与之最近邻的表格线之间的距离按一定比例缩放。该比例可以等于附加表格线的两条最近邻表格线之间的距离与虚设的表格线的两条最近邻表格线之间的距离的比例。另一方面，图8B所示表格模板中位于下部的提示信息没有置于标准表格单元内，因此图8A下部的提示信息没有出现在图8C所示的校正后的标准表格图像中。

此外，就表格线的长度和构型而言，并不要求被检测的输入图像中的表格线与表格模板中的表格线是完全一致的。例如，对于输入图像中彼此隔开的几条线段，如在图8A中示出的最左侧的三条纵向线段，由于各线段的相邻端点在与各线段的延伸方向垂直的方向(横向)上的坐标值接近，因此它们可以被提取为一条纵向表格线。在匹配操作之后，该纵向表格线与图8B中所示位于最左侧的竖直直线匹配。

图8C示出了校正后的标准表格图像。从图8C可以看出，扫描扭曲的表格图像被校正成一种横平纵直的标准表格图像。此外，由于通过上述的映射处理使得校正后的表格图像中各像素的位置与表格模板中各像素的位置一致，因此表格扫描中出现的旋转、缩放和平移等现象也被校正。这便于对表格图像进行进一步的处理，例如对用户填充数据的定位和识别。

同样，使用根据本发明的实施例的方法和装置也可以对向左扭曲的表格文本图像进行校正。

上面已通过框图、流程图和/或实施例进行了详细描述，阐明了根据本发明的实施例的装置和/或方法的不同实施方式。当这些框图、流程图和/或实施例包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

例如，上述装置600和单元710中各个组成模块、单元、子单元可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能。

图9示出了可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。

在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，还根据需要存储当CPU 901执行各种处理等等时所需的数据。CPU 901、ROM902和RAM 903经由总线904彼此连接。输入/输出接口905也连接到总线904。

下述部件也连接到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡例如LAN卡、调制解调器等)。通信部分909经由网络例如因特网执行通信处理。根据需要，驱动器910也可连接到输入/输出接口905。可拆卸介质911例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

因此，本发明还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的各种方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本发明的公开中。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

通过上面对本发明的实施例的描述可知，本发明涵盖的技术方案包括但不限于如下附记所描述的内容：

附记1、一种用于对输入的表格图像进行校正的方法，所述表格图像包括待校正表格单元，该方法包括以下步骤：

匹配步骤，把所述待校正表格单元与预定的表格模板中定义的标准表格单元进行匹配，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和

映射步骤，把通过匹配步骤得到的匹配的待校正表格单元映射到与所述匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

附记2、如附记1所述的方法，其中所述匹配步骤包括以下子步骤：

从输入的表格图像中提取横向方向上的线；

把由提取的横向方向上的线组成的一个或多个第一序列与用于定义标准表格单元的、表格模板中的水平直线的序列进行匹配，以得到由横向方向上的线组成的匹配序列；

从输入的表格图像中提取纵向方向上的线；

把由提取的纵向方向上的线组成的一个或多个第二序列与用于定义标准表格单元的、表格模板中的竖直直线的序列进行匹配，以得到由纵向方向上的线组成的匹配序列；以及

使由横向方向上的线组成的匹配序列与由纵向方向上的线组成的匹配序列交织，以得到匹配的待校正表格单元，

其中横向方向或纵向方向上的线的数目大于或等于表格模板中的水平直线或竖直直线的数目。

附记3.如附记2所述的方法，其中：

通过匹配以得到由横向方向上的线组成的匹配序列的子步骤包括：

提供用于表示所述一个或多个第一序列与表格模板中的水平直线的序列的匹配度的代价函数cost(La，Lb)，其中La＝{a₁，...，a_M}，Lb＝{b₁，...，b_N}，La表示表格模板中的水平直线的第一参数的集合，Lb表示横向方向上的线的与所述第一参数对应的第二参数的集合，M表示表格模板中的水平直线的数目，以及N表示横向方向上的线的数目；

计算所述一个第一序列或者所述多个第一序列中每个第一序列的代价函数cost(La，Lb)的值；以及

在所述一个第一序列的代价函数cost(La，Lb)的值小于预定第一阈值的情况下，把该第一序列确定为由横向方向上的线组成的匹配序列，或者，把所述多个第一序列中具有代价函数cost(La，Lb)的最小值的第一序列确定为由横向方向上的线组成的匹配序列，以及

通过匹配以得到由纵向方向上的线组成的匹配序列的子步骤包括：

提供用于表示所述一个或多个第二序列与表格模板中的竖直直线的序列的匹配度的代价函数cost′(La′，Lb′)，其中La′＝{a′_1′，...，a′_M′}，Lb′＝{b′_1′，...，b′_N′}，La′表示表格模板中的竖直直线的第三参数的集合，Lb′表示纵向方向上的线的与所述第三参数对应的第四参数的集合，M′表示表格模板中竖直直线的数目，以及N′表示纵向方向上的线的数目；

计算所述一个第二序列或者所述多个第二序列中每个第二序列的代价函数cost′(La′，Lb′)的值；以及

在所述一个第二序列的代价函数cost(La，Lb)的值小于预定第二阈值的情况下，把该第二序列确定为由纵向方向上的线组成的匹配序列，或者，把所述多个第二序列中具有代价函数cost′(La′，Lb ′)的最小值的第二序列确定为由纵向方向上的线组成的匹配序列。

附记4.如附记3所述的方法，其中对于所述一个第一序列或者所述多个第一序列中的每一个第一序列，所述代价函数cost(La，Lb)是该第一序列中相邻的横向方向上的线之间的距离与表格模板中的相应水平直线之间的距离的差的平方和，和/或对于所述一个第二序列或者所述多个第二序列的每一个第二序列，所述代价函数cost′(La′，Lb′)是该第二序列中相邻的纵向方向上的线之间的距离与表格模板中的相应竖直直线之间的距离的差的平方和。

附记5.如附记2至4中任一项所述的方法，其中通过匹配以得到由横向方向上的线组成的匹配序列的子步骤和由纵向方向上的线组成的匹配序列的子步骤采用穷举、递归搜索加剪枝、动态规划算法和最优匹配序列分析算法中的任意一种进行匹配。

附记6.如附记1至5中任一项所述的方法，其中映射步骤包括：

针对每一个标准表格单元执行如下操作：

获得标准表格单元中的每个像素在匹配的待校正表格单元中的对应位置；以及

基于与所述对应位置有关的、匹配的待校正表格单元中至少一个像素的特性参数值来确定该标准表格单元中每个像素的特性参数值；以及

通过包含有具有所确定的特性参数值的像素的所有标准表格单元来形成校正的表格图像。

附记7.如附记6所述的方法，其中把通过双线性插值或者透视变换方法求取的对应坐标作为所述对应位置，所述特性参数值选自表示黑白的亮度值、表示灰度的亮度值和颜色值中的一个，以及通过最近邻插值或双线性插值来确定标准表格单元中每个像素的特性参数值。

附记8.如附记2至7中任一项所述的方法，其中横向方向的线和纵向方向上的线中的至少一种为分段线性折线或者曲线。

附记9.如附记1至8中任一项所述的方法，其中所述标准表格单元为矩形或矩形的组合。

附记10.一种用于对输入的表格图像进行校正的装置，所述表格图像包括待校正表格单元，该装置包括：

匹配单元，配置成匹配所述待校正表格单元与预定的表格模板中定义的标准表格单元，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和

映射单元，配置成把匹配的待校正表格单元映射到与所述匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

附记11.如附记10所述的装置，其中所述匹配单元包括：

第一提取子单元，配置成从输入的表格图像中提取横向方向上的线；

第一序列匹配子单元，配置成匹配由所述横向方向上的线组成的一个或多个第一序列与用于定义标准表格单元的、表格模板中的水平直线的序列，以得到由横向方向上的线组成的匹配序列；

第二提取子单元，配置成从输入的表格图像中提取纵向方向上的线；

第二序列匹配子单元，配置成匹配由所述纵向方向上的线组成的一个或多个第二序列与用于定义标准表格单元的、表格模板中的竖直直线的序列，以得到由纵向方向上的线组成的匹配序列；以及

交织子单元，配置成使由横向方向上的线组成的匹配序列与由纵向方向上的线组成的匹配序列交织，以得到匹配的待校正表格单元，

其中由第一或第二提取子单元提取的横向方向或纵向方向上的线的数目大于或等于表格模板中的水平直线或竖直直线的数目。

附记12.如附记11所述的装置，其中

第一序列匹配子单元包括：

第一代价函数提供部件，配置成提供用于表示所述一个第一序列或所述多个第一序列与表格模板中的水平直线的序列的匹配度的代价函数cost(La，Lb)，其中La＝{a₁，...，a_M}，Lb＝{b₁，...，b_N}，La表示表格模板中的水平直线的第一参数的集合，Lb表示提取的横向方向上的线的与所述第一参数对应的第二参数的集合，M表示表格模板中的水平直线的数目，以及N表示提取的横向方向上的线的数目；

第一计算部件，配置成计算所述一个第一序列或所述多个第一序列中每个第一序列的代价函数cost(La，Lb)的值；以及

第一匹配序列确定部件，配置成在所述一个第一序列的代价函数cost(La，Lb)的值小于预定第一阈值的情况下，把该第一序列确定为由横向方向上的线组成的匹配序列，或者，把所述多个第一序列中具有代价函数cost(La，Lb)的最小值的第一序列确定为由横向方向上的线组成的匹配序列；以及

第二序列匹配子单元包括：

第二代价函数提供部件，配置成提供用于表示所述一个第二序列或所述多个第二序列与表格模板中的竖直直线的序列的匹配度的代价函数cost′(La′，Lb′)，其中La′＝{a′_1′，...，a′_M′}，Lb′＝{b′_1′，...，b′_N′}，La′表示表格模板中的竖直直线的第三参数的集合，Lb′表示纵向方向上的线的与所述第三参数对应的第四参数的集合，M′表示表格模板中竖直直线的数目，以及N′表示纵向方向上的线的数目；

第二计算部件，配置成计算所述一个第二序列或所述多个第二序列中每个第二序列的代价函数cost′(La′，Lb′)的值；以及

第二匹配序列确定部件，配置成在所述一个第二序列的代价函数cost(La，Lb)的值小于预定第二阈值的情况下，把该第二序列确定为由纵向方向上的线组成的匹配序列，或者，把所述多个第二序列中具有代价函数cost′(La′，Lb′)的最小值的第二序列确定为由纵向方向上的线组成的匹配序列。

附记13.如附记12所述的装置，其中对于所述一个第一序列或者所述多个第一序列的每一个第一序列，所述代价函数cost(La，Lb)是该第一序列中相邻的横向方向上的线之间的距离与表格模板中的相应水平直线之间的距离的差的平方和，和/或对于所述一个第二序列或者所述多个第二序列的每一个第二序列，所述代价函数cost′(La′，Lb′)是该第二序列中相邻的纵向方向上的线之间的距离与表格模板中的相应竖直直线之间的距离的差的平方和。

附记14.如附记11至13中任一项所述的装置，其中由第一和第二序列匹配子单元进行的匹配采用穷举、递归搜索加剪枝、动态规划算法和最优匹配序列分析算法中的任意一种。

附记15.如附记10至14中任一项所述的装置，其中所述映射单元包括：

特性参数值获取子单元，其被配置成针对每个标准表格单元，获取该标准表格单元中的每个像素在匹配的待校正表格单元中的对应位置；以及基于与所述对应位置有关的、匹配的待校正表格单元中至少一个像素的特性参数值来确定该标准表格单元中每个像素的特性参数值；以及

校正的表格图像形成子单元，其被配置成通过包含有具有所确定的特性参数值的像素的所有标准表格单元来形成校正的表格图像。

附记16.如附记15所述的装置，其中所述对应位置包括采用双线性插值或者透视变换得到的对应坐标，所述特性参数值选自表示黑白的亮度值、表示灰度的亮度值和颜色值中的一个，以及所述特性参数值获取子单元被配置成通过最近邻插值或双线性插值来确定所述标准表格单元中每个像素的特性参数值。

附记17.一种存储有机器可读取的指令代码的程序产品，

所述指令代码由机器读取并执行时，可执行如附记1-9中任何一项所述的方法。

附记18.一种承载有如附记17所述的程序产品的存储介质。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (10)

1.一种用于对输入的表格图像进行校正的方法，所述表格图像包括待校正表格单元，该方法包括以下步骤：

匹配步骤，把所述待校正表格单元与预定的表格模板中定义的标准表格单元进行匹配，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和

映射步骤，把通过匹配步骤得到的匹配的待校正表格单元映射到与所述匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

2.如权利要求1所述的方法，其中所述匹配步骤包括以下子步骤：

从输入的表格图像中提取横向方向上的线；

把由提取的横向方向上的线组成的一个或多个第一序列与用于定义标准表格单元的、表格模板中的水平直线的序列进行匹配，以得到由横向方向上的线组成的匹配序列；

从输入的表格图像中提取纵向方向上的线；

把由提取的纵向方向上的线组成的一个或多个第二序列与用于定义标准表格单元的、表格模板中的竖直直线的序列进行匹配，以得到由纵向方向上的线组成的匹配序列；以及

使由横向方向上的线组成的匹配序列与由纵向方向上的线组成的匹配序列交织，以得到匹配的待校正表格单元，

其中横向方向或纵向方向上的线的数目大于或等于表格模板中的水平直线或竖直直线的数目。

3.如权利要求2所述的方法，其中：

通过匹配以得到由横向方向上的线组成的匹配序列的子步骤包括：

提供用于表示所述一个或多个第一序列与表格模板中的水平直线的序列的匹配度的代价函数cost(La，Lb)，其中La＝{a₁，...，a_M}，Lb＝{b₁，...，b_N}，La表示表格模板中的水平直线的第一参数的集合，Lb表示横向方向上的线的与所述第一参数对应的第二参数的集合，M表示表格模板中的水平直线的数目，以及N表示横向方向上的线的数目；

计算所述一个第一序列或者所述多个第一序列中每个第一序列的代价函数cost(La，Lb)的值；以及

在所述一个第一序列的代价函数cost(La，Lb)的值小于预定第一阈值的情况下，把该第一序列确定为由横向方向上的线组成的匹配序列，或者，把所述多个第一序列中具有代价函数cost(La，Lb)的最小值的第一序列确定为由横向方向上的线组成的匹配序列，以及

通过匹配以得到由纵向方向上的线组成的匹配序列的子步骤包括：

提供用于表示所述一个或多个第二序列与表格模板中的竖直直线的序列的匹配度的代价函数cost′(La′，Lb′)，其中La′＝{a′_1′，...，a′_M′}，Lb′＝{b′_1′，...，b′_N′}，La′表示表格模板中的竖直直线的第三参数的集合，Lb′表示纵向方向上的线的与所述第三参数对应的第四参数的集合，M′表示表格模板中竖直直线的数目，以及N′表示纵向方向上的线的数目；

计算所述一个第二序列或者所述多个第二序列中每个第二序列的代价函数cost′(La′，Lb′)的值；以及

在所述一个第二序列的代价函数cost(La，Lb)的值小于预定第二阈值的情况下，把该第二序列确定为由纵向方向上的线组成的匹配序列，或者，把所述多个第二序列中具有代价函数cost′(La′，Lb′)的最小值的第二序列确定为由纵向方向上的线组成的匹配序列。

4.如权利要求3所述的方法，其中对于所述一个第一序列或者所述多个第一序列中的每一个第一序列，所述代价函数cost(La，Lb)是该第一序列中相邻的横向方向上的线之间的距离与表格模板中的相应水平直线之间的距离的差的平方和，和/或对于所述一个第二序列或者所述多个第二序列的每一个第二序列，所述代价函数cost′(La′，Lb′)是该第二序列中相邻的纵向方向上的线之间的距离与表格模板中的相应竖直直线之间的距离的差的平方和。

5.如权利要求2至4中任一项所述的方法，其中通过匹配以得到由横向方向上的线组成的匹配序列的子步骤和由纵向方向上的线组成的匹配序列的子步骤采用穷举、递归搜索加剪枝、动态规划算法和最优匹配序列分析算法中的任意一种进行匹配。

6.如权利要求1至5中任一项所述的方法，其中映射步骤包括：

针对每一个标准表格单元执行如下操作：

获得标准表格单元中的每个像素在匹配的待校正表格单元中的对应位置；以及

基于与所述对应位置有关的、匹配的待校正表格单元中至少一个像素的特性参数值来确定该标准表格单元中每个像素的特性参数值；以及

通过包含有具有所确定的特性参数值的像素的所有标准表格单元来形成校正的表格图像。

7.如权利要求6所述的方法，其中把通过双线性插值或者透视变换方法求取的对应坐标作为所述对应位置，所述特性参数值选自表示黑白的亮度值、表示灰度的亮度值和颜色值中的一个，以及通过最近邻插值或双线性插值来确定标准表格单元中每个像素的特性参数值。

8.如权利要求2至7中任一项所述的方法，其中横向方向的线和纵向方向上的线中的至少一种为分段线性折线或者曲线。

9.一种用于对输入的表格图像进行校正的装置，所述表格图像包括待校正表格单元，该装置包括：

匹配单元，配置成匹配所述待校正表格单元与预定的表格模板中定义的标准表格单元，以得到与各标准表格单元相匹配的匹配的待校正表格单元；和

映射单元，配置成把匹配的待校正表格单元映射到与所述匹配的待校正表格单元相匹配的相应标准表格单元，以形成校正的表格图像。

10.如权利要求9所述的装置，其中所述匹配单元包括：

第一提取子单元，配置成从输入的表格图像中提取横向方向上的线；

第一序列匹配子单元，配置成匹配由所述横向方向上的线组成的一个或多个第一序列与用于定义标准表格单元的、表格模板中的水平直线的序列，以得到由横向方向上的线组成的匹配序列；

第二提取子单元，配置成从输入的表格图像中提取纵向方向上的线；

第二序列匹配子单元，配置成匹配由所述纵向方向上的线组成的一个或多个第二序列与用于定义标准表格单元的、表格模板中的竖直直线的序列，以得到由纵向方向上的线组成的匹配序列；以及

交织子单元，配置成使由横向方向上的线组成的匹配序列与由纵向方向上的线组成的匹配序列交织，以得到匹配的待校正表格单元，

其中由第一或第二提取子单元提取的横向方向或纵向方向上的线的数目大于或等于表格模板中的水平直线或竖直直线的数目。

Images