CN101267493A - 透视变形文档图像的校正装置和校正方法 - Google Patents

Abstract

本发明提供了透视变形文档图像的校正装置和方法。所述校正装置包括：水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换单元，用于对所述透视变形文档图像进行校正；其中所述水平消失点确定单元包括直接水平线段检测单元和间接水平线段检测单元以及水平消失点检测单元，所述水平消失点检测单元根据直接水平线段检测单元所检测出的直接的水平线段和间接水平线段检测单元检测出的间接的水平线段检测水平消失点。

Description

透视变形文档图像的校正装置和校正方法

技术领域

本发明涉及一种针对文档图像透视变形的校正装置和方法。更具体地，包括一种结合基于图像投影分析和各种线段投票的消失点(包括水平消失点和垂直消失点)检测的综合性方法，以及一种基于字符垂直笔画进行聚类来寻找垂直消失点的方法，以及基于文本知识的透视变形校正变换方法。

背景技术

基于数码相机的文档图像的透视变形校正是文档分析与识别的一个重要的步骤。透视变形校正操作的含义是把由具有透视变形的图像转变为无透视变形的图像。

各种文档图像透视变形校正的原理可以参见P.Clark，M.Mirmehdi在Pattern Recognition 36(11)，2003的文章“Rectifying perspective views oftext in 3D scenes using vanishing points.”，M.Pilu在国际会议IEEEConference on Computer Vision and Pattern Recognition 2001的文章“Extract of illusory linear clues in perspectively skewed documents”，及其S.J.Lu，B.M.Chen，C.C.Ko在Image and Vision Computing 23(5)，2005的文章“Perspective rectification of document images using fuzzy set andmorphological operations.”另外，关于文档图像透视变形校正方法也有专利发表，如美国专利6,873,732，C.R.Dance，“Method and apparatus forresolving perspective distortion in a document image and for calculating linesums in images”，和7,046,404，S.P.Cheatle，D.A.Grosvenor，“Documentimaging system”，以及日本专利P2002-89496，岩田达明，石谷康人，“画像处理装置及画像处理方法”。文档图像透视变形校正一般都是基于消失点检测来完成的，消失点检测包括水平消失点检测和垂直消失点检测。应用于文档图像的消失点检测方法可以分为两大类：一种是直接的利用图像像素投影分析的方法，称之为直接方法，该类方法计算复杂度高，速度非常慢；另一种是间接的利用线段及其交点分析与投票的方法，称之为间接方法，该类方法速度快，但是处理性能非常不稳定。

一般通过数码相机、摄像头等拍摄得到的文档图像具有透视变形，会影响后续相关的文档分析与识别。为了校正这些透视变形，提出了一些不同的文档图像透视变形校正算法，这些算法具有一定的效果。但是，由于数码相机和摄像头的不同型号和拍摄时的不同角度，特别是手机摄像头拍摄得到的文档图像，这些使得透视变形情况非常复杂，目前的校正算法仍然不能较好的解决问题。

发明内容

本发明针对现有技术的上述缺点作出。本发明提出了一种基于文本知识的透视变形校正变换的装置和方法。

根据本发明的一个方面，提供了一种透视变形文档图像的校正装置，所述校正装置包括：水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换单元，用于对所述透视变形文档图像进行校正；其中所述水平消失点确定单元包括直接水平线段检测单元和间接水平线段检测单元以及水平消失点检测单元，所述水平消失点检测单元根据直接水平线段检测单元所检测出的直接的水平线段和间接水平线段检测单元检测出的间接的水平线段检测水平消失点。

根据本发明的一个方面，提供了一种透视变形文档图像的校正装置，所述校正装置包括：水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换单元，用于对所述透视变形文档图像进行校正；其中所述垂直消失点确定单元包括直接垂直线段检测单元和间接垂直线段检测单元以及垂直消失点检测单元，所述垂直消失点检测单元根据直接垂直线段检测单元所检测出的直接的垂直线段和间接垂直线段检测单元检测出的间接的垂直线段两者检测垂直消失点。

根据本发明的一个方面，提供了一种透视变形文档图像的校正方法，所述校正方法包括：水平消失点确定步骤，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定步骤，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换步骤，用于对所述透视变形文档图像进行校正；其中所述水平消失点确定步骤包括直接水平线段检测步骤和间接水平线段检测步骤以及水平消失点检测步骤，所述水平消失点检测步骤根据直接水平线段检测步骤所检测出的直接的水平线段和间接水平线段检测步骤检测出的间接的水平线段检测水平消失点。

根据本发明的一个方面，提供了一种透视变形文档图像的校正方法，所述校正方法包括：水平消失点确定步骤，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定步骤，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换步骤，用于对所述透视变形文档图像进行校正；其中所述垂直消失点确定步骤包括直接垂直线段检测步骤和间接垂直线段检测步骤以及垂直消失点检测步骤，所述垂直消失点检测步骤根据直接垂直线段检测步骤所检测出的直接的垂直线段和间接垂直线段检测步骤检测出的间接的垂直线段两者检测垂直消失点。

本发明的方法克服了直接方法计算复杂度高的问题，同时也克服了间接方法性能不稳定性缺点，基于此综合性消失点检测方法的透视变形文档校正方法，是一种快速鲁棒的透视变形文档图像校正方法。

附图说明

所包含的附图用于提供对本发明的进一步理解，其被并入说明书并构成其一部分，附图说明了本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明的透视变形文档图像的校正装置的结构示意图。

图2是本发明的透视变形文档图像的校正方法的示意流程图。

图3是一种简单快速的Smearing算法。

图4是水平文本行检测单元的结构示意图。

图5是水平文本行检测过程的流程图。

图6是基于连通域形状和大小分析的水平文本行检测装置示意图。

图7是基于连通域形状和大小分析的水平文本行检测的流程图。

图8是水平消失点检测单元的结构示意图。

图9是水平消失点检测的流程图。

图10是某一透视变形的文档图像。

图11是图10所示图像的各种水平线段示意图。

图12是图11所示水平线段两两交点分布的示意图。

图13是字符垂直笔画检测单元的结构示意图。

图14是字符垂直笔画检测的流程图。

图15是垂直消失点检测单元的结构示意图。

图16是垂直消失点检测的流程图。

具体实施方式

下面将参照附图详细说明本发明的透视变形文档图像的校正装置和方法。

图1是依据本发明一个实施例的透视变形文档图像的校正装置的结构图。如图1所示，依据本发明的透视变形文档图像的校正装置包括：透视变形文档图像输入单元101、图像缩小单元102、边缘检测和二值化单元103、直接的水平和垂直线段检测单元104(对应于本发明的直接水平线段检测单元以及直接垂直线段检测单元)、水平文本行检测单元105、水平消失点检测单元106、字符垂直笔画检测单元107、垂直消失点检测单元108、透视变型校正变换单元109，以及矫正后图像输出单元110。

图2是依据本发明的透视变形文档图像的校正方法的示意流程图。如图2所示，在依据本发明实施例的透视变形文档图像的校正装置中，首先通过透视变形文档图像输入单元101输入透视变型文档图像(步骤201)。这些文档图像可来自数码相机、安装摄像头的手机或其它摄像装置。在本发明的一个实施例中，所输入的文档图像输入到图像缩小单元102，该图像缩小单元102对图像进行灰度化和缩小操作(步骤202)，以提高系统处理的速度。在该图像缩小单元102对图像进行了灰度化和缩小操作之后，将该图像输入到边缘检测和二值化单元103。当然，也可直接输入边缘检测和二值化单元103，而不经过图像缩小单元102的处理。

边缘检测和二值化单元103求得灰度图像的边缘图像，并把灰度图像转化为二值图像(步骤203、步骤211)。边缘检测和二值化单元103可以采用各种现有图像边缘化算法和二值化算法，可以采用有效的Canny边缘算法和高速的Otsu二值化方法。在本发明中，根据上下文，文档图像、透视变形文档图像等既可以指从外部(诸如自数码相机、安装摄像头的手机或其它摄像装置等)输入的文档图像，也可以指经边缘检测和二值化单元处理过的文档图像。

在步骤204，直接的水平和垂直线段检测单元104通过对边缘图像进行连通域分析，检测得到长的水平线段(本文称之为直接的水平线段207)和长的垂直线段(本文称之为直接的垂直线段206)。在直接的水平和垂直线段检测单元104中，如果某个连通域的长轴方向接近水平方向，其长轴长度大于某个阈值，而其短轴长度小于另一个阈值，则该连通域的长轴为长的水平线段。同理，如果某个连通域的长轴方向接近垂直方向，其长轴长度大于某个阈值，而其短轴长度小于另一个阈值，则该连通域的长轴为长的垂直线段。

应该注意，虽然在本实施例中检测直接的水平线段和直接的垂直线段都由直接的水平和垂直线段检测单元104进行，但也可以分为两个独立的单元，一个单元进行直接的水平线段检测，一个单元进行直接的垂直线段检测。

同时，在步骤205，水平文本行检测单元105检测边缘图像中的水平文本行，并由这些文本行得到相应的水平线段(本文称之为间接的水平线段208)。在一个实施例中，水平文本行检测单元105例如通过图3所示的一个简单快速的Smearing算法来检测水平文本行。

在步骤209，水平消失点检测单元106根据直接的水平线段207和间接的水平线段208，结合基于图像投影分析的直接方法和基于水平线段及其交点分析与投票的间接方法，来检测消失点并得到最终的水平消失点210，在后文将对此进行详细描述。

同时，在步骤213，字符垂直笔画检测单元107对边缘检测和二值化单元103在步骤211所获得的边缘图像进行字符垂直笔画检测，获得间接的垂直线段214。应该注意，单元107用于获得间接的垂直线段214，在本发明的其他实施例中，该单元页可以采用其他的方法，如现有技术中公开的方法。即便在这种情况下，由于本发明采用了直接方法和间接方法的综合方法，因而仍能实现本发明的目的。在图2所示的情况下，步骤211与步骤203的区别在于输入到步骤211中的图像未经过缩小。变形文档图像212与变形文档图像201相同。

在本发明的一个实施例中，在步骤203中，字符垂直笔画检测单元107通过对边缘图像进行连通域分析，求得字符的垂直笔画，从而得到具有垂直方向指示的线段(即间接的垂直线段214)。

然后在步骤215中，垂直消失点检测单元108根据直接的垂直线段206和间接的垂直线段214，结合基于图像投影分析的直接方法和基于垂直线段及其交点分析与投票的间接方法，来检测消失点并得到最终的垂直消失点(垂直消失点216)。

在本发明中，直接的水平和垂直线段检测单元104(其检测直接的水平线段的部分)、水平文本行检测单元105、水平消失点检测单元106相当于水平消失点确定单元。直接的水平和垂直线段检测单元104(其检测直接的垂直线段的部分)、字符垂直笔画检测单元107、垂直消失点检测单元108相当于垂直消失点确定单元。

然后在步骤217，透视变形校正变换单元109利用水平消失点和垂直消失点，得到透视变形的变换矩阵，然后进行基于文本知识的矫正变换处理，得到最后的校正后文档图像(变形校正后图像218)，并由输出单元110输出。

图3示出了图2所示的步骤205中，水平文本行检测单元105所使用的一种简单快速的Smearing算法(以C语言表示)。其中，height表示待处理二值图像的高度，width表示宽度，image(x，y)＝1表示图像坐标(x, y)处为黑点像素。该快速算法水平扫描每行图像，在每一行中，如果相邻的两个黑像素点的距离小于某个阈值(smear_thres)，则这两点间的像素点全部赋值为黑像素点。

图4是水平文本行检测单元105的结构示意图。如图4所示，依据本发明的一个实施例，水平文本行检测单元105包括：二值文档图像输入单元401、图像Smearing处理单元402、连通域计算单元403、基于连通域形状与大小分析的水平文本行检测单元404、以及间接的水平线段输出单元405。

图5是水平文本行检测单元105的工作流程图。首先在步骤501，通过输入单元401输入由边缘检测和二值化单元103进行边缘检测和二值化得到的二值图像。然后，在步骤502，图像Smearing处理单元402例如通过图3所示简单快速的Smearing算法进行Smearing处理。该Smearing算法对图像进行水平方向的扫描，分析黑点像素之间在水平方向上的关系，如果两个黑点像素在水平方向的距离小于一定的阈值，则这两点之间的像素都变为黑点像素。然后，在步骤503，连通域计算单元403通过分析黑点像素之间的相互关系，计算Smearing处理后图像的连通域。然后在步骤504，由基于连通域形状和大小分析的水平文本行检测单元404通过分析连通域的大小、形状和方向来检测水平文本行，其具体过程见图7所示。在步骤505，由间接的水平线段输出单元405将得到的代表水平文本行的水平线段(即间接的水平线段208)输出。

图6是基于连通域形状和大小分析的水平文本行检测单元404的结构示意图。如图6所示，基于连通域形状和大小分析的水平文本行检测单元404包括长连通域选择单元601、连通域基线计算单元602、以及基线分析单元603。

图7是基于连通域形状和大小分析的水平文本行检测单元404的操作流程图。首先，在步骤701中，由单元601选择长的连通域，例如选择长度较长(即长度大于某一阈值)的连通域作为候选水平文本行。然后，在步骤702中，由单元602计算连通域上、中、下基线，即针对候选文本行的连通域计算上、中、下基线。其具体步骤为，首先计算连通域的上、下轮廓点，其序列为，{(x₁，y₁ ^U(x₂，y₂ ^U)，...，(x_N，y_N ^U)}，{(x₁，y₁ ^L)，x₂，y₂ ^L)，...，(x_N，y_N ^L)}，(x，y)表示图像坐标，N为该连通域的长度。然后保留该连通域上下轮廓点的垂直距离较大(即大于某一阈值)的上下轮廓点，其新的上轮廓点序列位， $\mathrm{Set}\left(U\right)=\{(x_1,y_1^U),(x_2,y_2^U),...,(x_M,y_M^U)\},$ 新的下轮廓点序列为， $\mathrm{Set}\left(L\right)=\{(x_1,y_1^L),(x_2,y_2^L),...,(x_M,y_M^L)\},$ 并计算上下轮廓点在垂直方向的平均距离，得到该连通域的中轮廓点，其序列为， $\mathrm{Set}\left(C\right)=\{(x_1,(y_1^U+y_1^L)/2),(x_2,(y_2^U+y_2^L)/2),...,(x_M,(y_M^U+y_M^L)/2)\}.$ 然后在步骤703，由单元703分析上、下基线的方向关系，如果某连通域的上、下基线基本上在同一方向上(即其夹角小于某一阈值)，而且上、下基线上所有轮廓点对应的平均高度与标准文本行的高度差小于某个值较小的阈值，则表明该连通域为一水平文本行。可采用以其中轮廓点序列拟合得到的线段作为该文本行所表示的直接的水平线段(直接的水平线段207)。

图8是水平消失点检测单元106的结构示意图，该单元是结合基于图像投影分析的直接方法和各种水平线段投票的间接方法的综合性装置。如图8所示，依据本发明的一个实施例，水平消失点检测单元1 06包括水平线段输入单元801、水平线段交点的聚类单元802、候选水平消失点选择单元803、水平方向的透视投影分析单元804、水平消失点综合性分析单元805、以及水平消失点输出单元806。

图9是水平消失点检测单元106的工作流程图，该方法是结合基于图像投影分析的直接方法和各种水平线段投票的间接方法的综合性方法。如图9所示，在步骤901中，由输入单元801输入直接的水平线段207和间接的水平线段208。然后，采用类似于线段及其交点投票的间接方法来进行水平消失点检测。在一个实施例中，在步骤902中，由水平线段交点的聚类单元802对所有的水平线段(包括所得到的直接的水平线段和间接的水平线段)两两交点组成的点集合，利用聚类方法(如K-Means方法)进行聚类，得到多个聚类。所有这些交点具有这样一个性质，它们能够较好的聚为多个子集，如图10-12所示。图10为原透视变形文档图像，图11为水平文本行检测单元205，检测得到的水平线段，图12为这些水平线段两两相交的所有交点的空间分布，坐标(0，0)为图像的左上顶点；其中，真实的水平消失点(图12中实心圆圈点所示)及其周围就是一个聚类。然后在步骤903中，候选水平消失点选择单元803选择每一个聚类的中心点作为一个候选水平消失点，并以该聚类所含交点个数在整个交点数目中的比例作为该候选水平消失点聚类的权重系数(即该候选水平消失点聚类的权重系数)，设为f_h ^d(k)，其中k表示第k个候选水平消失点。然后，采用类似于图像投影分析的直接方法，在上述的候选水平消失点集合上进行水平消失点检测。其次，在本发明中，还采用投影方法来进行对水平消失候选点进行分析。即在步骤904中由水平方向的透视投影分析单元804针对水平消失点对文档图像进行水平方向的透视投影分析。本系统对候选水平消失点选择单元803选择出来的各个候选水平消失点采用的投影方法与P.Clark，M.Mirmehdi在PatternRecognition 36(11)，2003的文章“Rectifying perspective views oftext in 3Dscenes using vanishing points”中第3节介绍的方法相同，得到各个候选水平消失点的投影值累积方差(Derivative-squared-sum)，并以每个候选水平消失点的累积方差在所有候选点的累积方差和中所占的比例为该候选点投影分析的权重系数，设为f_h ⁱ(k)，其中k表示第k个候选水平消失点。然后，在步骤905，水平消失点综合性分析单元805将前面的权重系数进行结合(如下面的公式所示)，

$f_h\left(k\right)=G(f_h^d\left(k\right),f_h^i\left(k\right))$

可以采用线性方式结合这些权重系数(如下面的公式所示)，

$f_h\left(k\right)=\mathrm{\α}{f}_h^d\left(k\right)+\mathrm{\β}{f}_h^i\left(k\right)$

α+β＝1

可以采用简单的形式，α＝β＝0.5。最后，选择结合后的权重系数最大的候选水平消失点作为最终的水平消失点，并由输出单元806进行输出(步骤906)。

该法克服了直接方法高计算复杂度问题，同时也克服了间接方法性能不稳定性缺点，此综合性方法是一种快速鲁棒的消失点检测方法。

图13是依据本发明一个实施例的字符垂直笔画检测单元107的结构示意图。如图13所示，字符垂直笔画检测单元107包括垂直边缘图像输入单元1301、边缘图像的连通域计算单元1302、垂直笔画检测单元1303、以及间接的垂直线段输出单元1304。

图14是依据本发明一个实施例的字符垂直笔画检测单元107的工作流程图。首先，在步骤1401，由输入单元1301输入边缘检测和二值化单元103得到的垂直边缘图像。然后在步骤1402，边缘图像的连通域计算单元1302对垂直边缘图像求连通域。之后，在步骤1403，垂直笔画检测单元1303对连通域形状和大小进行分析，选择高度与字符高度相近、且其方向与垂直方向相近的连通域作为候选垂直笔画，并分析该候选垂直笔画连通域的形状。应注意，在本文中，当连通域的高度与字符高度的差的绝对值小于预定阈值时，称连通域的高度与字符高度相近。类似地，当连通域的方向与垂直方向的差的绝对值小于预定阈值时，称连通域的方向与垂直方向相近。其具体步骤为，设C_i为某候选垂直笔画连通域，通过对该连通域上所有的点运用最小方差(Least-Square)算法拟合一条线段LC_i，线段方程为a_i×y+b_i×x+c＝0，则该连通域上点(x，y)到该线段的距离为，

${\mathrm{DIS}}_i(x,y)=\left|\frac{a_i\×y+b_i\×x+c}{\sqrt{a^2+b^2}}\right|$

设

$f\left({\mathrm{LC}}_i\right)=\left\{\begin{array}{cc}1& N_{{\mathrm{LC}}_i}>n\_\mathrm{thres}\_\mathrm{stroke}\\ 0& \mathrm{otherwise}\end{array}\right.$

其中

$P_{{\mathrm{LC}}_i}=N({\mathrm{DIS}}_i,{\mathrm{\μ}}_{\mathrm{stroke}},{\mathrm{\σ}}_{\mathrm{stroke}})$

$I_{{\mathrm{LC}}_i}(x,y)=\left\{\begin{array}{cc}1& P_{{\mathrm{LC}}_i}(x,y)>p\_\mathrm{thres}\_\mathrm{stroke}\\ 0& \mathrm{otherwise}\end{array}\right.$

$N_{{\mathrm{LC}}_i}=\underset{(x,y)\∈C_i}{\mathrm{\Σ}}{I}_{{\mathrm{LC}}_i}(x,y).$

其中，N(x，μ，σ)为线段LC的均值为μ、标准方差为σ的高斯分布。μ_stroke和σ_stroke是根据经验和实验得到的字符垂直笔画相关的均值和标准方差。p_thres_stroke为近似1的一个阈值，可设为0.98。n_thres_stroke近似该连通域中黑点像素的个数。如果有f(LC_i)＝1，则表示C_i为字符垂直笔画。此时，这些字符垂直笔画连通域所拟合的线段就是间接的垂直线段。在步骤1404，由输出单元1304进行输出。

图15是依据本发明一个实施例的垂直消失点检测单元108的结构示意图，该单元是结合基于图像投影分析的直接方法和各种垂直线段投票的间接方法的综合性装置。如图15所示，依据本发明一个实施例的垂直消失点检测单元108包括：垂直线段输入单元1501、垂直线段交点的聚类单元1502、候选垂直消失点选择单元1503、垂直方向的透视投影分析单元1504、垂直消失点综合性分析单元1505、以及垂直消失点输出单元1506。

图16是依据本发明一个实施例的垂直消失点检测单元108的流程图，该方法是结合了基于图像投影分析的直接方法和各种垂直线段投票的间接方法的综合性方法。如图16所示，在步骤1601，由输入单元1501输入直接的垂直线段206和间接的垂直线段214。然后采用类似于线段及其交点投票的间接方法来进行垂直消失点检测。即在步骤1602，由垂直线段交点的聚类单元1502对所有的垂直线段(包括所得到的直接的垂直线段和间接的垂直线段)两两交点组成的点集合，利用聚类方法(如K-Means方法)进行聚类，得到多个聚类。所有这些交点具有这样一个性质，它们能够较好的聚为多个子集。在步骤1603，候选垂直消失点选择单元1503选择每一个聚类的中心点作为一个候选垂直消失点，并以该聚类所含交点个数在整个交点数目中的比例作为该候选垂直消失点聚类的权重系数(即该候选垂直消失点的权重系数)，设为f_v ^d(k)，其中k表示第k个候选垂直消失点。然后，采用类似于图像投影分析的直接方法，在上述的候选垂直消失点集合上进行候选消失点检测。在步骤1604，由垂直方向的透视投影分析单元1504对垂直方向进行透视投影分析，本系统对选择单元1503得到的各个候选垂直消失点采用的投影方法与P.Clark，M.Mirmehdi在Pattern Recognition 36(11)，2003的文章“Rectifyingperspective views of text in 3D scenes using vanishing points”中第3节介绍的方法相似，但是，不是对整个图像投影，而且对每一行水平文本行(此处的水平文本行是文档图像中的一行行文档，可以通过前面的水平文档行检测单元得到)进行投影。其具体操作为，设B_i ⁿ(k)为上述投影过程中，相对于第k个候选垂直消失点，对第n行水平文本行的第i个bin的值， $B_i^n\left(k\right)=0$ 表示此处对应为文本行中垂直方向的空白列；而 $(B_i^n\left(k\right)==0)=1$ 表示 $B_i^n\left(k\right)=0,$ 否则表示 $B_i^n\left(k\right)\≠0.$ 则投影过程中，第k个候选垂直消失点对应的所有水平文本行的空白列数为，

$g\left(k\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{I}{\mathrm{\Σ}}}(B_i^n\left(k\right)==0)$

其中，N为本文行的数目，I为bin的个数。

这里的文本行通过水平文本行检测单元105得到。

通过上述操作，得到各个候选垂直消失点所对应的空白列数，并以每个候选垂直消失点的空白列数在所有候选点的累积空白列数和所占的比例为该候选点投影的权重系数，设为 $f_v^i\left(k\right)=g\left(k\right),$ 其中k表示第k个候选垂直消失点。然后，在步骤1605，垂直消失点综合性分析单元1505结合前面的权重系数(如下面的公式所示)，

$f_v\left(k\right)=G(f_v^d\left(k\right),f_v^i\left(k\right))$

可以采用线性方式结合这些权重系数(如下面的公式所示)，

$f_v\left(k\right)={\mathrm{\αf}}_v^d\left(k\right)+{\mathrm{\βf}}_v^i\left(k\right)$

α+β＝1

可以采用简单的形式，α＝β＝0.5。最后，选择结合的权重系数最大的候选垂直消失点作为最终的垂直消失点，然后在步骤1605，由输出单元1506输出垂直消失点。

得到水平消失点和垂直消失点，就可以方便地计算出从原始透视变形文档图像到校正后图像的变换矩阵，设变换矩阵为M，则变换过程如下所示，

$\left[\begin{array}{c}{x}_d\\ y_d\\ 1\end{array}\right]=M\left[\begin{array}{c}{x}_u\\ y_u\\ 1\end{array}\right]$

其中(x_d，y_d)表示原图像(透视变形文档图像单元201)坐标，(x_u,y_u)为校正后的图像坐标。给定校正后图像上的一个点(i，j)，i和j都是整数，通过上述变换过程得到一组坐标(fi，fj)，fi和fj都是浮点数。为了提高校正后的图像质量，一般的处理方法都是利用插值来进行的。为了提高变换速度，透视变形校正变换单元117，只对变形图像中有文本的区域进行变换，其它区域则采用近邻点进行代替单元，通过文本检测得到文本区域，对这些本文区域进行基于插值(如线性插值)的校正变形变换，其它区域则直接采用近邻点来代替。设，

i0＝int(fi)

j0＝int(fj)

如果有，(i0，j0)在原变形图像(透视变形文档图像单元201)上的文本点，用mask(i0，j0)＝1表示，则采用插值处理；否则有，

image_dst(i，j)＝image_src(i0，j0)

即用原图像的近邻点(i0，j0)表示校正后图像上的相应点(i，j)。其中，image_src表示原图像，image_dst表示校正后图像。

这里的文本区域通过水平文本行检测单元205得到。

当上述所有步骤完成后，系统输出的结果为变形校正后图像。

和普通的基于各种垂直长线段和水平线段间垂直距离的分析来检测垂直消失点方法相比，本发明提出了一种基于字符垂直笔画进行聚类来寻找垂直消失点方法，通过基于字符笔画形状和大小的连通域分析，检测出字符垂直笔画，对所有两两垂直笔画交点进行聚类，得到多个聚类，每一个聚类中心就是一个垂直候选消失点。该方法比利用垂直线段或水平线段间垂直距离分析的垂直消失点方法具有更强的鲁棒性。

和普通的对待处理图像中的所有像素点都进行像素插值校正变换处理的方法相比，本发明提出的基于文本知识的透视变形校正变换方法，只对变形图像中有文本的区域进行基于插值处理的变换。该方法提高了整个装置与方法的速度。

本方法中的消失点检测采用的是一种综合性方法，结合基于图像投影分析的直接方法和各种线段投票的消失点检测的间接方法，利用各种线段进行投票和聚类，得到消失点的多个候选点，并对这些候选点进行图像投影分析，然后结合前面两个步骤的结果，得到最终的消失点(包括水平消失点和垂直消失点)，并进行相应的透视变形校正。另外，本方法基于字符垂直笔画进行聚类来寻找垂直消失点，利用基于规则的连通域分析，来检测可靠的字符垂直笔画，并对这些垂直笔画的交点进行聚类，得到垂直消失点的多个候选点。最后，本方法基于文本知识来进行透视变形校正变换，由水平消失点和垂直消失点得到变形校正变换矩阵，只对变形图像中有文本的区域进行变换，其它区域则采用近邻点进行代替。本发明可以应用于数码相机拍摄得到的文档图像，也可以应用于携带摄像头的手机拍摄到的文档图像，及其它通过摄像头拍摄得到的文档图像。

综上所述，根据本发明的一个方面，提供了一种透视变形文档图像的校正装置，所述校正装置包括：水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换单元，用于对所述透视变形文档图像进行校正；其中所述水平消失点确定单元包括直接水平线段检测单元和间接水平线段检测单元以及水平消失点检测单元，所述水平消失点检测单元根据直接水平线段检测单元所检测出的直接的水平线段和间接水平线段检测单元检测出的间接的水平线段检测水平消失点。

根据本发明的一个方面，提供了一种透视变形文档图像的校正装置，所述校正装置包括：水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换单元，用于对所述透视变形文档图像进行校正；其中所述垂直消失点确定单元包括直接垂直线段检测单元和间接垂直线段检测单元以及垂直消失点检测单元，所述垂直消失点检测单元根据直接垂直线段检测单元所检测出的直接的垂直线段和间接垂直线段检测单元检测出的间接的垂直线段两者检测垂直消失点。

根据本发明的一个方面，提供了一种透视变形文档图像的校正方法，所述校正方法包括：水平消失点确定步骤，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定步骤，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换步骤，用于对所述透视变形文档图像进行校正；其中所述水平消失点确定步骤包括直接水平线段检测步骤和间接水平线段检测步骤以及水平消失点检测步骤，所述水平消失点检测步骤根据直接水平线段检测步骤所检测出的直接的水平线段和间接水平线段检测步骤检测出的间接的水平线段检测水平消失点。

根据本发明的一个方面，提供了一种透视变形文档图像的校正装置，所述校正装置包括：水平消失点确定步骤，用于检测所述透视变形文档图像的水平消失点；垂直消失点确定步骤，用于检测所述透视变形文档图像的垂直消失点；透视变形校正变换步骤，用于对所述透视变形文档图像进行校正；其中所述垂直消失点确定步骤包括直接垂直线段检测步骤和间接垂直线段检测步骤以及垂直消失点检测步骤，所述垂直消失点检测步骤根据直接垂直线段检测步骤所检测出的直接的垂直线段和间接垂直线段检测步骤检测出的间接的垂直线段两者检测垂直消失点。

根据本发明的一个实施例，所述水平线段交点聚类单元使用K-Means方法进行所述聚类。

根据本发明的一个实施例，所述水平消失点检测单元包括：水平线段交点聚类单元，对所有的水平线段中两两水平线段的交点组成的点集合进行聚类，得到多个聚类；候选水平消失点选择单元，将各聚类的中心点选为候选水平消失点，并得到各候选水平消失点的权重系数；水平方向透视投影分析单元，针对候选水平消失点对文档图像进行水平方向的透视投影分析，并得到各候选水平消失点的另一权重系数；水平消失点综合性分析单元，根据所述权重系数和所述另一权重系数，选择最终的水平消失点。

根据本发明的一个实施例，所述水平消失点综合性分析单元采用线性方式对所述水平方向透视投影分析单元所获得的权重系数以及候选水平消失点选择单元所获得的权重系数进行结合。

根据本发明的一个实施例，所述垂直消失点确定单元包括直接垂直线段检测单元和间接垂直线段检测单元以及垂直消失点检测单元，所述垂直消失点检测单元根据直接垂直线段检测单元所检测出的直接的垂直线段和间接垂直线段检测单元检测出的间接的垂直线段两者检测垂直消失点。

根据本发明的一个实施例，所述间接垂直线段检测单元包括：连通域计算单元，对所述文档图像求连通域；字符垂直笔画检测单元，对所述连通域的形状和大小进行分析，确定候选垂直笔画，并分析该候选垂直笔画连通域的形状，以获得垂直线段。

根据本发明的一个实施例，所述字符垂直笔画检测单元选择高度与字符高度相近、且其方向与垂直方向相近的连通域作为候选垂直笔画。

根据本发明的一个实施例，所述垂直消失点检测单元包括：垂直线段交点聚类单元，对所述直接的垂直线段和间接的垂直线段组成的集合中的两两垂直线段的交点组成的点集合进行聚类，得到多个聚类；垂直消失点选择单元，选择各聚类的中心点作为候选垂直消失点，并得到各候选垂直消失点的权重系数；垂直方向透视投影分析单元，针对各候选垂直消失点，对所述文档图像进行垂直方向的透视投影分析，并得到各候选垂直消失点的另一权重系数；垂直消失点综合性分析单元，其针对各候选垂直消失点对所述垂直消失点选择单元所获得的权重系数和所述垂直方向透视投影分析单元所获得的另一权重系数进行分析，获得最终的垂直消失点。

根据本发明的一个实施例，所述垂直线段交点聚类单元利用K-Means方法进行聚类。

根据本发明的一个实施例，所述垂直方向透视投影分析单元(步骤)对每一行水平文本行进行投影，并对所有文本行的投影分析结果进行综合。

根据本发明的一个实施例，所述垂直消失点选择单元(步骤)以所述聚类所含交点个数在整个交点数目中的比例作为该候选垂直消失点聚类的权重系数。

另外，本发明还提供了一种计算机程序，所述程序可由计算机执行以实现本发明的透视变形文档图像的校正方法。

另外，本发明还提供了一种计算机程序，所述程序可由计算机执行而使计算机用作本发明的透视变形文档图像的校正装置。

依据本发明的再一方面，本发明提供了一种数据存储介质，所述数据存储介质存储有上述的计算机程序。所述存储介质可以是本领域技术人员可以知道的任何存储介质，如ROM、软盘、闪存、硬盘、CD、DVD、磁带等等。

虽然在本发明的上述描述中，各步骤是按顺序描述的，但这些步骤的顺序可以调整，也可以并行执行。

请注意，在本文中，“包括”、“包含”等表示存在，并不排斥其他部件的存在，即为包括但不限于的意思。例如A包括B，只表明A中含有B，可能A中还含有C。

应该注意，前面的实施例都是示例性的，并不是对本发明的限制。本领域技术人员可以在本发明的精神和范围内进行各种变型和修改，这些变型和修改只要落入了权利要求及其等同物的范围，就在本发明所要求的保护范围内。

Claims (20)

1. 一种透视变形文档图像的校正装置，所述校正装置包括：

水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；

垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；

透视变形校正变换单元，用于对所述透视变形文档图像进行校正；

其中所述水平消失点确定单元包括直接水平线段检测单元和间接水平线段检测单元以及水平消失点检测单元，所述水平消失点检测单元根据直接水平线段检测单元所检测出的直接的水平线段和间接水平线段检测单元检测出的间接的水平线段检测水平消失点。

2. 根据权利要求1所述的透视变形文档图像的校正装置，其特征在于，

所述水平消失点检测单元包括：

水平线段交点聚类单元，对所有直接的水平线段和间接水平线段组成的集合中的两两水平线段的交点组成的点集合进行聚类，得到多个聚类；

候选水平消失点选择单元，将各聚类的中心点选为候选水平消失点，并得到各候选水平消失点的权重系数；

水平方向透视投影分析单元，针对候选水平消失点对所述文档图像进行水平方向的透视投影分析，并得到各候选水平消失点的另一权重系数；

水平消失点综合性分析单元，根据各所述候选水平消失点的所述权重系数和所述另一权重系数，选择最终的水平消失点。

3. 根据权利要求2所述的透视变形文档图像的校正装置，其特征在于，所述水平线段交点聚类单元使用K-Means方法进行所述聚类。

4. 根据权利要求2所述的透视变形文档图像的校正装置，其特征在于，所述水平消失点综合性分析单元采用线性方式对所述水平方向透视投影分析单元所获得的所述另一权重系数以及所述候选水平消失点选择单元所获得的所述权重系数进行结合。

5. 根据权利要求1所述的透视变形文档图像的校正装置，其特征在于，所述垂直消失点确定单元包括直接垂直线段检测单元和间接垂直线段检测单元以及垂直消失点检测单元，所述垂直消失点检测单元根据直接垂直线段检测单元所检测出的直接的垂直线段和间接垂直线段检测单元检测出的间接的垂直线段两者检测垂直消失点。

6. 根据权利要求5所述的透视变形文档图像的校正装置，其特征在于，所述间接垂直线段检测单元包括：

连通域计算单元，对所述文档图像求连通域；

字符垂直笔画检测单元，对所述连通域的形状和大小进行分析，确定候选垂直笔画，并分析该候选垂直笔画连通域的形状，以获得垂直线段。

7. 根据权利要求6所述的透视变形文档图像的校正装置，其特征在于，所述字符垂直笔画检测单元选择高度与字符高度相近、且其方向与垂直方向相近的连通域作为候选垂直笔画。

8. 根据权利要求5所述的透视变形文档图像的校正装置，其特征在于，所述垂直消失点检测单元包括：

垂直线段交点聚类单元，对所述直接的垂直线段和间接的垂直线段组成的集合中的两两垂直线段的交点组成的点集合进行聚类，得到多个聚类；

垂直消失点选择单元，选择各聚类的中心点作为候选垂直消失点，并得到各候选垂直消失点的权重系数；

垂直方向透视投影分析单元，针对各候选垂直消失点，对所述文档图像进行垂直方向的透视投影分析，并得到各候选垂直消失点的另一权重系数；

垂直消失点综合性分析单元，其针对各候选垂直消失点对所述垂直消失点选择单元所获得的权重系数和所述垂直方向透视投影分析单元所获得的另一权重系数进行分析，获得最终的垂直消失点。

9. 根据权利要求8所述的透视变形文档图像的校正装置，其特征在于，所述垂直线段交点聚类单元利用K-Means方法进行聚类。

10. 根据权利要求8所述的透视变形文档图像的校正装置，其特征在于，所述垂直方向透视投影分析单元对每一行水平文本行进行投影，并对所有文本行的投影分析结果进行综合。

11. 根据权利要求8所述的透视变形文档图像的校正装置，其特征在于，所述垂直消失点选择单元以所述聚类所含交点个数在整个交点数目中的比例作为该候选垂直消失点的权重系数。

12. 一种透视变形文档图像的校正装置，所述校正装置包括：

水平消失点确定单元，用于检测所述透视变形文档图像的水平消失点；

垂直消失点确定单元，用于检测所述透视变形文档图像的垂直消失点；

透视变形校正变换单元，用于对所述透视变形文档图像进行校正；

其中所述垂直消失点确定单元包括直接垂直线段检测单元和间接垂直线段检测单元以及垂直消失点检测单元，所述垂直消失点检测单元根据直接垂直线段检测单元所检测出的直接的垂直线段和间接垂直线段检测单元检测出的间接的垂直线段两者检测垂直消失点。

13. 根据权利要求12所述的透视变形文档图像的校正装置，其特征在于，所述间接垂直线段检测单元包括：

连通域计算单元，对所述文档图像求连通域；

字符垂直笔画检测单元，对所述连通域的形状和大小进行分析，确定候选垂直笔画，并分析该候选垂直笔画连通域的形状，以获得垂直线段。

14. 根据权利要求13所述的透视变形文档图像的校正装置，其特征在于，所述字符垂直笔画检测单元选择高度与字符高度相近、且其方向与垂直方向相近的连通域作为候选垂直笔画。

15. 根据权利要求12所述的透视变形文档图像的校正装置，其特征在于，所述垂直消失点检测单元包括：

垂直线段交点聚类单元，对所述直接的垂直线段和间接的垂直线段组成的集合中的两两垂直线段的交点组成的点集合进行聚类，得到多个聚类；

垂直消失点选择单元，选择各聚类的中心点作为候选垂直消失点，并得到各候选垂直消失点的权重系数；

垂直方向透视投影分析单元，针对各候选垂直消失点，对所述文档图像进行垂直方向的透视投影分析，并得到各候选垂直消失点的另一权重系数；

垂直消失点综合性分析单元，其针对各候选垂直消失点对所述垂直消失点选择单元所获得的权重系数和所述垂直方向透视投影分析单元所获得的另一权重系数进行分析，获得最终的垂直消失点。

16. 根据权利要求15所述的透视变形文档图像的校正装置，其特征在于，所述垂直线段交点聚类单元利用K-Means方法进行聚类。

17. 根据权利要求15所述的透视变形文档图像的校正装置，其特征在于，所述垂直方向透视投影分析单元对每一行水平文本行进行投影，并对所有文本行的投影分析结果进行综合。

18. 根据权利要求15所述的透视变形文档图像的校正装置，其特征在于，所述垂直消失点选择单元以所述聚类所含交点个数在整个交点数目中的比例作为该候选垂直消失点的权重系数。

19. 一种透视变形文档图像的校正方法，所述校正方法包括：

水平消失点确定步骤，用于检测所述透视变形文档图像的水平消失点；

垂直消失点确定步骤，用于检测所述透视变形文档图像的垂直消失点；

透视变形校正变换步骤，用于对所述透视变形文档图像进行校正；

其中所述水平消失点确定步骤包括直接水平线段检测步骤和间接水平线段检测步骤以及水平消失点检测步骤，所述水平消失点检测步骤根据直接水平线段检测步骤所检测出的直接的水平线段和间接水平线段检测步骤检测出的间接的水平线段检测水平消失点。

20. 一种透视变形文档图像的校正方法，所述校正方法包括：

水平消失点确定步骤，用于检测所述透视变形文档图像的水平消失点；

垂直消失点确定步骤，用于检测所述透视变形文档图像的垂直消失点；

透视变形校正变换步骤，用于对所述透视变形文档图像进行校正；

其中所述垂直消失点确定步骤包括直接垂直线段检测步骤和间接垂直线段检测步骤以及垂直消失点检测步骤，所述垂直消失点检测步骤根据直接垂直线段检测步骤所检测出的直接的垂直线段和间接垂直线段检测步骤检测出的间接的垂直线段两者检测垂直消失点。

Images