CN102073997B - 小型文档图像透视复原方法 - Google Patents

Abstract

本发明公开了一种小型文档图像透视复原方法，给定文档透视图像的四个角点坐标，对所述四个角点坐标进行纠正；计算纠正后文档图像中的各像素的颜色值；对于纠正后的图像中存在的空穴，采用邻近取值法进行填充颜色。本发明技术方案特别适用于小型文档或文档离相机有一定距离的透视变形的纠正。

Description

小型文档图像透视复原方法

技术领域

本发明涉及一种图像处理技术，具体说，涉及一种小型文档图像透视复原方法。

背景技术

数字图像处理（Digital Image Processing）又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。

一般来讲，对图像进行处理（或加工、分析）的主要目的有三个方面:

（1）提高图像的视感质量。如进行图像的亮度、彩色变换，增强、抑制某些成分，对图像进行几何变换等，以改善图像的质量。

（2）提取图像中所包含的某些特征或特殊信息，这些被提取的特征或信息往往为计算机分析图像提供便利。提取特征或信息的过程是模式识别或计算机视觉的预处理。提取的特征可以包括很多方面，如频域特征、灰度或颜色特征、边界特征、区域特征、纹理特征、形状特征、拓扑特征和关系结构等。

（3）图像数据的变换、编码和压缩，以便于图像的存储和传输。

不管是何种目的图像处理，都需要由计算机和图像专用设备组成的图像处理系统对图像数据进行输入、加工和输出。

图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。如强化图像高频分量，可使图像中物体轮廓清晰，细节明显；如强化低频分量可减少图像中噪声影响。图像复原要求对图像降质的原因有一定的了解，一般讲应根据降质过程建立“降质模型”，再采用某种滤波方法，恢复或重建原来的图像。

数字图像在获取过程中，由于成像面与文挡面不平行，成像后的图像与原小型文档表面图像相比，会产生透视变形，远一些的文字会变得较小，而且直线的平行关系也发生变化，原本平行的文字行出现一定的夹角这些现象，会对后续的版面分析、字符分割、文字识别等工作产生很大的困难，甚至会导致错分、错识的现象发生。

发明内容

本发明所解决的技术问题是提供一种小型文档图像透视复原方法，特别适用于小型文档或文档离相机有一定距离的透视变形纠正。

技术方案如下：

一种小型文档图像透视复原方法，包括：

给定文档透视图像的四个角点坐标，对所述四个角点坐标进行纠正；

计算纠正后文档图像中的各像素的颜色值；

对于纠正后的图像中存在的空穴，采用邻近取值法进行填充颜色；

角点坐标的关系中X与Y呈线性关系，且X=Y，利用公式C’F=X*1.2AG*S^1/6/(AD-X)+60X²/(AD*(AD-X))对所述角点坐标进行纠正，其中，X是纠正后图像垂直高度减去纠正前图像垂直高度；C’F是纠正后图像水平宽度减去纠正前图像水平宽度；AG是纠正前图像水平宽度；AD是纠正后图像的高度；S=atan(X/AG)；Y=(C’F-60X²/(AD*(AD-X)))*(AD-X)/(1.2AG*S^1/6)。

进一步：纠正四个角点时，设定纠正前的矩形四个角点坐标为左下(x’_A，y’_A)、右下（x’_B，y’_B）、右上（x’_C，y’_C）、左上（x’_D，y’_D），则纠正后的四个角为左下(x_A，y_A)、右下（x_B，y_B）、右上（x_C，y_C）、左上（x_D，y_D），其中，x_A=x’_A,、y_A=y’_A、y_C=y’_D、x_A=x_D,、y_A=y_B、y_C=y_D；则纠正后的四个角点坐标为左下(x’_A,y’_A)、右下（x_B,y’_A）、右上（x_B,y’_D）、左上（x’_A,y’_D），其中，x_B=x’_B+1.2|atan((y’_C-y’_D-y’_A+y’_B)/(x’_B-x’_A))|^1/6(x’_B-x’_A)(y’_C-y’_D-y’_A+y’_B)/(2y’_A-y’_C-y’_B)+60(y’_C-y’_D-y’_A+y’_B)²/((y’_A-y’_D)(2y’_A-y’_C-y’_B))。

进一步：填充颜色时，将所述空穴采用其相邻域的颜色进行填充。

技术效果包括：

1、本发明适用于文档的一条边垂直或水平。

2、本发明的特别适用于小型文档或文档离相机有一定距离的透视变形纠正。

3、本发明的特别适用于旋转角度小于45度的透视变形纠正。

附图说明

图1是本发明中单位立方体的一点透视和二点透视示意图；

图2是本发明中小型文挡边框一点透视图；

图3是本发明中不同相机位置、文档绕y轴旋转从0到60度的不同透视图；

图4是本发明中透视图与原图的几何关系示意图；

图5是本发明中透视图与原图的几何关系示意图；

图6是本发明中绕Y旋转10度、不同宽度矩形透视还原误差示意图；

图7是本发明中绕Y旋转20度、不同宽度矩形透视还原误差示意图；

图8是本发明中绕Y旋转30度、不同宽度矩形透视还原误差示意图；

图9是本发明中绕Y旋转40度、不同宽度矩形透视还原误差示意图；

图10是本发明中绕Y旋转20度、不同高度矩形透视还原误差示意图。

具体实施方式

常规的小型文档图像处理前，利用本发明能够实现对透视变形的纠正。下面参考附图和优选实施例对本发明技术方案作详细描述。

1、将计算机图形学中的透视公式应用于图像处理。

透视投影按照主灭点的个数分为一点透视、二点透视和三点透视。

如图1所示，是本发明中单位立方体的一点透视和二点透视示意图。任何一束不平行于投影平面的平行线的透视投影将汇聚成一点，称之为灭点，在坐标轴上的灭点称为主灭点。主灭点数是和投影平面切割坐标轴的数量相对应的。如投影平面仅切割z轴，则z轴是投影平面的法线，因而只在z轴上有一个主灭点，而平行于x轴或y轴的直线也平行于投影平面，因而没有灭点。

设投影平面为z=0平面，透视投影的视点（投影中心）为V（0，0，h）其中h为投影中心到投影面的距离，形体上点P（x，y，z）的投影为（x′，y′），当投影面不变，物体绕y轴旋转

角，再绕x轴旋转θ度，进行平移变换（d_x,d_y），最后对三维形体作透视投影变换。以上变换用齐次坐标及变换矩阵表示如下：

$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\\ d_x& d_y& d_z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& -1/h\\ 0& 0& 0& 1\end{array}\right]$

所以三点透视投影的变换式为：

上式中（各参数前面已说明），当θ=0或

为两点透视图，当θ=0和

为一点透视图。

对于两点透视的文挡图像，因不考虑厚度方向（也即Z方向），则两点透视投影中有一个主灭点。可将θ=0或代入式（1）。

式（1）说明对于有一定旋转角度的文档，经像机拍摄后（透视投影）原平面坐标（x，y）会变形为（x’，y’）。如果对于一幅文档图像中某一点（x’，y’），已知像机的焦距（h）、文档离像机的距离(-z)，文档的旋转角度θ或则可通过式（1）反算出原文档的坐标（x，y），但一般情况旋转角度是未知的，z也较难求准确，因此，必须采用其它方法进行纠正。

2、分析小型文挡图像透视变形的几何特征。

分析透视变形不难发现当小型文挡图像的一条边（如垂直边）与数码相机成像平面平行时，会产生一个主灭点。

如图2所示，是本发明中小型文挡边框一点透视图。图中显示文挡平面不平行相机平面的几种情况，这几种情况从左到右分别是：原始图像、视点在左下角的垂直于投影面的轴上、视点在左下角的下方垂直于投影面的轴上、视点在左边界中心的垂直于投影面的轴上。

从图2中可以看出，同一个原始图像因不同的视点位置（相机位置）可产生不同的透视图。要将透视图复原为原图，需分析透视图的几何特征。

如图3所示，是本发明中不同相机位置、文档绕y轴旋转从0到60度的不同透视图。根据小型文挡绕y轴旋转不同角度的透视图（通过式（1）计算）分析，可以看出：

（1）文档绕y轴转的角度越大，文档变形越大。

（2）文档在水平与垂直方向远离视点的位置，其变形也大。

（3）文档在z方向上离相机较远时，文档变形较小。

如图4所示，是本发明中透视图与原图的几何关系示意图。设文档原始四个角编号为A、B、C、D，透视后的四个角为A’、B’、C’、D’。当将透视后的图还原到原图时，需将B’还原到B，C’还原到C，同时将文档内的每一个像素都还原到相应位置。

一般已知是透视后的文档图像，而原文档图是未知的。只要找出C’E、BG与C’F之间的关系，就可求出C’F，得到原图的宽度（或高度），另一个高度（或宽度）因与相机平面平行，可直接从图像中获取。

3、通过大量试验求出透视变形的纠正公式。

如图5所示，是本发明中透视图与原图的几何关系示意图。图中显示了不同相机位置、不同大小文档、不同旋转角度的C’E、B’G与C’F之间的关系（通过多次实验获取得到）。

图5中的横坐标是X=C’E-B’G，对于图3中的第四种情况X=C’E+B’G。当B’G在矩形外时取负，当B’G在矩形之内时取正。

纵坐标是Y=(C’F-60X²/(AD*(AD-X)))*(AD-X)/(1.2AG*S^1/6)

式中：S=atan(X/AG)

可见X与Y近似一个线性关系，且X=Y，

则C’F=X*1.2AG*S^1/6/(AD-X)+60X²/(AD*(AD-X))（2）

其中，X是纠正后图像垂直高度减去纠正前图像垂直高度；C’F是纠正后图像水平宽度减去纠正前图像水平宽度；AG是纠正前图像水平宽度；AD是纠正后图像的高度。

这是本发明的一个纠正公式。

4、纠正公式的误差分析。

下面参考图6至图10，利用纠正公式对式（1）理论计算出的透视图进行还原，并对误差作详细分析。

如图6所示，是本发明中绕Y旋转10度、不同宽度矩形透视还原误差示意图。其中，横坐标代表矩形宽度，一个单位为100像素；纵坐标代表绝对误差，一个单位是50像素。曲线从上到下分别是同一个矩形离视点（或相机）从近到远。

如图7至10所示，从图中可以看出，当文档小时纠正误差小（横坐标值小的区域）；当文档离相机远时纠正误差小（离横坐标近的曲线）；当旋转角度小（图7、8、10）时纠正误差小。

根据技术方案分析的结果，可以用原始图像坐标与透视图像坐标之间的关系进行纠正。因此消除变形恢复原图像的问题就转化为从变形图像和原始图像两坐标之间关系求得无失真的图像问题。下面对具体实施方式作详细描述。

步骤1：给定文档透视图像的四个角点坐标。

进行图像校正前，先给定图像中小型文档的四个角点坐标：左下(x’_A,y’_A)、右下（x’_B,y’_B）、右上（x’_C,y’_C）、左上（x’_D,y’_D），设坐标原点在图像的左上角，文档的左右边界是垂直的：x’_A=x’_D、x’_B=x’_C。则四个角点的坐标为：左下(x’_A,y’_A)、右下（x’_B,y’_B）、右上（x’_B,y’_C）、左上（x’_A,y’_D）。

步骤2：纠正四个角点。

设纠正前的矩形四个角点坐标为左下(x_A,y_A)、右下（x_B,y_B）、右上（x_C,y_C）、左上（x_D,y_D），

这里：x_A=x’_A,、y_A=y’_A、y_C=y’_D、x_A=x_D,、y_A=y_B、y_C=y_D

则纠正后的矩形四个角点坐标为左下(x’_A,y’_A)、右下（x_B,y’_A）、右上（x_B,y’_D）、左上（x’_A,y’_D），只有一个未知量x_B.。

根据式（2），得：

x_B=x’_B+1.2|atan((y’_C-y’_D-y’_A+y’_B)/(x’_B-x’_A))|^1/6(x’_B-x’_A)(y’_C-y’_D-y’_A+y’_B)/(2y’_A-y’_C-y’_B)+60(y’_C-y’_D-y’_A+y’_B)²/((y’_A-y’_D)(2y’_A-y’_C-y’_B))。

步骤3：计算纠正后文档图像中的各像素的颜色值。

设纠正前文档图像中文档中坐标为(x’,y’)时，纠正后该坐标变换到（x,y）处。具体过程如下：

（1）循环水平坐标x’从x’_A到x’_B变化；

（2）对于给定的x’值以及四个纠正前角点坐标，利用线性插值求出对应变形后的y₁（相当于图5中的B’的y值）与y₂（相当于图5中的C’的y值）；

y₁=(x-x’_A)/(x’_A-x’_B)(y’_A-y’_B)+y’_A

y₂=(x-x_D)/(x’_D-x’_C)(y’_D-y’_C)+y’_D

（3）计算x’的复原值x；

x=x’+1.2|atan((y₂-y’_D-y’_A+y₁)/(x’_B-x’_A))|^1/6(x’_B-x’_A)(y₂-y’_D-y’_A+y₁)/(2y’_A-y₂-y₁)+60(y₂-y’_D-y’_A+y₁)²/((y’_A-y’_D)(2y’_A-y₂-y₁))

（4）循环垂直坐标y’从y₂到y₁变化；

（5）根据y’值，线性插值求出纠正后的y，

y=y’(y’_A-y’_D)/(y₁-y₂)+y’_D-y₂(y’_A-y’_D)/(y₁-y₂)；

（6）将（x，y）处颜色设置为(x’，y’)处的颜色，直到图像中全部像素纠正完毕为止。

步骤4：填充空穴。

对于纠正后的图像还存在空穴（未置任何颜色），采用邻近取值法进行填充。具体方法为当计算出（x，y）处颜色后，按八邻域方式将其周围相邻的8个坐标点全部置与（x，y）处相同的颜色。

Claims (3)

1.一种小型文档图像透视复原方法，包括：

给定文档透视图像的四个角点坐标，对所述四个角点坐标进行纠正；

计算纠正后文档图像中的各像素的颜色值；

对于纠正后的图像中存在的空穴，采用邻近取值法进行填充颜色；

角点坐标的关系中X与Y呈线性关系，且X=Y，利用公式C’F=X*1.2AG*S^1/6/(AD-X)+60X²/(AD*(AD-X))对所述角点坐标进行纠正，其中，X是纠正后图像垂直高度减去纠正前图像垂直高度；C’F是纠正后图像水平宽度减去纠正前图像水平宽度；AG是纠正前图像水平宽度；AD是纠正后图像的高度；S=atan(X/AG)；Y=(C’F-60X²/(AD*(AD-X)))*(AD-X)/(1.2AG*S^1/6)。

2.如权利要求1所述的小型文档图像透视复原方法，其特征在于：纠正四个角点时，设定纠正前的矩形四个角点坐标为左下(x’_A，y’_A)、右下（x’_B，y’_B）、右上（x’_C，y’_C）、左上（x’_D，y’_D），则纠正后的四个角为左下(x_A，y_A)、右下（x_B，y_B）、右上（x_C，y_C）、左上（x_D，y_D），其中，x_A=x’_A,、y_A=y’_A、y_C=y’_D、x_A=x_D,、y_A=y_B、y_C=y_D；则纠正后的四个角点坐标为左下(x’_A，y’_A)、右下（x_B，y’_A）、右上（x_B，y’_D）、左上（x’_A，y’_D），其中，x_B=x’_B+1.2|atan((y’_C-y’_D-y’_A+y’_B)/(x’_B-x’_A))|^1/6(x’_B-x’_A)(y’_C-y’_D-y’_A+y’_B)/(2y’_A-y’C-y’_B)+60(y’_C-y’_D-y’_A+y’_B)²/((y’_A-y’_D)(2y’_A-y’_C-y’_B))。

3.如权利要求1所述的小型文档图像透视复原方法，其特征在于：填充颜色时，将所述空穴采用其相邻域的颜色进行填充。

Images