CN103679638A - 残缺或变形的四边形图像的校正方法 - Google Patents

Abstract

本发明涉及一种残缺或变形的四边形图像的校正方法，该方法包括边缘点检测、异常边缘点剔除、直线拟合、顶点计算以及图像校正五个步骤。该残缺或变形的四边形图像的校正方法应用于有价文件、票据、身份证等证件的识别方法核识别系统中，能对存在残损、变形的有价文件、票据或证件图像，快速地进行边缘检测和倾斜校正。

Description

残缺或变形的四边形图像的校正方法

技术领域

本发明涉及有价文件、票据、证件图像的识别技术，尤其是涉及金融领域的钞票等有价文件、车票等票据以及如身份证等证件四边形图像的边缘检测及校正方法。

背景技术

有价文件、票据、证件等识别装置中，常常由于放置或高速运动等过程发生位置倾斜，运动变形等，因此产生的图像多为倾斜、存在变形的图像。因此在进行其识别时，第一步常常是对所采集到的图像进行边缘检测和倾斜校正，进而对倾斜校正后的图像内容进行识别。因此，边缘检测、倾斜校正是有价文件、票据、证件等识别系统设计中的一个重要课题。

有价文件、票据、证件图像在边缘检测、倾斜校正过程中，具有以下特点：

1.外形为四边形，但在四个边缘上常常可能存在残损，而我们需要获取的是有价文件、票据、证件没有残损情况下的边缘。

2.识别装置对于识别时间、存储空间要求较高。如普通的存取款机，其处理有价介质的速度很快。而在每个有价介质的处理中，包含了多项识别项目，例如有价文件类型识别、有价文件冠字号识别、有价文件真伪识别、有价文件清分识别等，因此要求其边缘检测、倾斜校正的时间短。而且，较多的有价介质在嵌入式等硬件平台上实现，对于存储空间也提出了严格要求。

3.有价文件在识别装置运动过程中，可能存在摩擦系数不一致等因素，产生的图像存在变形。或者在证件扫描中存在角度问题，产生的证件图像存在梯形变形等。

常用的边缘检测算法有Hough变换，Hough变换是从将直角坐标系映射到极坐标系，如一条直线在直角坐标系中表示为y=kx+b，在极坐标系下表示为r=xcos(θ)+y sin(θ)，直角坐标系中任何一条直线对应极坐标系的一个点。利用Hough变换进行边缘检测时，是将图像中的边缘点，计算其对应极坐标变换域中对应的点(r,θ)，对变换域中的对应点进行累计，获取其最大分布的点，进而得到所要检测边缘的直线上的点，并剔除不在该边缘上的点。由于映射过程中，对于每一个点均需要进行一次余弦、一次正弦计算，计算量较大，且为浮点计算，计算时间较长。

另一种常见的边缘检测算法还有Canny边缘检测。Canny算子是基于最优化算法边缘检测算子，具有良好的信噪比和检测精度。首先利用高斯滤波进行图像去噪。接着用一阶偏导的有限差分计算梯度的幅值和方向。然后通过对梯度幅值应用非极大值抑制。最后用双阈值算法检测并且连接边缘。其计算量较大，计算时间较长。

因此，需要提出一种能对存在残损、变形的有价文件、票据或证件图像，快速进行边缘检测和倾斜校正的方法。

发明内容

为了解决现有技术中边缘检测算法计算时间较长的问题，本发明提供一种针对存在残缺、变形的有价文件、票据、证件图像，快速进行边缘检测和倾斜校正的方法。

该残缺或变形的四边形图像的校正方法，包括：步骤一、边缘点检测，利用采集到的图像中图像区域与背景区域的灰度值差异，快速地进行边缘点的检测，且利用有价文件图像的四边形特征，边缘为直线，对每条边在X方向进行等间隔ΔW的边缘点检测，获取有限的边缘点，进行边缘拟合获取直线方程；步骤二、异常边缘点剔除，剔除由于残缺、褶皱等情况而检测到的异常点，提高直线拟合精度；利用有价文件图像的边缘残损的部分小于非残损部分的特点，统计其相邻边缘点的斜率分布，统计斜率分布最大的作为待拟合直线的斜率，对于不在最大斜率范围的边缘点进行剔除；步骤三、直线拟合，对剔除异常点后的边缘点点集进行最小二乘拟合，获得其边缘直线方程；步骤四、顶点计算，根据前三个步骤求解得到的四条边缘直线，利用直线交点求解获得四边形的四个顶点；以及步骤五、图像校正，在双线性空间内，利用比例关系，获取校正前后各点的对应关系，并通过灰度插值，从而获得有价文件图像的倾斜校正图像。

具体的，步骤一中，检测上边缘点的方法包括：一(1)，在x=WIDTH/2直线上自上而下搜索上边缘点，得到的边缘点为PointsSet_Up[index₀]=(x_up_index₀，y_up_index₀)；一(2)，在x=x_up_index₀-ΔW直线上检测边缘点，其y的搜索范围是[y_up_index₀-Δy，y_up_index₀+Δy]，搜索到的边缘点为PointsSet_Up[index_-1]=(x_up_index_-1,y_up_index_-1)；一(3)，以PointsSet_Up[index_-1]为原点，重复进行一(2)的操作，进行边缘点检测，直到在设定的搜索范围内检测不到边缘点为止；一(4)，在x=x_up_index₀+ΔW直线上检测边缘点，其y的搜索范围是[y_up_index₀-Δy,y_up_index₀+Δy]，搜索到的边缘点为PointsSet_Up[index₁]=(x_up_index₁,y_up_index₁)；一(5)，以PointsSet_Up[index₁]为原点，重复进行一(4)的操作，进行边缘点检测，直到在设定的搜索范围内检测不到边缘点为止；以及一(6)，检测到的上边缘点集为：(PointsSet_Up[index_-lm]，PointsSet_Up[index_-lm+1]，……PointsSet_Up[index_-1]，PointsSet_Up[index₀]，PointsSet_Up[index₁]，……PointsSet_Up[index_rm-1]，PointsSet_Up[index_rm]。

具体的，步骤二中，剔除异常点的步骤包括：二(1)，斜率计算：假设相邻的两个上边缘点为PointsSet_Up[index_n-1]和PointsSet_Up[index_n]，其斜率为：

$k=\frac{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].y-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].y}{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].x-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].x},$

由于

PointsSet_Up[index_n].x-PointsSet_Up[index_n-1].x＝ΔW，

因此， $k=\frac{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].y-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].y}{\mathrm{\ΔW}},$

由于ΔW为常量，因此评估斜率时，直接利用ks表示k，

ks＝PointsSet_Up[index_n].y-PointsSet_Up[index_n-1].y，

k～＝ks；

二(2)，斜率分布统计：

以量化标准为1进行斜率分布统计示例，一般而言，上、下、左、右边缘的角度小于90°，现假设系统中四边倾斜角度应小于θ，因此，二（1）中计算的斜率ks为整数，设其最大值ks_max，最小值ks_min，则：

$k_{\max }=\frac{{\mathrm{ks}}_{\max }}{\mathrm{\ΔW}}=\tan \left(\mathrm{\θ}\right),$

$k_{\min }=\frac{{\mathrm{ks}}_{\min }}{\mathrm{\ΔW}}=\tan (-\mathrm{\θ})=-\tan \left(\mathrm{\θ}\right);$

因此，

ks_max＝[tan(θ)*ΔW]，

ks_min＝-[tan(θ)*ΔW]，其中[]表示取整；

对[-[tan(θ)*ΔW],[tan(θ)*ΔW]]范围内的ks进行累计统计，得到最多的斜率分布；以及

二(3)，边缘点异常点剔除，根据二（2）步计算得到的最多分布的ks，将不是最多分布的ks对应的点从边缘点集中剔除，定义剔除了异常点后的上边缘点集为PointsSet_Up_New。

具体的，步骤三获得边缘直线方程的方法为：假设求解的上边缘直线方程为y=kx+b，剔除了异常点后的上边缘点集为PointsSet_Up_New，X表示PointsSet_Up_New.x，Y表示PointsSet_Up_New.y，n为PointsSet_Up_New的点数个数，则

$k=\frac{\mathrm{n\ΣXY}-\mathrm{\ΣX\ΣY}}{\mathrm{n\Σ}{X}^2-{\left(\mathrm{\ΣX}\right)}^2},$

$b=\frac{\left(\mathrm{\ΣY}\right)-k\left(\mathrm{\ΣX}\right)}{n};$

对下、左、右边缘，相似地分别求出相应的边缘直线方程。

具体的，步骤五中获取校正前后各点的对应关系的方法为：

在双线性变换空间中，原图像上的点经过X位移、Y方向位移，得到校准后图像上的对应点，假设通过步骤四的计算，得到四个顶点A、B、C、D，其通过倾斜校正后对应点分别为A’，B’，C’，D’，计算倾斜校正后图像中的一点X’(x’,y’)与其对应的原图像中的对应点X(x,y)的相互关系，包括步骤：

五(1)，计算y方向上产生的位移：

X’点在校正后图像中的在y方向上的位移为y’，同样在y方向上有y’位移的还有E’点和F’点，其对应原图的点分别为为X点、E点和F点；

E点坐标：

E’在y方向的位移，即A’C’直线的位移，对应于倾斜校正前的图像，即为E点在AC直线上的移动，其与E’点在A’C’直线上的移动成比例；

$x_E=x_A+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(x_C-x_A),$

$y_E=y_A+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(y_C-y_A);$

也即【式1】：

$x_E=x_A+\frac{y^{\′}}{\mathrm{Height}}\·(x_C-x_A),$

$y_E=y_A+\frac{y^{\′}}{\mathrm{Height}}\·(y_C-y_A);$

F点坐标：

F’点在y方向的位移，即B’D’直线的位移，对应于倾斜校正前的图像，即为F点在BD直线上的移动，其与F’点在B’D’直线上的移动成比例，

$x_F=x_B+\frac{y_{F^{\′}}-y_{B^{\′}}}{y_{D^{\′}}-y_{B^{\′}}}\·(x_D-x_B),$

$y_F=y_B+\frac{y_{F^{\′}}-y_{B^{\′}}}{y_{D^{\′}}-y_{B^{\′}}}\·(y_D-y_B);$

利用校正后图像为四边形，

y_D'＝y_C'，y_B'＝y_A'，y_F'＝y_E'；

因此，

$x_F=x_B+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(x_D-x_B),$

$y_F=y_B+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(y_D-y_B);$

也即【式2】：

$x_F=x_B+\frac{y^{\′}}{\mathrm{Height}}\·(x_D-x_B),$

$y_F=y_B+\frac{y^{\′}}{\mathrm{Height}}\·(y_D-y_B);$

五(2)，计算x方向上的位移：

X’点在校正后图像中的在x方向上的位移为x’，X’点在x方向移动，也就是在E’F’直线上的移动，其与X点在EF直线上的移动成比例，

由E、F点坐标得到X点坐标为：

$x_X=x_E+\frac{x_{X^{\′}}-x_{E^{\′}}}{x_{B^{\′}}-x_{A^{\′}}}\·(x_F-x_E),$

$y_X=y_E+\frac{x_{X^{\′}}-x_{E^{\′}}}{x_{B^{\′}}-x_{A^{\′}}}\·(y_F-y_E);$

也即【式3】：

$x_X=x_E+\frac{x^{\′}}{\mathrm{Width}}\·(x_F-x_E)$

$y_X=y_E+\frac{x^{\′}}{\mathrm{Width}}\·(y_F-y_E)$

通过【式1】【式2】【式3】，得到校正后图像上任何一点(x’,y’)其对应原图像上的点(x,y)的对应关系。

具体的，步骤五中获取校正前后各点的对应关系时，若x’从0遍历到Width-1，y’从0遍历到Height-1，得到整幅有价文件的校正图像；当x’只取[0,Width]中的部分值和/或y’只取[0,Height]中的部分值时，得到有价文件图像上局部感兴趣区域的校正图像。

优选的，步骤五中灰度插值的算法包括最近邻插值法、双线性插值法或高阶插值法。

本发明提供的残缺或变形的四边形图像的校正方法应用于有价文件、票据、身份证等证件的识别方法核识别系统中，该校正方法的步骤一中利用采集到的图像中的背景与前景部分的差异，快速地进行边缘点的检测，避免利用各种梯度算子造成的复杂计算，减少边缘点检测时间，而且，在图像中进行等间隔的边缘点检测，可减少边缘点检测时间。此外，在同一条边缘的检测过程中，利用相邻边缘点坐标相近的特点，检测下一边缘点时可以借助相邻的上一边缘点的信息，缩小其边缘点检测范围，减少边缘点检测时间。在步骤二中进行斜率计算时提出简化计算方法，将带浮点除法的斜率计算，转换为整数型的减法计算，降低计算复杂度和减少计算时间。因此本发明提供的残缺或变形的四边形图像的校正方法能对存在残损、变形的有价文件、票据或证件图像，快速地进行边缘检测和倾斜校正。

附图说明

图1是本发明一实施例提供的残缺或变形的四边形图像的校正方法流程图；

图2是边缘存在残缺的图像示意图；

图3是没有经过异常点剔除的边缘拟合结果示意图；

图4是经过异常点剔除后的边缘拟合结果示意图；

图5是图像倾斜校正映射示意图。

参数说明：

WIDTH：整幅图像的宽度。

HEIGHT：整幅图像的高度。

Width：倾斜校正后图像宽度

Height：倾斜校正后图像高度

x：图像的水平方向变量

y：图像的竖直方向变量

上边缘点集PointsSet_Up

下边缘点集PointsSet_Down

左边缘点集PointsSet_Left

右边缘点集PointsSet_Right

上边缘直线Line_Up

下边缘直线Line_Down

左边缘直线Line_Left

右边缘直线Line_Right

ΔW：检测上下边缘点时的x方向步进间隔

Δy：检测上下边缘点时的y方向浮动范围

ΔH：检测左右边缘点时的y方向步进间隔

Δx：检测左右边缘点时的x方向浮动范围

具体实施方式

为进一步阐述本发明所提供的残缺或变形的四边形图像的校正方法，以下结合本发明的一个优选实施例的图示做进一步的详细介绍。

参阅图1，该残缺或变形的四边形图像的校正方法流程图，该方法包括边缘点检测，异常边缘点剔除，直线拟合，顶点计算以及图像校正五个步骤，以下按步骤进行详细介绍：

步骤一：边缘点检测。

有价文件、票据、证件成像过程中，图像区域和背景区域的灰度值存在差异。我们可以利用该差异，以不在非背景灰度范围，快速寻找到各边的边缘点，避免利用各种梯度算子造成的复杂计算，减少边缘点检测时间。

另外，利用有价文件、票据、证件为类四边形，边缘为直线，因此不需要检测所有的边缘点，每条边只需检测有限的边缘点，即可进行边缘拟合获取直线方程。因此，在图像中进行等间隔的边缘点检测，减少边缘点检测时间。

此外，在同一条边缘的检测过程中，利用相邻边缘点坐标相近的特点，检测下一边缘点时可以借助相邻的上一边缘点的信息，缩小其边缘点检测范围，减少边缘点检测时间。

具体地，以上边缘点的检测为例：

(1)在x=WIDTH/2直线上自上而下搜索上边缘点，得到的边缘点为PointsSet_Up[index₀]=(x_up_index₀,y_up_index₀)。

(2)在x=x_up_index₀-ΔW直线上检测边缘点，其y的搜索范围是[y_up_index₀-Δy,y_up_index₀+Δy]。搜索到的边缘点为PointsSet_Up[index_-1]=(x_up_index_-1,y_up_index_-1)。

(3)以PointsSet_Up[index_-1]为原点，重复进行(2)的操作，进行边缘点检测，直到在设定的搜索范围内检测不到边缘点为止。

(4)在x=x_up_index₀+ΔW直线上检测边缘点，其y的搜索范围是[y_up_index₀-Δy,y_up_index₀+Δy]。搜索到的边缘点为PointsSet_Up[index₁]=(x_up_index₁,y_up_index₁)。

(5)以PointsSet_Up[index₁]为原点，重复进行(4)的操作，进行边缘点检测，直到在设定的搜索范围内检测不到边缘点为止。

(6)检测到的上边缘点集为：(PointsSet_Up[index_-lm]，PointsSet_Up[index_-lm+1]，……PointsSet_Up[index_-1]，PointsSet_Up[index₀]，PointsSet_Up[index₁]，……PointsSet_Up[index_rm-1]，PointsSet_Up[index_rm]。

步骤二，异常边缘点剔除。

有价文件、票据、证件由于存在残损、褶皱等情况，图像上检测到的边缘点包括了残缺的边缘点，如图2所示，导致检测到的边缘点集不全在一条直线上，这影响了后续的边缘直线的拟合精度。因此，在拟合之前，需要进行边缘点的异常点剔除。

本实施例利用有价文件、票据、证件图像的边缘残损的部分要小于非残损部分的特点，统计其相邻边缘点的斜率分布，统计斜率分布最大的作为待拟合直线的斜率，对于不在最大斜率范围的边缘点进行剔除。此处，特别地，精简了斜率的计算和斜率分布统计。

同样地，利用上边缘为例子，按以下步骤计算：

(1)斜率计算

在步骤一的边缘点检测中，在x方向是等间隔ΔW的进行边缘点的检测，假设相邻的两个上边缘点为PointsSet_Up[index_n-1]和PointsSet_Up[index_n]，其斜率为 $k=\frac{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].y-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].y}{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].x-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].x};$

由于PointsSet_Up[index_n].x-PointsSet_Up[index_n-1].x＝ΔW，

因此， $k=\frac{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].y-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].y}{\mathrm{\ΔW}};$

由于ΔW为常量，因此评估斜率时，我们直接利用ks表示k，

ks＝PointsSet_Up[index_n].y-PointsSet_Up[index_n-1].y，

k～＝ks。

这样，将斜率的计算从带浮点运算的除法，简化为整数的减法运算。

(2)斜率分布统计

对斜率分布进行量化统计。在实际应用中，可以根据斜率求解的精度，设计斜率的量化统计，即可以对斜率值以1作为量化标准进行斜率分布统计，也可以对斜率值以2作为量化标准进行斜率分布统计等。当量化标准为2时，意味着斜率相邻的2个斜率的分布合并累计统计。

以下以量化标准为1进行斜率分布统计的示例。

一般而言，上、下、左、右边缘的角度小于90°，现假设系统中四边倾斜角度应小于θ，因此，上面第一步计算的斜率ks为整数，设其最大值ksmax，最小值ksmin，则：

$k_{\max }=\frac{{\mathrm{ks}}_{\max }}{\mathrm{\ΔW}}=\tan \left(\mathrm{\θ}\right)$

$k_{\min }=\frac{{\mathrm{ks}}_{\min }}{\mathrm{\ΔW}}=\tan (-\mathrm{\θ})=-\tan \left(\mathrm{\θ}\right)$

因此，

ks_max＝[tan(θ)*ΔW]

ks_min＝-[tan(θ)*ΔW]，其中[]表示取整，因为ks为整数。

因此，只需对[-[tan(θ)*ΔW],[tan(θ)*ΔW]]范围内的ks进行累计统计，得到最多的斜率分布。

(3)边缘点异常点剔除

如上所述，如遇有价文件、票据、证件图像的边缘出现残损等情况，残损部分检测到的边缘点与实际边缘不在一条直线上，其斜率与实际边缘斜率存在差异。而且假设残缺部分小于整体边缘的1/2，则可以通过第（2）步计算得到的最多分布的ks，将不是最多分布的ks对应的点从边缘点集中剔除。定义剔除了异常点后的上边缘点集为PointsSet_Up_New。

步骤三，直线拟合，对剔除异常点后的点集进行最小二乘拟合，得到直线方程。

假设求解的上边缘直线方程为y=kx+b，剔除了异常点后的上边缘点集为PointsSet_Up_New，X表示PointsSet_Up_New.x，Y表示PointsSet_Up_New.y，n为PointsSet_Up_New的点数个数。则

$k=\frac{\mathrm{n\ΣXY}-\mathrm{\ΣX\ΣY}}{\mathrm{n\Σ}{X}^2-{\left(\mathrm{\ΣX}\right)}^2},$

$b=\frac{\left(\mathrm{\ΣY}\right)-k\left(\mathrm{\ΣX}\right)}{n}.$

对下、左、右边缘，相似地，利用上述步骤分别求出相应的边缘直线方程。如图3和图4所示，异常点剔除前后边缘拟合效果是不同的，异常点剔除后，边缘拟合效果更接近未残缺变形的图像的边缘。

步骤四，顶点计算，利用四边边缘直线求解得到四个顶点。

利用两相交直线方程，求解得到交点，也即四边形的顶点。

对上边缘直线与左边缘直线求解其交点，得到左上顶点A，对上边缘直线与右边缘直线求解其交点，得到右上顶点B，对下边缘直线与左边缘直线求解其交点，得到左下顶点C，对下边缘直线与右边缘直线求解其交点，得到右下顶点D，如图5所示。

步骤五，校正图像，获取倾斜校正后的图像内容。

采集到有价文件、票据、证件图像后，应用中可能只存在识别有价文件、票据、证件中的部分内容的需求。如，在身份证识别中，可能只需要识别身份证号码。而票据识别中可能只识别其右下角的二维码等。

因此，本部分提出的倾斜校正不但可以适用于对有价文件、票据、证件图像进行的全图的倾斜校正，可适用于有价文件、票据、证件图像局部感兴趣区域的倾斜校正。

校正的过程分两步：

（1）计算校正前后的变换关系。

在双线性变换空间中，原图像上的点经过X位移、Y方向位移，得到校准后图像上的对应点。

假设通过步骤四的计算，得到四个顶点A、B、C、D。其通过倾斜校正后对应点分别为A’，B’，C’，D’，如图5所示。

以下计算倾斜校正后图像中的一点X’(x’,y’)与其对应的原图像(未进行倾斜校正之前图像)中的对应点X(x,y)的相互关系。

(1.1)首先计算y方向的产生的位移。

X’点在校正后图像中的在y方向上的位移为y’，同样在y方向上有y’位移的还有E’点和F’点。其对应原图的点分别为为X点、E点和F点。

E点坐标：

E’的在y方向的位移，即A’C’直线的位移。对应于倾斜校正前的图像，即为E点在AC直线上的移动，其与E’点在A’C’直线上的移动成比例。

$x_E=x_A+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(x_C-x_A),$

$y_E=y_A+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(y_C-y_A);$

也即【式1】：

$x_E=x_A+\frac{y^{\′}}{\mathrm{Height}}\·(x_C-x_A),$

$y_E=y_A+\frac{y^{\′}}{\mathrm{Height}}\·(y_C-y_A);$

F点坐标：

F’点的在y方向的位移，即B’D’直线的位移。对应于倾斜校正前的图像，即为F点在BD直线上的移动，其与F’点在B’D’直线上的移动成比例。

$x_F=x_B+\frac{y_{F^{\′}}-y_{B^{\′}}}{y_{D^{\′}}-y_{B^{\′}}}\·(x_D-x_B),$

$y_F=y_B+\frac{y_{F^{\′}}-y_{B^{\′}}}{y_{D^{\′}}-y_{B^{\′}}}\·(y_D-y_B);$

利用校正后图像为四边形，

y_D'＝y_C'，y_B'＝y_A'，y_F'＝y_E'

因此，

$x_F=x_B+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(x_D-x_B),$

$y_F=y_B+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(y_D-y_B);$

也即【式2】：

$x_F=x_B+\frac{y^{\′}}{\mathrm{Height}}\·(x_D-x_B),$

$y_F=y_B+\frac{y^{\′}}{\mathrm{Height}}\·(y_D-y_B).$

(1.2)计算x方向上的位移。

X’点在校正后图像中的在x方向上的位移为x’。X’点在x方向移动，也就是在E’F’直线上的移动，其与X点在EF直线上的移动成比例。

由E、F点坐标得到X点坐标为：

$x_X=x_E+\frac{x_{X^{\′}}-x_{E^{\′}}}{x_{B^{\′}}-x_{A^{\′}}}\·(x_F-x_E),$

$y_X=y_E+\frac{x_{X^{\′}}-x_{E^{\′}}}{x_{B^{\′}}-x_{A^{\′}}}\·(y_F-y_E);$

也即【式3】：

$x_X=x_E+\frac{x^{\′}}{\mathrm{Width}}\·(x_F-x_E),$

$y_X=y_E+\frac{x^{\′}}{\mathrm{Width}}\·(y_F-y_E).$

这样通过【式1】【式2】【式3】，我们可以得到校正后图像上任何一点(x’,y’)其对应原图像上的点(x,y)的对应关系。

若x’从0遍历到Width-1，y’从0遍历到Height-1，可以得到整幅有价文件、票据、证件图像的校正图像。当x’只取[0,Width]中的部分值，或者y’只取[0,Height]中的部分值时，得到的是有价文件、票据、证件图像上局部感兴趣区域的校正图像。实际应用中可根据应用需要设定x’，y’的取值范围。

(2)灰度插值

在得到倾斜校正前后点的对应关系后，还需要灰度级插值的算法，来获取最终的校正后图像，使得校正后图像保持较好的连续性和连贯性。具体的插值方法有最近邻插值、双线性插值、高阶插值等。计算时间上最近邻插值最短，双线性插值次之，高阶插值时间最长。而插值后平滑程度是高阶插值最好，双线性插值次之，最近邻插值最差。实际应用中可根据识别需要选择对应的插值方式。

本实施例提供的残缺或变形的四边形图像校正方法应用于有价文件、票据以及证件等文件的识别技术中，提高识别速度和精度。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种残缺或变形的四边形图像的校正方法，包括：

步骤一、边缘点检测，利用采集到的图像中图像区域与背景区域的灰度值差异，快速地进行边缘点的检测，且利用有价文件图像的四边形特征，边缘为直线，对每条边在X方向进行等间隔ΔW的边缘点检测，获取有限的边缘点，进行边缘拟合获取直线方程；

步骤二、异常边缘点剔除，剔除由于残缺、褶皱等情况而检测到的异常点，提高直线拟合精度；利用有价文件图像的边缘残损的部分小于非残损部分的特点，统计其相邻边缘点的斜率分布，统计斜率分布最大的作为待拟合直线的斜率，对于不在最大斜率范围的边缘点进行剔除；

步骤三、直线拟合，对剔除异常点后的边缘点点集进行最小二乘拟合，获得其边缘直线方程；

步骤四、顶点计算，根据前三个步骤求解得到的四条边缘直线，利用直线交点求解获得四边形的四个顶点；

步骤五、图像校正，在双线性空间内，利用比例关系，获取校正前后各点的对应关系，并通过灰度插值，从而获得有价文件图像的倾斜校正图像。

2.如权利要求1所述的残缺或变形的四边形图像的校正方法，其特征在于，步骤一中，检测上边缘点的方法包括：

一(1)，在x=WIDTH/2直线上自上而下搜索上边缘点，得到的边缘点为PointsSet_Up[index₀]=(x_up_index₀，y_up_index₀)；

一(2)，在x=x_up_index₀-ΔW直线上检测边缘点，其y的搜索范围是[y_up_index₀-Δy，y_up_index₀+Δy]，搜索到的边缘点为PointsSet_Up[index_-1]=(x_up_index_-1,y_up_index_-1)；

一(3)，以PointsSet_Up[index_-1]为原点，重复进行一(2)的操作，进行边缘点检测，直到在设定的搜索范围内检测不到边缘点为止；

一(4)，在x=x_up_index₀+ΔW直线上检测边缘点，其y的搜索范围是[y_up_index₀-Δy,y_up_index₀+Δy]，搜索到的边缘点为PointsSet_Up[index₁]=(x_up_index₁,y_up_index₁)；

一(5)，以PointsSet_Up[index₁]为原点，重复进行一(4)的操作，进行边缘点检测，直到在设定的搜索范围内检测不到边缘点为止；以及

一(6)，检测到的上边缘点集为：(PointsSet_Up[index_-lm]，PointsSet_Up[index_-lm+1]，……PointsSet_Up[index_-1]，PointsSet_Up[index₀]，PointsSet_Up[index₁]，……PointsSet_Up[index_rm-1]，PointsSet_Up[index_rm]。

3.如权利要求2所述的残缺或变形的四边形图像的校正方法，其特征在于，步骤二中，

剔除异常点的步骤包括：

二(1)，斜率计算：

假设相邻的两个上边缘点为PointsSet_Up[index_n-1]和PointsSet_Up[index_n]，其斜率为：

$k=\frac{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].y-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].y}{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].x-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].x},$

由于

PointsSet_Up[index_n].x-PointsSet_Up[index_n-1].x＝ΔW，

因此， $k=\frac{\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_n\right].y-\mathrm{PointsSet}\_\mathrm{Up}\left[{\mathrm{index}}_{n-1}\right].y}{\mathrm{\ΔW}},$

由于ΔW为常量，因此评估斜率时，直接利用ks表示k，

ks＝PointsSet_Up[index_n].y-PointsSet_Up[index_n-1].y

k～＝ks；

二(2)，斜率分布统计：

以量化标准为1进行斜率分布统计示例，一般而言，上、下、左、右边缘的角度小于90°，现假设系统中四边倾斜角度应小于θ，因此，二（1）中计算的斜率ks为整数，设其最大值ks_max，最小值ks_min，则：

$k_{\max }=\frac{{\mathrm{ks}}_{\max }}{\mathrm{\ΔW}}=\tan \left(\mathrm{\θ}\right),$

$k_{\min }=\frac{{\mathrm{ks}}_{\min }}{\mathrm{\ΔW}}=\tan (-\mathrm{\θ})=-\tan \left(\mathrm{\θ}\right);$

因此，

ks_max＝[tan(θ)*ΔW]，

ks_min＝-[tan(θ)*ΔW]，其中[]表示取整；

对[-[tan(θ)*ΔW],[tan(θ)*ΔW]]范围内的ks进行累计统计，得到最多的斜率分布；

二(3)，边缘点异常点剔除

根据二（2）步计算得到的最多分布的ks，将不是最多分布的ks对应的点从边缘点集中剔除，定义剔除了异常点后的上边缘点集为PointsSet_Up_New。

4.如权利要求3所述的残缺或变形的四边形图像的校正方法，其特征在于，步骤三具体获得边缘直线方程的方法为：

假设求解的上边缘直线方程为y=kx+b，剔除了异常点后的上边缘点集为PointsSet_Up_New，X表示PointsSet_Up_New.x，Y表示PointsSet_Up_New.y，n为PointsSet_Up_New的点数个数，则

$k=\frac{\mathrm{n\ΣXY}-\mathrm{\ΣX\ΣY}}{\mathrm{n\Σ}{X}^2-{\left(\mathrm{\ΣX}\right)}^2},$

$b=\frac{\left(\mathrm{\ΣY}\right)-k\left(\mathrm{\ΣX}\right)}{n};$

对下、左、右边缘，相似地分别求出相应的边缘直线方程。

5.如权利要求4所述的残缺或变形的四边形图像的校正方法，其特征在于，步骤五中获取校正前后各点的对应关系的方法为：

在双线性变换空间中，原图像上的点经过X位移、Y方向位移，得到校准后图像上的对应点，假设通过步骤四的计算，得到四个顶点A、B、C、D，其通过倾斜校正后对应点分别为A’，B’，C’，D’，计算倾斜校正后图像中的一点X’(x’,y’)与其对应的原图像中的对应点X(x,y)的相互关系，包括步骤：

五(1)，计算y方向上产生的位移：

X’点在校正后图像中的在y方向上的位移为y’，同样在y方向上有y’位移的还有E’点和F’点，其对应原图的点分别为为X点、E点和F点；

E点坐标：

E’在y方向的位移，即A’C’直线的位移，对应于倾斜校正前的图像，即为E点在AC直线上的移动，其与E’点在A’C’直线上的移动成比例；

$x_E=x_A+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(x_C-x_A),$

$y_E=y_A+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(y_C-y_A);$

也即【式1】：

$x_E=x_A+\frac{y^{\′}}{\mathrm{Height}}\·(x_C-x_A),$

$y_E=y_A+\frac{y^{\′}}{\mathrm{Height}}\·(y_C-y_A);$

F点坐标：

F’点在y方向的位移，即B’D’直线的位移，对应于倾斜校正前的图像，即为F点在BD直线上的移动，其与F’点在B’D’直线上的移动成比例，

$x_F=x_B+\frac{y_{F^{\′}}-y_{B^{\′}}}{y_{D^{\′}}-y_{B^{\′}}}\·(x_D-x_B),$

$y_F=y_B+\frac{y_{F^{\′}}-y_{B^{\′}}}{y_{D^{\′}}-y_{B^{\′}}}\·(y_D-y_B);$

利用校正后图像为四边形，

y_D'＝y_C'，y_B'＝y_A'，y_F'＝y_E'；

因此，

$x_F=x_B+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(x_D-x_B),$

$y_F=y_B+\frac{y_{E^{\′}}-y_{A^{\′}}}{y_{C^{\′}}-y_{A^{\′}}}\·(y_D-y_B);$

也即【式2】：

$x_F=x_B+\frac{y^{\′}}{\mathrm{Height}}\·(x_D-x_B),$

$y_F=y_B+\frac{y^{\′}}{\mathrm{Height}}\·(y_D-y_B);$

五(2)，计算x方向上的位移：

X’点在校正后图像中的在x方向上的位移为x’，X’点在x方向移动，也就是在E’F’直线上的移动，其与X点在EF直线上的移动成比例，

由E、F点坐标得到X点坐标为：

$x_X=x_E+\frac{x_{X^{\′}}-x_{E^{\′}}}{x_{B^{\′}}-x_{A^{\′}}}\·(x_F-x_E),$

$y_X=y_E+\frac{x_{X^{\′}}-x_{E^{\′}}}{x_{B^{\′}}-x_{A^{\′}}}\·(y_F-y_E);$

也即【式3】：

$x_X=x_E+\frac{x^{\′}}{\mathrm{Width}}\·(x_F-x_E)$

$y_X=y_E+\frac{x^{\′}}{\mathrm{Width}}\·(y_F-y_E)$

通过【式1】【式2】【式3】，得到校正后图像上任何一点(x’,y’)其对应原图像上的点(x,y)的对应关系。

6.如权利要求5所述的残缺或变形的四边形图像的校正方法，其特征在于，步骤五中获取校正前后各点的对应关系时，若x’从0遍历到Width-1，y’从0遍历到Height-1，得到整幅有价文件的校正图像；当x’只取[0,Width]中的部分值和/或y’只取[0,Height]中的部分值时，得到有价文件图像上局部感兴趣区域的校正图像。

7.如权利要求4～6中任意一项所述的残缺或变形的四边形图像的校正方法，其特征在于，步骤五中灰度插值的算法包括最近邻插值法、双线性插值法或高阶插值法。

Images