CN101872475A

CN101872475A - 一种扫描文档图像自动配准方法

Info

Publication number: CN101872475A
Application number: CN200910082084A
Authority: CN
Inventors: 马龙; 肖柏华; 王春恒; 李敏华
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2009-04-22
Filing date: 2009-04-22
Publication date: 2010-10-27
Anticipated expiration: 2029-04-22
Also published as: CN101872475B

Abstract

本发明为一种扫描文档图像配准的方法，步骤如下：由改进的特征点检测、旋转参数粗估计、特征点粗匹配、误匹配特征点剔除、精细匹配共五个步骤：对于标准扫描文档图像和待匹配扫描文档图像采用改进的特征点检测算法检测特征点，由特征点的位置估计待匹配扫描文档图像相对与标准扫描文档图像的粗步旋转角度，对于标准图像和经过粗步旋转后的扫描文档图像中的特征点用归一化相关法计算匹配特征点对，并用改进随机采样一致性鲁棒算法剔除误匹配，通过八邻域搜索得到精确的匹配点对的位置，计算标准扫描文档图像与粗步旋转后的待匹配扫描文档图像间的匹配参数，将参数作用于粗步旋转后的待匹配扫描文档图像得到配准图像。

Description

一种扫描文档图像自动配准方法

技术领域

本发明属于模式识别与信息处理技术领域，涉及扫描图像的处理，尤其实现一种扫描文档图像的自动配准提供了具体实现方案。

背景技术

图像匹配是指分析两幅图像中重叠部分的特征，将这两幅在不同情况下得到的图像对齐，通常情况下这两幅图像之间存在尺度、旋转和平移变换，匹配的过程就是要得到这些变换的参数。在人们的日常工作与生活中，扫描仪帮助人们可以轻松地获取到文档的图像，在大多数情况下需要实现对文档的自动处理，如图像分割、文字提取与识别等，但是扫描仪工作过程中不可避免地引入了旋转、平移(尺度可忽略不计)，这就产生了对图像匹配的要求。在处理过程中我们认为图像之间的旋转角度变换范围在[-10°，10°]之间。

针对文档图像匹配的方法国内外有很多学者提出了很多算法，模板匹配方法是最广泛的使用方法，从文档图像中抽取部分图像内容构成模板，通过分析模板之间的匹配关系获得文档图像的配准变换参数，这种方法适合求取位移变换，若图像存在旋转变换则需结合图像倾斜检测方法；文档图像旋转角度检测的方法最普通的方法是找到一个角度使得文档图像投影直方图的峰值分布最好的，还有基于Hough Transform的角度检测，还有利用图像中的直线信息、梯度信息、协方差矩阵的特征值、形态学变换、最近邻聚类、Pattern Matching Approach等来检测角度。国外有学者使用一种分层搜索的策略改进图像配准的效率以进行标注提取，计算时间仍然在数十秒左右；对于表格文档这种特定类型文档，使用线结构和单元结构信息是大幅提高效率的有效方式，还有则提出了一种基于Fourier-Mellin变换的方法配准表格文档图像，有较好的结果，但计算量过大。近期有学者提出基于基元块的图像匹配方法，文档图像采用基元块列表来表示，其配准也是基于基元块的匹配进行，较好地协调了配准效率和准确度性能；另一大类方法是点映射方法：分别在两幅图像中各找一些点作为配准特征点，通过确定点之间的匹配关系计算配准变换参数，典型的方法是通过angle histogram计算图像旋转角度，然后用特征检测子和基于模板的方法计算精确匹配得到良好的效果。

前面提出的各种方法从算法复杂度上看都十分复杂，如Hough变换、Fourier-Mellin变换等，需要图像变换，增加了计算消耗，速度上不能满足应用的要求，且没有充分利用扫描文档图像的特点，扫描文档图像的特点是在扫描过程中，相对于标准的文档图像的旋转角度和偏移都比较小，且相对于标准文档图像待匹配的图像都是在前者的基础上增加了填涂或注释后的图像。

发明内容

本发明的目的是针对两幅扫描文档图像，一幅为标准图像，一幅为待匹配图像，本发明提供一种能够将扫描的文档图像中与标准的图像存在的旋转平移变换纠正的扫描文档图像自动配准方法。

为达成所述目的，本发明提供扫描文档图像自动配准方法，该配准方法的步骤包括：改进的特征点检测、旋转参数粗估计、特征点粗匹配、误匹配特征点剔除和精细匹配共五个步骤组成：

步骤S1：将标准扫描文档图像在经过人为填涂或添加注释后进行扫描，生成相对于标准扫描文档图像存在旋转、平移变化的待匹配扫描文档图像；利用改进特征点的检测算法对输入的标准扫描文档图像和待匹配扫描文档图像进行检测，得到标准扫描文档图像和待匹配扫描文档图像的特征点的位置信息；

步骤S2：利用检测出的标准扫描文档图像和待匹配扫描文档图像中的特征点的位置信息，遍历待匹配扫描文档图像相对于标准扫描文档图像旋转角度中的每一个角度，对于每个遍历的角度，以该遍历角度将待匹配扫描文档图像旋转，同时计算待匹配扫描文档图像特征点的旋转后的位置，获得旋转后的待匹配图像，然后用归一化相关法计算旋转后的图像与标准扫描文档图像间的特征点对，在所有遍历的角度中，在近似正确的旋转角度下使标准扫描文档图像与正确旋转后的待匹配图像间匹配的特征点的对数最大，此时近似正确的旋转角度为待匹配扫描图像相对与标准扫描文档图像的旋转参数的粗估计，用该旋转角度旋转待匹配图像得到粗步旋转后的待匹配图像；

步骤S3：计算粗步旋转后的待匹配扫描文档图像和标准扫描文档图像中的以特征点为中心的窗口之间的相似度，来判断旋转后的待匹配图像和标准扫描文档图像两幅图像中点对是否匹配，获得粗匹配特征点对，以粗步旋转后的待匹配扫描文档图像和标准扫描文档图像中的特征点为中心的窗口来计算特征点匹配的过程是一个双向的匹配过程，只有当标准扫描文档图像与粗旋转后的待匹配扫描文档图像中的点互为相似度最大的点时，将这对点作为匹配对，粗匹配的特征点对的个数的就是匹配的对数；

步骤S4：剔除误匹配特征点对

对粗步旋转后的待匹配扫描文档图像与标准扫描文档图像两幅图像上粗匹配的特征点对，采用改进的随机采样一致性鲁棒算法，剔除在步骤S3中粗匹配后得到的特征点匹配对中的误匹配特征点对；

步骤S5：精细匹配

利用八近邻的搜索最优匹配点的方法，对于已经剔除误匹配的特征点对的位置进行优化，获得优化后的特征点匹配对的位置信息，再用最小二乘法求解得到粗步旋转后的待匹配扫描文档图像相对与标准扫描文档图像的旋转和平移参数，再将旋转和平移参数作用于粗步旋转后的待匹配图像，生成了一幅新的图像，这幅新的图像就是待匹配扫描文档图像与标准扫描文档图像配准的图像。

优选地，所述改进的特征点检测算法步骤如下：

步骤S11：由标准扫描文档图像确定文字涂写或注释区；

步骤S12：用最小核值相似区特征点检测算子对标准文档图像的非涂写或注释区进行特征点检测，得到特征点的位置信息；

步骤S 13：限定待匹配扫描文档图像与标准扫描文档图像旋转和平移参数的范围，由标准扫描文档图像的文字涂写或注释区的范围来估计待匹配扫描文档图像的涂写或注释区；

步骤S14：用最小核值相似区特征点检测算子对待匹配扫描文档图像进行特征点检测，检测时忽略估计出的涂写或注释区。

优选地，所述剔除误匹配特征点对的步骤包括：

步骤S41：将标准扫描文档图像中的特征点设为：X＝{X1，X2，X3，X4......Xi，Xm}，将粗旋转后的待匹配文档图像的特征Y＝{Y1，Y2，Y3，Y4......Yi，Ym}，其中Xi，Yi分别代表标准扫描文档图像中的特征点X、粗旋转后的待匹配文档图像特征Y中的一个特征点，且Xi与Yi是一对匹配点，X，Y中的特征点按顺序依次匹配，i＜m，i和m为自然数；

步骤S42：针对传统随机采样一致性鲁棒算法，随机选择两对匹配特征点(Xi，Yi)、(Xj，Yj)，参数初始化N1＝0，Xi、Xj就是X中的两个特征点，Yi、Yj是Y中的两个特征点，Xi对应Yi、Xj对应Yj为位于同一幅图像中的两对匹配点，若两个特征点Xi与Xj的距离或Yi与Yj的距离小于设定像素距离D时，则停止计算，返回步骤42重新选择，否则转入步骤S43；

步骤S43：用上一步骤选择的两对匹配点得到以旋转和平移参数为未知量的方程，解方程得到标准扫描文档图像与经过粗步旋转后的待匹配扫描文档图像之间的旋转和平移参数；

步骤S44：将X、Y中的每一对匹配点中的一个匹配点位于标准扫描文档图像上，另一个匹配点位于粗旋转后的待匹配的扫描文档图像上，计算每对匹配点中位于标准扫描文档图像上的特征点与随机选择的两个匹配点对中在标准扫描文档图像上的两个特征点Xi、Xj之间的距离记为D1、D2，同时计算每对匹配点中位于粗旋转后扫描文档图像上的特征点与随机选择的两个匹配点对中位于粗旋转后扫描文档图像的两个特征点Yi、Yj之间的距离记为D3、D4，当D1与D3的差的绝对值小于设定域值，且D2与D4的差的绝对值小于设定阈值时，这对匹配点对为内点；当D1与D3的差的绝对值大于设定域值，且D2与D4的差的绝对值大于设定阈值时，这对匹配点为外点；记下内点个数N1；

步骤S44：若循环为第一次，则初始化内点个数N2＝N1；若循环不是第一次取N2与N1中大的值，其中：

若N2＜N1更新的内点为是此次循环计算得到的内点，则是正确的匹配特征点对X’、Y’；

若N2＞N1，则此次循环的内点不如上次循环的多，内点不做更新；

若循环次数大于设定次数或内点个数N2大于设定域值，则转入下一步，否则转入步骤S42进入下一次循环；

步骤S45：在第一次改进的随机采样一致性鲁棒算法结束后，退出上述循环，就得到的匹配特征点对为：

X’＝{X1’，X2’……Xn’}，Y’＝{Y1’，Y2’，……Yn’}，

X’是标准扫描文档图像上的特征点，Y’是旋转后的扫描文档图像特征点，对于Y’中的每一个Yi’，搜索Yi’八邻域的像素点计算与其匹配的特征点Xi’的相似度，取相似度最大的点作为与Xi’匹配的点，若经过搜索Yi’的八领域像素点没有找到一个与Xi’相似度比Yi’本身更大的像素点，则算法结果不再做搜索，否则继续搜索得到的相似度最大的像素点的位置的八邻域，当搜索后得到的相似度最大的点与第一次搜索前的特征点Yi’的距离超过设定像素距离值认为是误匹配特征点，将这对特征点去掉，不再搜索；对每一对匹配的特征点进行这样的操作后得到剔除误匹配的匹配特征点对。

本发明的有益效果：本发明对特征点的检测是为匹配提供精确的点的位置信息，因此要求特征点检测子能够清晰、快速、准确地得到特征点的位置，同时要求检测子能够对图像的尺度、旋转、平移变换具有鲁棒性，即特征点的重现率高，在扫描文档图像的配准中只须考虑存在旋转和平移变换的情况，针对文档图像的特点本发明设计改进了特征点的检测算法。

为了解决文档图像在扫描过程中不可避免地发生角度偏移问题，本发明旋转参数的粗估计就是初步估计得到图像的旋转参数，估计的旋转参数精度可能不是很高，但是能为下一步的特征点的粗匹配提供条件，因为下一步中的特征点匹配的方法是建立在扫描图像的旋转参数已经比较正确地校正的基础上的，因此这一步是匹配是否成功的关键步骤。利用检测出的标准扫描文档图像和待匹配扫描文档图像中的特征点的位置信息，遍历待匹配扫描文档图像相对于标准扫描文档图像旋转角度的范围-10°～10°，对于每个遍历的角度，以该角度将待匹配扫描文档图像旋转，同时计算待匹配扫描文档图像特征点的旋转后的位置，获得旋转后的待匹配图像，然后用归一化相关法计算旋转后的图像与标准扫描文档图像间的特征点对，在所有遍历的角度中，在近似正确的旋转角度下标准扫描文档图像与正确旋转后的待匹配图像间匹配的特征点的对数最大，此时近似正确的角度为待匹配扫描图像相对与标准扫描文档图像的旋转参数的粗估计，用该角度旋转待匹配图像得到粗步旋转后的待匹配图像；

经过粗步旋转后的扫描文档图像与标准扫描文档图像间只存在小角度的旋转和未知的平移，这一步就是通过计算以特征点为中心的窗口之间的相似度来判断粗旋转后的扫描文档图像与标准扫描文档图像中点对是否匹配。匹配过程是一个双向的过程，即只有当标准扫描文档图像与粗步旋转后的待匹配扫描文档图像中的点互为相似度最大的点时才将这对点作为匹配对。

本发明采用误匹配特征点对剔除的技术方案，由于特征点检测子不可能在两幅不同的扫描图像中检测出相同数量同时位置相同的特征点，同时特征点的粗匹配也存在一些误差，因为需要在剔除这些误匹配特征点，否则将影响到最后图像配准的精度，我们设计了改进的随机采样一致性(RANSAC)鲁棒算法用于误匹配特征对的剔除，

本发明采用精细匹配的技术方案，对于已经剔除误匹配的特征点对，如果按此时的点对来计算变换参数，误差仍较大，因为从开始配准到剔除误匹配特征点，所有特征点的位置信息是固定的，但是由于特征点检测是存在误差的，所以在这一步设计了一种八邻域的搜索最优匹配点的方法，对匹配特征点对的位置进行优化，最后得到粗旋转后的待匹配扫描文档图像相对于标准扫描文档图像的变换参数。

本发明可以将扫描的文档图像中与标准的图像存在的旋转平移变换纠正，本发明适用于配准图像间的旋转[-10°，10°]之间的情况，本发明可以提高文档图像自动处理效率，适用于各类文档自动处理，如文档识别、档案管理、试卷批阅等。

附图说明

图1是本发明算法流程图

图2是本发明改进的随机采样一致性(RANSAC)鲁棒算法流程图

图3是本发明SUSAN角点检测示意图

图4是本发明标准的文档图像

图5是本发明待匹配的文档图像，是图4经过填涂扫描后得到的

图6是图4的特征点检测示意图，“+”代表一个特征点的位置

图7是图5的特征点检测示意图，“+”代表一个特征点位置

图8是图5粗步旋转后的待匹配图像

图9是图8中的特征点示意图，“+”代表一个特征点位置

图10是图9中的特征点与图6中的特征点粗匹配结果，匹配特征点对由直线连接

图11是图10中匹配对剔除误匹配对后的结果

图12是图11中的匹配对精细化匹配后的结果

图13是图5校正后的与图4配准的图像

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

我们将本发明的方法应用于填涂卡自动配准系统中，算法研制开发在微机Windows XP 2002的系统下，结合C语言及matlab开发环境实现。下面说明文档图像自动配准的实施过程，实验数据为由扫描仪得到的填涂卡图像，扫描仪分辨率为200dpi。

以图4，图5为例，图4为标准扫描文档图像，图5为待匹配扫描文档图像，图5是图4在经过填涂后的扫描文档图像，相对于图4存在旋转和偏移。

本发明的方法有三个特征。一个特征是本方法是由改进的特征点检测、旋转参数粗估计、特征点粗匹配、误匹配特征点剔除和精细匹配共五个步骤组成；第二个特征是本方法设计了改进的特征点检测算法；第三个特征是设计了改进的随机采样一致性(RANSAC)鲁棒算法用于误匹配特征对的剔除。下面分别介绍这三个特征：

特征一：本发明的扫描文档图像自动配准方法的构成包括五个步骤，参见图1：

(1)改进的特征点检测

特征点是指图像中在两维方向上像素灰度值变化大的特征点，特征点的检测是为匹配提供精确的特征点的位置信息，因此要求特征点检测子能够清晰、快速、准确地得到特征点的位置，同时要求检测子能够对图像的尺度、旋转、平移变换具有鲁棒性，即特征点的重现率高，在扫描文档图像的配准中我们只须考虑存在旋转和平移变换的情况，针对文档图像的特点我们设计改进了特征点的检测算法，在特征二中有详细的说明。

参见图6和图7为特征点检测的结果，我们从图4中我们事先估计出填涂区域的范围，在图4中共估计出三个矩形的填涂区，第一个矩形的左上顶点和右下顶点坐标分别为(165，1570)、(519，1050)，第二个矩形的左上顶点和右下顶点坐标分别为(170，1220)、1220，1333)，第三个矩形的左上顶点和右下点顶分别为(1074，1540)、(1416，2056)，在图5中这些区域经过旋转和平移后的坐标位置会发生变化，但是在本发明中我们针对的变化是小范围内的变化，因此我们在图5中将相同的矩形区域内作为填涂区，不提取特征点，可以从图6中看出这些区域中并无特征点，图7中的填涂区域是我们估计在待匹配的扫描文档图像中估计的，所以在区域的边缘部分会出现一些特征点。图像中“+”表示一个特征点所在的位置。

(2)旋转参数粗估计

待匹配扫描文档图像在扫描过程中不可避免地发生角度偏移，旋转参数的粗估计就是粗步估计待匹配扫描文档图像相对与标准后扫描文档图像的旋转参数，估计的旋转参数精度可能不是很高，但是能为下一步的特征点的粗匹配提供条件，因为下一步中的特征点匹配的方法是建立在待匹配扫描图像的旋转参数已经近似正确地校正的基础上，因此这一步是匹配是否成功的关键步骤。

由于只是旋转参数的粗估计，且本发明针对旋转参数在[-10°，10°]范围内的情况，采取如下方案：利用检测出的标准扫描文档图像和待匹配扫描文档图像中的特征点的位置信息，遍历待匹配扫描文档图像相对于标准扫描文档图像旋转角度的范围-10°～10°，对于不在此范围内的旋转角度，本发明不适用，对于小于此范围内的旋转角度，本发明一样适用。对于每个遍历的角度，以该角度将待匹配扫描文档图像旋转，同时计算待匹配扫描文档图像特征点的旋转后的位置，获得旋转后的待匹配图像，然后用归一化相关法计算旋转后的图像与标准扫描文档图像间的特征点对，在所有遍历的角度中，在近似正确的旋转角度下标准扫描文档图像与正确旋转后的待匹配图像间匹配的特征点的对数最大，此时近似正确的角度为待匹配扫描图像相对与标准扫描文档图像的旋转参数的粗估计，用该角度旋转待匹配图像得到粗步旋转后的待匹配图像，为加快计算速度，特征点的参数可以适当调整，减少特征点的数目，减少计算量。

我们将待匹配图像分别旋转[-10°，10°]内的每一整数角度点，最后发现当旋转角度为5时得到匹配点数最多，参见图8，图8为待匹配图像经过旋转后的图像，旋转参数的确定如上述的方法。

(3)特征点粗匹配

经过粗步旋转后的待匹配扫描文档图像相对与标准扫描文档图像只存在小角度的旋转和未知的平移，这一步就是通过计算以特征点为中心的窗口之间的相似度来判断旋转后的待匹配扫描文档图像与标准扫描文档图像中的特征点是否匹配。匹配过程是一个双向的过程，即只有当标准扫描文档图像与粗旋转后的待匹配扫描文档图像中的特征点互为相似度最大的点时才将这对特征点作为匹配对，两个窗口相似性度量方法采用归一化相关法，以下面的公式计算归一化相关系数(NCC)为：

NCC = \frac{\underset{i}{Σ} (w_{1} (x_{i}, y_{i}) - u_{1}) (w_{2} (x_{i}, y_{i}) - u_{2})}{\sqrt{\underset{i}{Σ} {(w_{1} (x_{i}, y_{i}) - u_{1})}^{2} Σ {(w_{2} (x_{i}, y_{i}) - u_{2})}^{2}}}

其中w₁、w₂是两幅匹配图像中以特征点为中心的两个大小相同的窗口，u₁、u₂是为相关窗口内像素灰度的均值，x_i、y_i是图像中像素点的行和列的位置信息，NCC匹配方法去除了低频背景亮度信息的干扰，进行特征点匹配时首先对于标准扫描文档图像中的任一特征点，寻找在粗步旋转后的待匹配扫描文档图像中和它相关性最大的特征点，然后对于粗步旋转后的待匹配图像中的任一特征点，寻找在标准图像中和它相关性最大的特征点，当双向搜寻到最大相关性的特征点彼此对应且相关性大于某一域值时，即认为找到一对候选匹配点。

参见图9，图9为粗旋转后的扫描文档图像的特征点检测，“+”代表一个特征点，参见图10，标准图像与旋转后的待匹配图像进行粗匹配的结果，我们取归一化相关系数NCC大于某阀值的匹配对为可接受的匹配对，在本实施例中取NCC＞0.9975，可以看出里面的误匹配发生的情况，为了便于观察我们将两幅图像合成一幅图像，并用直线将粗匹配的特征点连接起来。

(4)误匹配特征点对剔除

由于特征点检测子在标准扫描文档图像和待匹配的扫描文档图像中不会检测出相同数量同时位置相同的特征点，同时特征点的粗匹配也存在一些误差，因为需要在剔除这些误匹配特征点，否则将影响到最后图像配准的精度，我们设计了改进的随机采样一致性(RANSAC)鲁棒算法用于误匹配特征对的剔除，在特征3中有详细的说明。

参见图11，为经过误匹配特征点对剔除后的匹配，可以看出在图10中的误匹配点基本上剔除，同样地，我们用直线将匹配的特征点对用直线连接起来。

(5)精细匹配

对于已经剔除误匹配的特征点对，如果按此时的特征点的位置对来计算变换参数，误差仍较大，因为从开始配准到误匹配特征点剔除，所有特征点的位置信息是固定的，但是由于特征点检测是存在误差的，在得到旋转平移参数的粗估计后，可以确定匹配点的大概位置，因此设计了一种八近邻的搜索最优匹配点的方法，对匹配特征点对的位置进行优化，用最小二乘法求解旋转和平移参数。

具体方法是利用改进的随机采样一致性鲁棒算法中循环结束时得到的特征点匹配对，假设为：

X’＝{X1’，X2’……Xn’}，Y’＝{Y1’，Y2’，……Yn’}，

X’是标准扫描文档图像上的特征点，Y’是旋转后的扫描文档图像特征点，对于Y’中的每一个Yi’，搜索Yi’八邻域的像素点计算与其匹配的特征点Xi’的相似度，取相似度最大的点作为与Xi’匹配的点，若经过搜索Yi’的八领域像素点没有找到一个与Xi’相似度比Yi’本身更大的像素点，则算法结果不再做搜索，否则继续搜索得到的相似度最大的像素点的位置的八邻域，当搜索后得到的相似度最大的点与搜索前的特征点Yi’的距离超过设定4个像素(一般取[3，5]之间)距离值认为是误匹配特征点，将这对特征点去掉，不再搜索；对每一对匹配的特征点进行这样的操作后得到剔除误匹配的匹配特征点对。

参见图12，为图11中的匹配特征点对经过精细化搜索后的匹配点对。

参见图13，图13为用第五步中求出的旋转平移参数将图5校正后与图4匹配的结果。

特征二：发明了一种扫描文档图像自动配准方法，设计了改进的特征点检测算法，特征在于：

文档图像作为一种比较特殊的图像，有自身的一些特点，我们设计改进的特征点检测算法正是建立在这些特点的基础上。文档图像的配准在很多情况下是要求将一个标准的没有经过涂写的图像与一幅已经填写或注释后的图像进行配准。涂写或注释在特征点检测中会产生很多特征点，而这些特征点在标准的无涂写图像中是没有的，因此也就没有真正的与之匹配的特征点，如果将这些特征点代入下一轮的特征点粗匹配，除了增加计算量和增加误匹配发生的概率外不起任何作用，因此有必要将这些特征点过滤。我们假定扫描图像的旋转参数在[-10°，10°]之间，这个条件在大部分的扫描过程中是可以满足的，在这个条件下标准图像中一些空白的表格、涂写、注释区在经过旋转后的大概区域就可以估计出来，在待匹配图像特征点检测过程中这些区域就可以忽略不检测。

SUSAN算子是由英国牛津大学的S.M.Smith，J.M.Brady首先提出来的，它的主要优点是(1)对角点的检测比对边缘检测的效果好，适用于基于角点的图像配准；(2)无需梯度运算，保证了算法的效率；(3)具有积分特性，使得SUSAN算法在抗噪和计算速度方面有较大的改进。下面说明SUSAN算子的思想，参见图3，在白色背景下有一个黑色的矩形区域，有五个位于不同位置的圆形模板2，比较模板内像素的灰度值与核1的灰度值之间的大小关系，与核的灰度值相同的像素数目之和定义为模板面积，这个面积就称为USAN，通过观察容易发现：

(1)当核位于平坦区域时，USAN面积最大；

(2)当核位于一条直线边缘附近时，USAN面积减少；

(3)当核位于直线边缘上时，USAN面积减半；

(4)当核恰好位于角点上时，USAN面积仅是(1)的四分之一

USAN是模板运算后得到的USAN面积越小表明当前位置的点是特征点的可能性越大，也即输出图像增强了特征点，而且对二维特征的增强程度要大于一维特征的增强，因此将这种算法称为SUSAN(Smallest Univalve Segment Assimilating Nucleus)算法，算法流程如下：

Step1：SUSAN模板在图像上滑动，在每个位置上，比较模板内各

图像像素的灰度值与模板核的灰度值：

其中r_o是核在二维图像中的位置，I(r_o)是该位置点的灰度值，r是模板内除核之外的任意一个像素点的位置，I(r)是该任意一个像素点的灰度值，t是灰度值差的域值，控制角点提取数量，c(r，r_o)是灰度值比较结果；

Step2：模板内所有像素点与核灰度值比较的和为：

将此值与给定域值g比较，得到图像的边缘响应

假设模板能取到的最大值为Nmax，通常用几何域值g控制角点的提取质量，一般可取为0.75*Nmax，确定边缘的位置，r₀代表模板核的位置，n(r₀)是模板内所有像素点与模板核灰度值的比较的和，，R(r₀)代表图像的边缘响应。

Step3：计算模板的重心r(r₀)

r (r_{0}) = \frac{Σr \times c (r, r_{0})}{Σc (r, r_{0})}

然后求出核到重心的距离，对应正确角点其重心距离核较远，通过该距离可以消除虚假的角点，最后使用非极大值抑制方法找出角点。

参见图4，图4为标准扫描文档图像，中间主要有三个区域为填涂区，分别为像素点(165，1570)和像素点(519，1050)间的矩形区域，像素点(170，1220)和像素点(1220，1333)间的矩形区域，像素点(1074，1540)和像素点(1416，2056)间的矩形区域，在这三个区域内不做特征点检测，参见图5，图5待匹配扫描文档图像，要在图5中估计填涂区的位置，我们取与标准图像中相同的区域，这些区域不做特征点检测，由于相对于标准的图像存在旋转和偏移，因此估计的填涂区有一些偏差，可以在图5中看到填涂区边缘也有特征点出现，“+”代表一个特征点所在的位置。

特征三：发明了一种扫描文档图像自动配准方法，如图2示出，设计了改进的随机采样一致性(RANSAC)鲁棒算法用于误匹配特征对的剔除，特征在于：

假设存在这样两组数据X＝{X1，X2，X3，X4......Xm}，Y＝{Y1，Y2，Y3，Y4....Ym}其中Xi，Yi(i＜m)分别代表标准扫描文档图像和粗旋转后的待匹配的扫描文档图像中特征点，且这两个点是经过粗匹配后的一对匹配点，即X，Y中的点按顺序依次匹配，传统随机采样一致性(RANSAC)鲁棒算法的主要思想是随机抽取两对匹配点计算旋转平移参数，然后用计算得到的旋转平移参数作用于Yi，得到的点假设记为Zi，计算Xi与Zi的距离，当‖Zi-Xi‖小于某个固定的域值时将这个点视为内点，否则记为外点，记下此变换下所有的内点个数，当内点个数大于某域值时算法结束，否则重新随机选择两对匹配点计算内点数。

针对传统随机采样一致性(RANSAC)鲁棒算法，我们设计了一种改进的RANSAC方法，主要在以下三点进行改进：

(1)在随机选择两对匹配点的过程中，若两对匹配点中位于标准扫描文档图像的两个特征点距离小于三十个像素，或两对匹配点中位于粗旋转后的待匹配图像中的两个点距离小于三十个像素时(两个特征点距离与像素之间的比值可在[20，40]范围内选择，两个特征点距离小于三十个像素仅为一个实施例，其他比值的实施例，则在此不一一赘述)，这种情况下得到的匹配参数存在的误差大，就没有必要继续进行算法，因此在计算匹配参数及内点个数之前要判断这两对特征点的距离，距离小于三十个像素时重新选择，距离大于三十个像素用这两对特征点计算旋转和平移参数；

(2)在随机选择的两对匹配点对计算得到粗步旋转后的待匹配扫描文档图像相对于标准扫描文档图像的旋转和平移参数后，就是要计算这些参数对于剩余的匹配点对是否正确，由于扫描文档图像只存在旋转和平移变化，特征点与特征点之间的距离是不变的，因此我们不采用传统方法中将直接旋转和平移参数作用于剩余特征点的做法，对于要验证是否为内点的点对，这一对特征点，一个位于标准扫描文档图像上，一个位于粗旋转后的待匹配的扫描文档图像上，计算标准扫描文档图像上的特征点与随机选择的两个匹配点对在标准扫描文档图像上的两个特征点的距离，记为D1、D2，同时计算粗旋转后待匹配扫描文档图像上的特征点与随机选择的两个匹配点对中位于粗旋转后扫描文档图像的两个特征点的距离，记为D3、D4，当D1与D3的差的绝对值小于设定域值(取两个像素距离)，且D2与D4的差的绝对值小于设定阈值时(取两个像素距离)，这对匹配点为内点，否则这对匹配点为外点，这样可以减少计算量，加快速度；

(3)在第一次随机采样一致性(RANSAC)鲁棒算法结束后，得到一个旋转与平移参数和在此参数下经过验证为正确的匹配点，在此基础上进一步提高精度，对每个在粗旋转后的待匹配图像中的特征点，在这个特征点的周围区域(一般取3*3大小的窗口)重新计算与标准图像中对应特征点的相似度，找到与其对应匹配的特征点相似度最大的点作为更新后的精细匹配点，若精细匹配的点就是搜索前特征点的位置，则算法结果不再做搜索，否则继续搜索精细化后的特征点的位置的八邻域，一般情况下若精细化搜索后特征点位置与第一次搜索前的特征点的距离超过4个像素距离(一般取[3，5]之间)认为是误匹配点，将这对特征点去掉，不再搜索，最后得到的特征点匹配对为结果。

将标准扫描文档图像中的特征点设为：

X＝{X1，X2，X3，X4......Xi，Xm}，将粗步旋转后的待匹配文档图像的特征设为Y＝{Y1，Y2，Y3，Y4......Yi，Ym}，其中Xi，Yi分别代表X，Y中的一个特征点，且Xi与Yi是一对匹配点，即X，Y中的特征点按顺序依次匹配，i＜m，i和m为自然数。

下面结合图例解释改进的随机采样一致性(RANSAC)鲁棒算法，算法流程：

(1)参数初始化N1＝0，N1为内点个数，随机选择两对匹配点，(Xi，Yi)、(Xj，Yj)，Xi、X就是X中的两个特征点，Yi、Yj是Y中的两个特征点，Xi对应Yi，Xj对应Yj，若两对匹配点中位于同一幅图像中的两个特征点，即Xi与Xj的距离或Yi与Tj的距离小于三十个像素距离时(两个点距离与像素之间的比值可在[20，40]范围内选择，两个点距离小于三十个像素仅为一个实施例，其他比值的实施例，则在此不一一赘述)，则停止计算，重新选择，否则转入下一步；

(2)用上一步中得到了两对匹配点计算标准扫描图像与经过粗步旋转后的待匹配图像之间的旋转和平移参数，计算方法如下；

传统的方法需要作以下计算：设Xi坐标为(m1，n1)，Xj(m2，n2)，Yi(m3，n3)，Yj(m4，n4)，粗步旋转后的待匹配图像相对与标准扫描文档的旋转矩阵(2行2列)的四个元素为(t1，t2，-t2，t1)，元素排列顺序为先行后列，在水平和垂直方向的平移分别为(Δx，Δy)，由匹配关系得到如下四个方程：

t1*m3+t2*n3+Δx＝m1

t1*n3-t2*m3+Δy＝n1

t1*m4+t2*n4+Δx＝m2

t1*n4-t2*m4+Δy＝n2

解上面四个方程得到(Δx，Δy)、t1、t2，则粗步旋转后的待匹配图像相对与标准的扫描文档图像的旋转角度为arctan(t2/t1)。

在本发明中改进的随机采样一致性(RANSAC)鲁棒算法，我们不需要做上述的计算，只需要得到坐标信息即Xi(m1，n1)，Xj(m2，n2)，Yi(m3，n3)，Yj(m4，n4)；

(3)对X、Y中的每一对匹配点，这一对匹配特征点，一个位于标准扫描文档图像上，一个位于粗旋转后的待匹配的扫描文档图像上，计算这对匹配点中位于标准扫描文档图像上的特征点与随机选择的两个匹配点对在标准扫描文档图像上的两个特征点的距离，即与Xi、Xj的距离，记为D1、D2，同时计算这对匹配点中们于粗旋转后扫描文档图像上的点与随机选择的两个匹配点对中位于粗旋转后扫描文档图像的两个特征点的距离，即与Yi、Yj的距离，记为D3、D4，当D1与D3的差的绝对值小于设定域值，且D2与D4的差的绝对值小于设定阈值时(一般取两个像素距离)，这对匹配点为内点，否则这对匹配点为外点，记下内点个数N1及验证正确的匹配特征点对X’和Y’；

依次取X、Y中对应的匹配点对，假设为Xt，Yt，这是一对匹配的特征点对，设Xt的坐标为(m5，n5)，Yt的坐标为(m6，n6)改进的改进的随机采样一致性(RANSAC)鲁棒算法不需要做以上的计算，只需要对Xt(m5，n5)，Yt(m6，n6)做计算，若以下两个式子成立，则认为匹配对Xt、Yt是内点，将其加入到X’、Y’中，N1＝N1+1，否则该特征点记为外点。

| | \sqrt{{(m 5 - m 1)}^{2} + {(n 5 - n 1)}^{2}} - \sqrt{{(m 6 - m 3)}^{2} + {(n 6 - n 3)}^{2}} | | < 2,

| | \sqrt{{(m 5 - m 2)}^{2} + {(n 5 - n 2)}^{2}} - \sqrt{{(m 6 - m 4)}^{2} + {(n 6 - n 4)}^{2}} | | < 2

为便与说明，下面说明传统的随机采样一致性(RANSAC)鲁棒算法的原理：传统的随机采样一致性(RANSAC)鲁棒算法在这一步要做以下计算：在旋转和平移参数作用下，将Y中的特征点作旋转和平移变换，然后计算Y中每个特征点在变换后与其变换前相匹配的特征点的距离，当此距离小于设定阈值(一般取两个像素距离)，则点为内点，当距离大于设定阈值则该点为外点，记下内点个数N及验证正确的匹配特征点对X’和Y’，其中Y’为变换后为内点的点在变换前的值，X’为与Y’匹配的点，具体步骤如下：

若利用上一步得到的结果，当‖(t1*m6+t2*n6+Δx-m5)‖＜2且‖t1*n6-t2*n6+Δy-n5‖＜2时，该特征点记为内点并将Xt、Yt分别加入到X’、Y’中，且N1＝N1+1，否则该点记为外点。

(4)若循环为第一次，则初始化N2＝N1；否则取N2与N1中大的值，若N2＜N1更新的内点为此次计算得到的内点X’、Y’，若N2＞N1，则此次循环的内点不如上次的多，内点不做更新，若循环次数大于设定次数(设定次数可根据匹配对中正确匹配的个数来估计，若正确个数多，循环次数少，若匹配正确的个数少，循环次数多，一般取[500，1000]之间，本实施例中设定次数为500次，或600、或800，在此则不一一赘述)或N2大于0.7×m(一般取X中特征点的个数的50％～80％)则转入下一步，否则转入步骤1进入下一次循环。

参见图11，图11为图10中的特征匹配对在经过上述循环算法后得到的特征匹配对，我们用直线将特征匹配对连接起来。

(5)在第一次RANSAC算法结束后对上述循环退出就得到的匹配特征点对X’＝{X1’，X2’……Xn’}，Y’＝{Y1’，Y2’，……Yn’}，X’是标准扫描文档图像上的特征点，Y’是粗步旋转后的扫描文档图像特征点，且这两组特征点中的点依次为一对特征匹配点，对于Y’中的每一个Yi’，搜索其八邻域的像素点计算与其匹配的特征点Xi’的相似度，取相似度最大的像素点作为与Xi’匹配的点，若匹配的像素点与搜索前特征点的位置不变，则算法结果不再做搜索，否则继续搜索变化后的特征点的位置的八邻域，若搜索后的特征点与搜索前的特征点的距离超过4个像素认为是误匹配点，将这对特征点去掉，不再搜索，最后得到的特征点匹配对为结果。

参见图12，图12为图11中的匹配点经过精细化搜索最佳匹配后的的结果。

(6)对上一步得到的最后的匹配对，用最小二乘法求旋转和平移参数，方法和(2)中方法类似，

从X’、Y’中分别取点Xi、Yi，设Xi坐标为(m1，n1)，Yi(m2，n2)，粗步旋转后的待匹配图像相对与标准扫描文档的旋转矩阵(2行2列)的四个元素为(t1，t2，-t2，t1)，元素排列顺序为先行后列，在水平和垂直方向的平移分别为(Δx，Δy)，由匹配关系得到如下四个方程：

t1*m2+t2*n2+Δx＝m1

t1*n2-t2*m2+Δy＝n1

一对特征匹配点可以得到两个方程，共有n个点可以得到2*n个方程，假设得到的方程组用A*X＝Y，其中A是2*n行4列矩阵，一对匹配点得到上述的两个方程，这两个方程可以得到矩阵A的两行系数，分别为(m2，n2，1，0)，(n2，-m2，0，1)，且这两个方程可以得到与这两行系数相对应的Y中的前两行，Y的行为2*n，Y的列为1，因此Y的两行系数分别为m1、n1，X是待求参数(t1，t2，Δx，Δy)，用最小二乘法求解A*X＝Y方程，方法如下：

在方程A*X＝Y两边同时乘以A的转置A^T，得到A^TA*X＝A^TY，A^TA为4行4列的矩阵，A^TY为4行1列的矩阵，解这个矩阵方程就可以得到(t1，t2，Δx，Δy)，求解得到粗旋转后的扫描文档图像相与对标准扫描文档图像的旋转角度为θ＝arctan(t2/t1)，旋转角度正号表示顺时针方向，负号表示逆时针方向，水平方向的位移为Δy，水平方向的位移正号表示向左，负号向右，垂直方向的位移为Δx，垂直方向的位移正号表示向下，负号表示向上。

将这些参数的反方向作用粗旋转后的待匹配图像就得到与标准扫描文档图像匹配的结果，为加快速度，可取水平方向和垂直方向位移的整数(四舍五入)，对于旋转角度的处理，可用最近邻插值法得到图像的像素值。具体方法如下：

设点(x，y)为粗旋转后的待匹配扫描图像经过旋转和平移参数校正后的与标准扫描文档图像配准的图像中的一点，则该点在校正前的点在粗旋转后的待匹配扫描文档图像中的位置为：(x*cosθ+y*sinθ-Δx，-x*sinθ+y*cosθ-Δy)，将这个像素点的坐标取整为(x’，y’)，则在以下四个像素点中(x’，y’)、(x’+1，y’)、(x’，y’+1)、(x’+1，y’+1)，计算这四个像素点与特征点(x*cosθ+y*sinθ-Δx，-x*sinθ+y*cosθ-Δy)的距离，取其中中距离最小的像素点的像素灰度值赋给点(x，y)，这就是最近邻插值法，θ代表粗旋转后的扫描文档图像相与对标准扫描文档图像的旋转角度。

参见图13，图13为图5与图4配准的结果，通过计算得到粗步旋转后的待匹配文档图像图8相对于标准扫描文档图像图4的旋转角度为-0.122度，相对与标准扫描文档图像的水平方向的位移为+1.6，相对与标准扫描文档图像的垂直方向位移为-8.8，将这些参数的反方向作用与图5就得到图13，因此将图8顺时针旋转-0.122度，水平向左移动1.6个像素，垂直方向向下移动8.8个像素，就得到图13。

上述实验结果与发明人对扫描文档图像配准方法的理论分析一致，具有高可信度、可应用性和可采纳性。

应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

Claims

1.一种扫描文档图像自动配准方法，其特征在于：该配准方法的步骤包括：改进的特征点检测、旋转参数粗估计、特征点粗匹配、误匹配特征点剔除和精细匹配共五个步骤组成：

步骤S4：剔除误匹配特征点对

步骤S5：精细匹配

2.根据权利要求1所述的自动配准方法，其特征在于，所述改进的特征点检测算法步骤如下：

步骤S11：由标准扫描文档图像确定文字涂写或注释区；

步骤S13：限定待匹配扫描文档图像与标准扫描文档图像旋转和平移参数的范围，由标准扫描文档图像的文字涂写或注释区的范围来估计待匹配扫描文档图像的涂写或注释区；

3.根据权利要求1所述的自动配准方法，其特征在于，所述剔除误匹配特征点对的步骤包括：

步骤S41：将标准扫描文档图像中的特征点设为：

X＝{X1，X2，X3，X4......Xi，Xm}，将粗旋转后的待匹配文档图像的特征Y＝{Y1，Y2，Y3，Y4......Yi，Ym}，其中Xi，Yi分别代表标准扫描文档图像中的特征点X、粗旋转后的待匹配文档图像特征Y中的一个特征点，且Xi与Yi是一对匹配点，X，Y中的特征点按顺序依次匹配，i＜m，i和m为自然数；

X’＝{X1’，X2’……Xn’}，Y’＝{Y1’，Y2’，……Yn’}，