CN102034231B - 图像序列配准方法 - Google Patents

Abstract

本发明提供一种图像序列配准方法，属于数字图像处理技术及OCR(光学字符识别)技术领域。该方法包括：步骤(1)，计算待配准图像的积分图，所述待配准图像包括相邻的参考图像和新来图像且均为二值化后的图像；步骤(2)，对所述待配准图像进行补零，利用FFT计算补零后所述待配准图像的相关函数值；步骤(3)，根据所述待配准图像的积分图和相关函数值，逐点计算配准系数；步骤(4)，根据所述配准系数挑选候选配准位置；步骤(5)，在所述候选配准位置中根据所述相关函数值得配准结果。本发明提出的配准系数，由于采用全局搜索，保证了配准位置计算的准确性，由于存在加速计算方法，保证了计算过程的快速性。

Description

图像序列配准方法

技术领域

本发明属于数字图像处理技术及OCR(光学字符识别)技术领域，特别涉及一种图像序列配准方法。

背景技术

电子扫描笔(简称扫描笔)是OCR的重要应用之一。扫描笔的技术原理大致为：首先，光学摄像头按照一定频率对被扫描资料进行连续拍照，获取被扫资料的图像序列。然后将图像序列拼接成一幅全景图像并进行OCR处理。图像拼接的核心就是进行相邻图像帧的配准。

图像配准方法常见的有基于像素的配准。基于像素的配准方法通常包括在时域内基于像素的配准方法和在频域内基于像素的配准方法两类。

频域内基于像素的配准方法主要是相位相关算法，由于假设图像具有周期性，当图像重叠率较大时，可以近似认为满足周期性假设，配准效果较好。但是当图像重叠区域较小时，算法就会失败，无法实现配准。因此，频域内基于像素的配准方法的鲁棒性较差。

时域内基于像素的配准方法常用的方法之一是全局搜索法。在全局搜索法中，待配准的图像通常是彩色或灰度图像。全局搜索算法就是逐像素计算彩色或灰度图像的重叠区域相似性。相似性一般采用相关系数(correlation coefficent)或者误差平方和(Sum ofSquared Difference)来度量。但是，这种基于彩色或灰度图像的配准方法计算量大，配准速度慢。

发明内容

本发明所要解决的技术问题是提出一种图像序列配准方法，提高配准的准确性和快速性。

为解决上述技术问题，本发明提供一种图像序列配准方法，包括：

步骤(1)，计算待配准图像的积分图，所述待配准图像包括相邻的参考图像和新来图像且均为二值化后的图像；

步骤(2)，对所述待配准图像进行补零，利用FFT计算补零后所述待配准图像的相关函数值；

步骤(3)，根据所述待配准图像的积分图和相关函数值，逐点计算配准系数；

步骤(4)，根据所述配准系数挑选候选配准位置；

步骤(5)，在所述候选配准位置中根据所述相关函数值得配准结果。

优选地，所述方法还包括：根据所述配准系数度量二值图像重叠区域的相似性。

优选地，所述计算待配准图像的积分图具体为：根据所述待配准图像中对应点的左上部的所有点的像素值之和，计算待配准图像的积分图。

优选地，对所述待配准图像进行补零具体为：根据补零后图像的宽度不小于2×M-1，补零后图像的高度应该不小于2×N-1，对所述带配准图像进行补零，其中M为原图宽，N为原图高。

优选地，配准位置(u，v)的取值范围为u∈[0，2×M-2]、v∈[0，2×N-2]。

优选地，所述步骤(4)具体为：按从大到小顺序搜索预定数目的配准系数局部极大值，将搜索出的配准系数局部极大值对应的配准位置作为候选配准位置。

优选地，所述步骤(5)具体为：在候选配准位置中取相关函数值最大的配准位置作为最终的配准位置。

优选地，所述步骤(3)具体为：

根据

计算配准系数，其中，R(u，v)表示在配准位置(u，v)处的配准系数，T为参考图像，N为新来图像；T(x，y)为参考图像T在点(x，y)处的值；N(x-u，y-v)为新来图像N在点(x-u，y-v)处的值；Φ为参考图像T中的重叠区域，&为与运算符，|为或运算符。

优选地，如果(x，y)处是前景像素点则T(x，y)为1，否则T(x，y)为0；N(x-u，y-v)的取值规则与T(x，y)相同。

优选地，利用FFT快速计算方法计算以确定

根据待配准图像的积分图以及待匹配图像之间的相关函数，计算 $\underset{(x,y)\∈\mathrm{\Φ}}{\mathrm{\Σ}}\left[T(x,y)\right|N(x-u,y-v)].$

本发明中，在二值图像中，可用0表示背景像素值，用1表示前景像素值，针对这一特点，提出了一种新的图像相似性的度量，即重叠区域中所有像素求“与”运算后的加和值与重叠区域中所有像素求“或”运算后的加和值的比值，称之为配准系数。配准系数的分子部分，是图像相关函数的形式，可以采用FFT进行加速计算；配准系数的分母部分，可以采用积分图进行加速计算。本发明提出的配准系数，由于存在快速计算方法，所以可以采用全局搜索算法进行图像配准。在本发明中，全局搜索保证了配准位置计算的准确性，加速计算方法保证了计算过程的快速性。

附图说明

图1为本发明图像序列配准方法的流程图；

图2为积分图计算的示意图；

图3为通过积分图计算图像任意矩形区域内所有点像素值之和的示意图；

图4a为实施例中待配准图像之一——参考图像；

图4b为实施例中待配准图像之一——新来图像；

图4c为实施例中待配准图像的局部相似造成的配准示意图；

图5为实施例中待配准图像的配准系数图。

具体实施方式

本发明提出了一种图像序列配准方法。

针对二值图像的特点，本发明首先提出了一种二值图像重叠区域相似性度量指标——配准系数R，具体公式如下：

其中，T为参考图像，N为新来图像；T(x，y)为参考图像T在点(x，y)处的值，如果是前景像素点则为1，否则为0；N(x-u，y-v)为新来图像N在点(x-u，y-v)处的值，取值规则同T(x，y)；Φ为参考图像T中的重叠区域；&为与运算符，|为或运算符；R(u，v)表示在配准位置(u，v)处的配准系数。以此相似性度量为基础，本发明提出的二值图像序列配准方法具体步骤如下：

步骤1：计算待配准图像的积分图。待配准图像包括相邻的参考图像和新来图像且均为二值化后的图像。

积分图Int是与待配准图像I等大的一张图像，其中的每个点记录的是图像I中对应点的左上部的所有点的像素值之和，如图2所示，用公式表示如下：

$\mathrm{Int}(x,y)=\underset{i=0}{\overset{x}{\mathrm{\Σ}}}\underset{j=0}{\overset{y}{\mathrm{\Σ}}}I(i,j)---\left(2\right)$

Int(x，y)是积分图中点(x，y)处的值，I(i，j)是待配准图像I在点(i，j)处的像素值。积分图的优势在于通过三次加减运算可以得到原图像中任意矩形区域中的像素值之和。如图3所示，要计算图像中矩形ABCD中的像素值之和，其中A、B、C、D点的坐标分别为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)，可以通过在积分图中计算Int(x₃，y₃)-Int(x₂，y₂)-Int(x₄，y₄)+Int(x₁，y₁)得到。积分图将在计算配准系数的分母时用到。

步骤2：利用FFT计算补零后待配准图像的相关函数。由于图像的二值特性，配准系数中的分子可以写为：

$\underset{(x,y)\∈\mathrm{\Φ}}{\mathrm{\Σ}}\left[T(x,y)\right|N(x-u,y-v)]---\left(3\right)$

这是两幅图像的相关函数，直接计算的计算量太大，可以利用相关定理换到频域进行计算。本发明的目的是计算重叠区域中像素值取与运算后的数值和，为了防止FFT计算的圆周移位的影响，要对图像进行补零。假设原图宽为M，高为N，补零后图像的宽度应该不小于2×M-1，补零后图像的高度应该不小于2×N-1。在本发明中，我们取补零后图像的宽度和高度分别为2×M-1和2×N-1。

步骤3：计算配准系数。配准系数的分子部分已经通过步骤2计算得到，再得到分母部分的值，就可以计算出配准系数。

具体说来，设待配准的两幅图像中参考图像的重叠区域的所有点的像素值和为S_T，新来图像对应的重叠区域的所有点的像素值和为S_N，S_T和S_N的值可以通过步骤1中的积分图很简单的计算出来，通过相关函数计算出来的重叠区域相与后的加和值为S_and，则对应的分母值为S_T+S_N-S_and。运用此公式计算出所有配准位置的配准系数的分母的值，就可以计算出各配准位置的配准系数。需要说明一点，配准位置取值范围为u∈[0，2×M-2]、v∈[0，2×N-2]，将整个配准位置所在的平面分为四个区域{u∈[0，M-1]，v∈[0，N-1]}、{u∈[M，2×M-2]，v∈[0，N-1]}、{u∈[0，M-1]，v∈[N，2×N-2]}、{u∈[M，2×M-2]，v∈[N，2×N-2]}，这四个区域代表的物理意义分别为：{u∈[0，M-1]，v∈[0，N-1]}表示新来图像相对于参考图像的左上点向右下方移动(u，v)；{u∈[M，2×M-2]，v∈[0，N-1]}表示新来图像相对于参考图像的右上点向左下方移动(2×M-1-u，v)；{u∈[0，M-1]，v∈[N，2×N-2]}表示新来图像相对于参考图像的左下点向右上方移动(u，2×N-1-v)；{u∈[M，2×M-2]，v∈[N，2×N-2]}表示新来图像相对于参考图像的右下点向左上方移动(2×M-1-u，2×N-1-v)。

步骤4：根据配准系数挑选候选配准位置。

一般说来，配准系数越大，表明对应的重叠区域的相似性越高，但是由于图像中局部相似区域的存在(具体见实施例)，配准系数最大的位置不一定是正确配准位置。设最大的配准系数为R_max，从大到小依次选取大于阈值αR_max(α∈(0，1))的配准系数局部极大值(局部峰值)作为候选配准位置，如果大于αR_max的配准系数局部极大值大于P个，则只取前P个，如果大于αR_max的配准系数局部极大值小于等于P个，则取实际个数。将取得的这些配准系数对应的配准位置作为候选配准位置。

步骤5：在候选配准位置中根据相关函数值得配准结果。

在步骤4中取得的候选配准位置中，我们取对应的相关函数值最大的那个配准位置作为最终的配准结果，这样做的依据在于当配准系数很大且相互之间相差不大的情况下，哪个重叠区域中前景像素点重叠的越多，其越可能为正确的配准位置。

为了能更清楚地理解本发明的技术内容，特举以下实施例详细说明。

本实施例中的待配准二值图像如图4(a)、图4(b)所示，其中图4(a)为参考图像T，图4(b)为新来图像N，图像的宽度为120像素，高度为160像素，前景像素用1表示，背景像素用0表示。扫描笔获取的图像序列重叠率要求在25％以上。图像序列配准方法流程图如图1所示，包括如下步骤：

步骤1：计算待配准图像的积分图。

积分图Int是与待配准图像I等大的一张图像，其中的每个点记录的是待配准图像I中对应点的左上部的所有点的像素值之和。如图2所示，待配准图像I中点(x，y)处对应的积分图中(x，y)处的值为待配准图像I中阴影区域所有像素点的像素值之和。积分图的计算可以通过下面两个公式对图像进行一遍扫描完成：

Row(x，y)＝Row(x，y-1)+I(x，y)    (4)

Int(x，y)＝Int(x，y-1)+Row(x，y)  (5)

其中Row(x，y)计算当前y行中0～x处的像素值的累加和，并设Row(-1，y)＝0，Int(x，y)为积分图中(x，y)处的值，其中Int(x，-1)＝0。通过计算，实施例中的两帧待配准图像的积分图分别为Int_T和Int_N。如图3所示，要计算图像中矩形ABCD中的像素值之和，其中A、B、C、D点的坐标分别为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)，可以通过在积分图中计算Int(x₃，y₃)-Int(x₂，y₂)-Int(x₄，y₄)+Int(x₁，y₁)得到。积分图将在计算配准系数的分母时用到。

步骤2：利用FFT计算补零后待配准图像的相关函数。

由于图像的二值特性，配准系数中的分子可以写为式(3)的形式，这是两幅图像的相关函数，直接计算的计算量太大，可以利用相关定理换到频域进行计算。

本发明的目的是计算重叠区域中像素值取与运算后的数值和，为了防止FFT计算的圆周移位的影响，要对图像进行补零。假设原图宽为M，高为N，补零后图像的宽度应该不小于2×M-1，补零后图像的高度应不小于2×N-1。

本实施例中，取补零后图像的宽度和高度分别为2×120-1＝239和2×160-1＝319。设补零后的参考图像为T′，补零后的新来图像为N′，则两帧图像的相关函数Re(u，v)可以通过下列公式计算：

Re(u，v)＝F^-1[F[T′(x，y)]×F^*[N′(x，y)]]   (6)

其中F[·]表示FFT，F^-1[·]表示逆FFT，F^*[·]表示FFT的计算结果取共轭。

步骤3：计算配准系数。

配准系数的分子部分我们已经通过步骤2计算得到，再得到分母部分的值，就可以计算出配准系数。具体说来，设待配准的两幅图像中参考图像的重叠区域的所有点的像素值和为S_T，新来图像对应的重叠区域的所有点的像素值和为S_N，S_T和S_N的值可以通过步骤1中的积分图很简单的计算出来，通过相关函数计算出来的重叠区域相与后的加和值为S_and，则对应的分母值为S_T+S_N-S_and。运用此公式计算出所有配准位置的配准系数的分母的值，就可以计算出各配准位置的配准系数。在实际应用中，待配准图像之间都有重叠率的限制，因此并不是所有的配准系数都需要计算。

本实施例中，重叠率大于等于25％，此处取为25％，则可以直接设置R(u，v)＝0{u∈[90，150]，v∈[120，200]}，因为图像的配准位置落入该区域后重叠率将不满足25％的限制。

计算所得的配准系数如图5所示，尖峰的高低表示配准系数的大小。需要说明一点，配准位置取值范围为u∈[0，238]、v∈[0，318]，将整个配准位置所在的平面分为四个区域{u∈[0，119]，v∈[0，159]}、{u∈[120，238]，v∈[0，159]}、{u∈[0，119]，v∈[160，238]}、{u∈[120，238]，v∈[160，318]}，这四个区域代表的物理意义分别为：{u∈[0，119]，v∈[0，159}表示新来图像相对于参考图像的左上点向右下方移动(u，v)；{u∈[120，238]，v∈[0，159]}表示新来图像相对于参考图像的右上点向左下方移动(239-u，v)；{u∈[0，119]，v∈[160，318]}表示新来图像相对于参考图像的左下点向右上方移动(u，319-v)；{u∈[120，238]，v∈[160，318]}表示新来图像相对于参考图像的右下点向左上方移动(239-u，319-v)。

步骤4：根据配准系数挑选候选配准位置。

一般说来，配准系数越大，表明对应的重叠区域的相似性越高，其越有可能对应于正确配准位置。但是由于扫描笔主要用于扫取字符，如果图像中存在重复字符如图4(c)所示中的“词”，就会导致图像局部区域相似，这种局部相似也会产生很大的配准系数，从而配准系数最大的位置不一定是正确配准位置。所以，需要依据配准系数选取一系列候选配准位置，然后再根据其他条件从候选配准位置中选取正确配准位置。设最大的配准系数为R_max，从大到小依次选取大于阈值αR_max(α∈(0，1))的配准系数局部极大值(局部峰值)作为候选配准位置，如果大于αR_max的配准系数局部极大值大于P个，则只取前P个，如果大于αR_max的配准系数小于等于P个，则取实际个数，这些候选配准位置按照配准系数从大到小的顺序排列。

本实施例中，局部极大值的一种计算方法是：1)选取最大的配准系数R_max并记录之，将以其为中心的W×W窗口内的配准系数值清零；2)在局部清零后的配准系数图中搜索最大的配置系数并记录之，将以其为中心的W×W窗口内的配准系数值清零；3)重复步骤2)，直至找到P个局部最大值或者找到的配准系数小于αR_max为止。α取值过大，可能会导致正确配准位置对应的配准系数不被包含在大于αR_max的范围之中，α取值过小，则对应的αR_max会较小，其不可能对应正确配准位置。P的取值取决于图像中重复字符出现的个数，如果重复字符出现较多，则P的值取大一些，如果重复字符较少，则P的值取小一些。

本实施例中，取α＝0.7；一帧图像中大约能够容纳4个五号字体的字符，最坏的情况是这四个字符全部一样，再考虑四个方向的配准移动，取P＝16；清零窗口取为7×7。本实施例中，最大配准系数为0.7309，则αR_max＝0.7×0.7309＝0.5116，大于0.5116的配准系数局部极大值共有3个，如表一所示。

表一

配准系数	对应配准位置
		0.7309	(62，227)
0.7299	(35，1)
		0.5436	(35，318)

步骤5：在候选配准位置中根据相关函数值得配准结果。

在步骤4中取得的候选配准位置中，我们取对应的相关函数值最大的那个配准位置作为最终的配准结果，这样做的依据在于当匹配系数很大且相互之间相差不大的情况下，哪个重叠区域中前景像素点重叠的越多，其越可能为正确的配准位置。通过表二可知，在配准位置(35，1)上相关函数值最大，为1855，所以最终的配准位置为(35，1)，物理意义为新来图像N相对于参考图像T的左上点向右移动35个像素，向下移动一个像素。

本实施例中，各候选配准位置对应的相关函数值为：

表二

配准系数	对应配准位置	对应相关函数值
			0.7309	(62，227)	600
0.7299	(35，1)	1855
			0.5436	(35，318)	1547

Claims (9)

1.一种图像序列配准方法，其特征在于，包括：

步骤1，计算待配准图像的积分图，所述待配准图像包括相邻的参考图像和新来图像且均为二值化后的图像；

步骤2，对所述待配准图像进行补零，利用FFT计算补零后所述待配准图像的相关函数值；

步骤3，根据所述待配准图像的积分图和相关函数值，逐点计算配准系数，具体为：根据

计算配准系数，其中，R(u，v)表示在配准位置(u，v)处的配准系数，T为参考图像，N为新来图像；T(x，y)为参考图像T在点(x，y)处的值；N(x-u，y-v)为新来图像N在点(x-u，y-v)处的值；Φ为参考图像T中的重叠区域，&为与运算符，|为或运算符；

步骤4，根据所述配准系数挑选候选配准位置；

步骤5，在所述候选配准位置中根据所述相关函数值得出配准结果。

2.根据权利要求1所述的配准方法，其特征在于，还包括：根据所述配准系数度量二值图像重叠区域的相似性。

3.根据权利要求1所述的配准方法，其特征在于，所述计算待配准图像的积分图具体为：根据所述待配准图像中对应点的左上部的所有点的像素值之和，计算待配准图像的积分图。

4.根据权利要求1所述的配准方法，其特征在于，对所述待配准图像进行补零具体为：根据补零后图像的宽度不小于2×M-1，补零后图像的高度应该不小于2×N-1，对所述待配准图像进行补零，其中M为原图宽，N为原图高。

5.根据权利要求4所述的配准方法，其特征在于，配准位置(u，v)的取值范围为u∈[0，2×M-2]、v∈[0，2×N-2]。

6.根据权利要求1所述的配准方法，其特征在于，所述步骤4具体为：按从大到小顺序搜索预定数目的配准系数局部极大值，将搜索出的配准系数局部极大值对应的配准位置作为候选配准位置。

7.根据权利要求1所述的配准方法，其特征在于，所述步骤5具体为：在候选配准位置中取相关函数值最大的配准位置作为最终的配准位置。

8.根据权利要求1-7任一所述的配准方法，其特征在于，如果(x，y)处是前景像素点则T(x，y)为1，否则T(x，y)为0；N(x-u，y-v)的取值规则与T(x，y)相同。

9.根据权利要求1-7任一所述的配准方法，其特征在于：

利用FFT快速计算方法计算

以确定

根据待配准图像的积分图以及待匹配图像之间的相关函数，计算 $\underset{(x,y)\∈\mathrm{\Φ}}{\mathrm{\Σ}}\left[T(x,y)\right|N(x-u,y-v)]$

Images