CN101916445A - 一种基于仿射参数估计的图像配准方法 - Google Patents

Abstract

本发明属于计算机图像处理领域，涉及一种基于仿射参数估计的图像配准方法，包括下列步骤：采用SIFT算法提取图像的特征点，然后对不同图像的特征点进行匹配；根据仿射变换的具体情况，建立数学模型，并估计其中的仿射变换参数；采用估算出的图像间的仿射变换参数，进行运动补偿，得到配准后图像。本发明的图像配准方法，对误匹配具有较强的鲁棒性，实现起来比较简单并且有较好的实时性。

Description

一种基于仿射参数估计的图像配准方法

技术领域

本发明属于计算机图像处理领域，涉及一种图像配准方法。

背景技术

图像配准是同一场景的两幅或多幅图像在空间上的对准。它在医学，遥感图像分析、图像融合、图像检索、目标识别等领域得到广泛的应用。同时它也是多传感器图像融合、遥感图像镶嵌、目标变化检测、三维重建等领域中提高精度和有效性的瓶颈，是必需的前期工作。图像配准方法分为基于图像灰度和基于图像特征的配准。其中，基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度，实现起来比较简单，经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，如互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法等。基于特征的匹配方法首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方法。常用到的图像特征有：特征点(包括角点、高曲率点等)直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。

以上两种方法虽然都有各自的优势，且都取得了不错的效果，但这两种方法也都有自己的不足之处，基于图像灰度的配准方法配准速度比较慢；基于图像特征的配准方法算法复杂，而且往往由于特征提取的不完全，导致匹配率较低，对误匹配比较敏感，随着误匹配率的增大，配准效果会有明显的下降。这在很大程度上限制了以上两种方法在实际工程中的应用，

由于现有的基于灰度和基于特征的图像配准方法对误匹配均比较敏感，因此对特征点配准准确度提出了很高的要求，然而在许多实际工程中，例如航遥感空影像配准，由于飞机飞行姿态受气流影响比较严重，导致相邻帧图像之间存在很大的畸变，在进行点配准时误匹配在所难免，利用传统方法进行图像配准就会出现较大的偏差。

发明内容

本发明的目的是克服现有技术的上述缺陷，提供一种对误匹配具有较强的鲁棒性，实现起来比较简单并且有较好的实时性的图像配准方法。本发明的技术方案如下：

一种基于仿射参数估计的图像配准方法，包括：

第一步：采用SIFT算法提取图像的特征点，然后对不同图像的特征点进行匹配，步骤如下：

1)检测尺度空间极值点

首先对原图和待匹配的图像分别生成一个尺度空间，然后进行采样，并将每一个采样点和它所有的相邻点比较以得到空间极值点；

2)精确定位极值点

设定阈值以去除低对比度的极值点和产生不稳定边缘响应的极值点，得到关键点，并通过拟和三维二次函数确定关键点的位置和尺度；

3)确定每个关键点方向参数

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数；

4)关键点描述子的生成

对原图和待匹配的图像的每个关键点，首先将坐标轴旋转为关键点的方向，以关键点为中心取8×8的窗口，将8×8窗口分成4个小块，在每个4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，从而生成原图和待匹配的图像各自的SIFT特征向量；设定一个比例阈值，取原图中的某个关键点，并找出其与待配准图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点，用这种方法即可得到原图中的点列和待配准图像中对应的点列；

第二步：根据仿射变换的具体情况，建立数学模型如下：

已知待配准图像中的点列(x_i，y_j)(i＝1，2，ΛM，j＝1，2.ΛN)和原图像中的点列(X_i，Y_j)(i＝1，2，ΛM，j＝1，2.ΛN)(M，N分别为图像的长和宽)和原图像中初始点X⁰的坐标(X₀，Y₀)的值，令它们近似满足：

$\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}{f}_1(X_i,Y_i)\\ g_1(X_i,Y_i)\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{cc}{k}_x& 0\\ 0& k_y\end{array}\right]\left[\begin{array}{c}{X}_i-X_0\\ Y_i-Y_0\end{array}\right]+\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$

其中(i＝1，2，ΛN)，θ∈(-π，π]，k_x＞0，k_y＞0，估计其中的仿射变换参数θ，k_x，k_y，x₀，y₀，使得误差函数)达到最小，其中，θ为图像旋转角度，k_x，k_y分别为图像在x轴，y轴方向的畸变，x₀，y₀分别为图像在x轴，y轴方向的位移，记

X＝(θ，k_x，k_y，x₀，y₀)，该算法步骤如下：

1)选定初始点X⁰，计算F的梯度

令k＝0；

2)计算

3)如果H^k接近奇异，取

计算：X^k+1＝X^k+tP^k；否则，由方程H^kP^k＝-g^k解出P^k，进行如下判断：

若F(X^k+P^k)＜F(X^k)，令X^k+1＝X^k+P^k，

若F(X^k+P^k)≥F(X^k)，令计算X^k+1＝X^k+tP^k；

4)计算‖g^k+1‖，判断其是否满足迭代终止条件‖g^k+1‖＜ε，如满足，则X^k+1即为仿射变换参数，否则，k＝k+1，重复上述过程直到满足迭代终止条件为止；

第三步：采用估算出的图像间的仿射变换参数，进行运动补偿，得到配准后图像。

本发明结合了SIFT特征点匹配法和改进后的基于牛顿法的仿射参数估计方法提出了一种新的图像配准算法，并将其成功运用于图像配准领域。本发明对传统的基于图像灰度和基于图像特征的配准方法的改进之处在于：采用改进后的牛顿法求解仿射变换参数，有更高的收敛速度，与原方法相比最大的优点是：对误匹配有更好的鲁棒性，时间也比原方法快了一个数量级，实时性更强，计算简单，便于实现，能够更好地满足实际工程需要。

附图说明

图1θ估计结果随误匹配率变化曲线图；

图2kx估计结果随误匹配率变化的情况；

图3ky估计结果随误匹配率变化的情况；

图4x0估计结果随误匹配率变化的情况；

图5y0估计结果随误匹配率变化的情况；

图6PSNR随误匹配率变化情况；

图7图像配准及拼接后效果图。

具体实施方式

本发明提供的是结合了SIFT特征点匹配法和改进后的基于牛顿法的仿射参数估计法的图像配准方法，其具体步骤如下：

(1)采用SIFT算法提取图像的特征点，然后对不同图像的特征点进行匹配，步骤如下：

1)检测尺度空间极值点

首先对原图和待匹配的图像分别生成一个尺度空间，然后进行采样，并将每一个采样点和它所有的相邻点比较以得到空间极值点；

2)精确定位极值点

设定阈值以去除低对比度的极值点和产生不稳定边缘响应的极值点，得到关键点，并通过拟和三维二次函数确定关键点的位置和尺度；

3)确定每个关键点方向参数

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；

4)关键点描述子的生成

对于每个关键点，首先将坐标轴旋转为关键点的方向，以关键点为中心取8×8的窗口。将8×8窗口分成4个小块，在每个4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，从而生成原图像和待匹配的图像各自的SIFT特征向量；

当两幅待匹配的图像的SIFT特征向量生成后，采用关键点特征向量的欧式距离来做为两幅图像中关键点的相似性判定度量：取原图中的某个关键点，并找出其与待配准图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。用这种方法即可得到原图中的点列和待配准图像中对应的点列，以进行仿射参数估计。

(2)根据仿射变换的具体情况，建立数学模型如下：

已知待配准图像中的点列(x_i，y_j)(i＝1，2，ΛM，j＝1，2.ΛN)和原图像中的点列(X_i，Y_j)(i＝1，2，ΛM，j＝1，2.ΛN)(M，N分别为图像的长和宽)和原图像中初始点X⁰坐标X₀Y₀的值，令它们近似满足：

$\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}{f}_1(X_i,Y_i)\\ g_1(X_i,Y_i)\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{cc}{k}_x& 0\\ 0& k_y\end{array}\right]\left[\begin{array}{c}{X}_i-X_0\\ Y_i-Y_0\end{array}\right]+\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]---\left(1\right)$

其中(i＝1，2，ΛN)，θ∈(-π，π]，k_x＞0，k_y＞0，估计其中的仿射变换参数θk_xk_yx₀y₀，使得误差函数

)达到最小，其中，θ为图像旋转角度，k_x，k_y分别为图像在x轴，y轴方向的畸变，x₀，y₀分别为图像在x轴，y轴方向的位移，记

X＝(θ，k_x，k_y，x₀，y₀)，该算法步骤如下：

1)选定初始点X⁰，计算F的梯度

令k＝0；

2)计算

3)如果H^k接近奇异，取计算：X^k+1＝X^k+tP^k；否则，由方程H^kP^k＝-g^k解出P^k，进行如下判断：

若F(X^k+P^k)＜F(X^k)，令X^k+1＝X^k+P^k，

若F(X^k+P^k)≥F(X^k)，

计算X^k+1＝X^k+tP^k；

(3)计算‖g^k+1‖，判断其是否满足迭代终止条件‖g^k+1‖＜ε，如满足，输出X^k+1，即仿射变换参数，否则，k＝k+1，重复上述过程直到满足迭代终止条件为止。

(3)采用估算出的图像间的仿射变换参数，进行运动补偿，得到配准后图像。

随着误匹配率的增大，利用本发明中提出的基于改进后牛顿法的仿射参数估计方法与传统仿射变换参数估计方法(以超定方程法为例)的参数估计误差分别如图1-5所示，其中，横坐标代表图像的误匹配率，纵坐标代表估计出的参数和实际参数之间的绝对误差。

基于本发明及基于特征的图像配准方法对两帧图像进行配准，当误匹配率从1％升至10％，两种方法PSNR的变化情况如图6所示。其中，横坐标代表误匹配率，纵坐标代表配准后图像与原图像的峰值信噪比(PSNR)。

基于本发明及基于灰度的图像配准方法对对60帧图像进行配准后的平均峰值信噪比(PSNR)以及平均参数估计时间如表1所示。

表1两种方法配准后的平均峰值信噪比及参数估计时间比较

以下通过下面的实例对本发明做进一步的说明。选用60帧畸变比较严重的实际航空遥感视频影像，采用本发明提出的图像配准方法对相邻图像进行配准。首先，利用SIFT算法提取图像的特征点，然后对不同图像的特征点进行匹配，构建参数矩阵，然后采用本发明提出的基于牛顿法的参数估计模型进行迭代，迭代初值选为：[θ，k_x，k_y，x₀，y₀]^T＝[0，1，1，0，0]^T，迭代终止条件为：‖g^k+1‖＜ε，ε取0.01。即可估计出两幅图像间的仿射变换参数，最后通过仿射参数逆变换进行运动补偿，得到配准后图像。

将配准后的60帧图像进行拼接，效果如图7所示。从图7中可以看出，利用上述方法能够实现帧间图像的精确配准，证明了本发明提出的方法，配准结果具有很高的精度，能够满足实际工程的需要。

Claims (1)

1.一种基于仿射参数估计的图像配准方法，包括：

第一步：采用SIFT算法提取图像的特征点，然后对不同图像的特征点进行匹配，步骤如下：

1)检测尺度空间极值点

首先对原图和待匹配的图像分别生成一个尺度空间，然后进行采样，并将每一个采样点和它所有的相邻点比较以得到空间极值点；

2)精确定位极值点

设定阈值以去除低对比度的极值点和产生不稳定边缘响应的极值点，得到关键点，并通过拟和三维二次函数确定关键点的位置和尺度；

3)确定每个关键点方向参数

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数；

4)关键点描述子的生成

对原图和待匹配的图像的每个关键点，首先将坐标轴旋转为关键点的方向，以关键点为中心取8×8的窗口，将8×8窗口分成4个小块，在每个4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，从而生成原图和待匹配的图像各自的SIFT特征向量；设定一个比例阈值，取原图中的某个关键点，并找出其与待配准图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点，用这种方法即可得到原图中的点列和待配准图像中对应的点列；

第二步：根据仿射变换的具体情况，建立数学模型如下：

已知待配准图像中的点列(x_i，y_j)(i＝1，2，ΛM，j＝1，2.ΛN)和原图像中的点列(X_i，Y_j)(i＝1，2，ΛM，j＝1，2.ΛN)(M，N分别为图像的长和宽)和原图像中初始点X⁰的坐标(X₀，Y₀)的值，令它们近似满足：

$\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}{f}_1(X_i,Y_i)\\ g_1(X_i,Y_i)\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{cc}{k}_x& 0\\ 0& k_y\end{array}\right]\left[\begin{array}{c}{X}_i-X_0\\ Y_i-Y_0\end{array}\right]+\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$

其中(i＝1，2，ΛN)，θ∈(-π，π]，k_x＞0，k_y＞0，估计其中的仿射变换参数θ，k_x，k_y，x₀，y₀，使得误差函数)达到最小，其中，θ为图像旋转角度，k_x，k_y分别为图像在x轴，y轴方向的畸变，x₀，y₀分别为图像在x轴，y轴方向的位移，记

X＝(θ，k_x，k_y，x₀，y₀)，该算法步骤如下：

1)选定初始点X⁰，计算F的梯度

令k＝0；

2)计算

3)如果H^k接近奇异，取

计算：X^k+1＝X^k+tP^k；否则，由方程H^kP^k＝-g^k解出P^k，进行如下判断：

若F(X^k+P^k)＜F(X^k)，令X^k+1＝X^k+P^k，

若F(X^k+P^k)≥F(X^k)，令

计算X^k+1＝X^k+tP^k；

4)计算‖g^k+1‖，判断其是否满足迭代终止条件‖g^k+1‖＜ε，如满足，则X^k+1即为仿射变换参数，否则，k＝k+1，重复上述过程直到满足迭代终止条件为止；

第三步：采用估算出的图像间的仿射变换参数，进行运动补偿，得到配准后图像。

Images