CN104574401A - 一种基于平行线匹配的图像配准方法 - Google Patents

Abstract

本发明提供一种基于平行线匹配的图像配准方法，所述方法包括：利用优化尺度不变特征转换算法获取相邻两帧图像特征点；利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差；计算匹配的特征点的相对移动，得到全局运动参数。本发明的基于平行线匹配的图像配准方法，利用优化尺度不变特征转换算法获取相邻两帧图像特征点，提高了目标图像识别的速度；利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差，提高了目标图像识别的准确性。

Description

一种基于平行线匹配的图像配准方法

技术领域

本发明涉及图像识别技术领域，特别是指一种基于平行线匹配的图像配准方法。

背景技术

近年来，随着计算机技术的发展，图像分析从早期只局限于静态图像的处理和分析到如今的动态图像分析，这一领域正引起了人们越来越浓厚的兴趣。事实上，动态景物在客观世界中更加普遍，图像序列能为我们提供更丰富的信息。因而，在实际的运动目标检测中，常常面临的是摄像头也存在运动的动态场景，由此形成了动态视频序列。

由摄像头运动产生的全局运动会扩大视频流中的信息量，给人以愉悦的视觉感受。但是，在运动目标检测过程中，这些全局运动会带来各种负面影响，使得目标检测变得更为复杂，图像匹配速度慢，准确率降低。

发明内容

本发明要解决的技术问题是提供一种基于平行线匹配的图像配准方法，能够提高图像匹配的速度和准确性。

为解决上述技术问题，本发明的实施例提供一种基于平行线匹配的图像配准方法，所述方法包括：

利用优化尺度不变特征转换算法获取相邻两帧图像特征点；

利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差；

计算匹配的特征点的相对移动，得到全局运动参数。

优选的，所述利用优化尺度不变特征转换算法获取相邻两帧图像特征点，包括：

检测尺度空间特征点；

对特征点进行定位；

建立特征点方向参数；

形成特征点的特征向量。

优选的，所述对特征点进行定位，包括：

通过拟合三维二次函数确定特征点的位置和尺度；

所述建立特征点方向参数，包括：

利用特征点邻域像素的梯度方向分布特性建立特征点的方向参数。

优选的，所述形成特征点的特征向量，包括：

将坐标轴旋转为特征点方向；

以特征点为中心对特征点邻域所在尺度空间的像素进行划分；

确定高斯加权范围；

计算高斯加权范围内像素各梯度方向的模值得到特征点的特征向量。

优选的，所述以特征点为中心对特征点邻域所在尺度空间的像素进行划分，包括：

以特征点为中心对特征点邻域所在尺度空间的像素划分为16×16的方格，每个方格代表特征点邻域所在尺度空间的一个像素；

所述计算高斯加权范围内像素各梯度方向的模值得到特征点的特征向量，包括：

在高斯加权范围内每4个方格计算8个方向的梯度方向直方图，计算每个梯度方向的模值的累加值，形成一个种子点；

获取每个种子点的第一大梯度模值和第二大梯度模值；

利用高斯加权范围内种子点的第一大梯度模值和第二大梯度模值形成特征点的特征向量。

优选的，所述利用平行线法对相邻两帧图像中的特征点进行匹配，包括：

在参考帧图像中选取第一特征点，所述参考帧图像为相邻两帧图像中的前一帧图像；

在当前帧参考图像中选取与第一特征点距离最近的第二特征点和第三特征点，所述当前帧参考图像为相邻两帧图像中的后前一帧图像；

计算第一特征点与第二特征点的距离得到第一距离，计算第一特征点与第三特征点的距离得到第二距离，所述第一距离小于第二距离；

将第一距离与第二距离相比得到距离比；

将距离比与预先设置的距离比阈值进行比较，当所述距离比小于预先设置的距离比阈值时，所述第一特征点与所述第二特征点匹配。

优选的，所述去除特征点匹配误差，包括：

利用最小二乘法和平行线法中的至少一种方法剔除错误匹配的特征点。

优选的，所述利用优化尺度不变特征转换算法获取相邻两帧图像特征点，包括：

高斯尺度空间因子选取：选取4个高斯尺度因子σ，得到四个高斯函数G(x,y,σ)，高斯函数为： $G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{(x^2+y^2)}{{2\mathrm{\σ}}^2});$

对红外参考图像f(x,y)进行高斯变化，得到高斯尺度空间L_f(x,y,σ)，高斯尺度空间公式：L_f(x,y,σ)＝G(x,y,σ)*f(x,y)，其中*表示卷积运算；

对红外待匹配图像g(x,y)进行高斯变化，得到高斯尺度空间L_g(x,y,σ)，高斯尺度空间公式：L_g(x,y,σ)＝G(x,y,σ)*g(x,y)，其中*表示卷积运算；

对红外参考图像的高斯尺度空间相邻两个相减，得到高斯差分金字塔DOG空间:D_f(x,y,σ),其中， $D_f(x,y,\mathrm{\σ})=L_f(x,y,\sqrt{3}\mathrm{\σ})-L_f(x,y,\mathrm{\σ});$

对红外待匹配图像的高斯尺度空间相邻两个相减，得到高斯差分金字塔空间：D_g(x，y，σ),其中 $D_g(x,y,\mathrm{\σ})=L_g(x,y,\sqrt{3}\mathrm{\σ})-L_g(x,y,\mathrm{\σ})$

求取红外参考图像的特征点，高斯差分金字塔空间中间的检测点P_f(x,y)与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点C_f(x,y)比较，两者相减绝对值大于特征点阈值，则该点为特征点M_f(x,y)，其中特征点阈值取值为0.005；

求取红外待匹配图像的特征点，高斯差分金字塔空间中间的检测点P_g(x,y)与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点C_g(x,y)比较，两者相减绝对值大于特征点阈值，则该点为特征点M_g(x,y)，其中特征点阈值取值为0.005；

以红外参考图像的特征点P_f(x,y)为中心选取16×16的窗口，计算每个点的梯度模值m(x,y)和方向θ(x,y)。每4个作为一个种子点，形成4×4共16个种子点，对每个种子选取梯度模值最大的方向和仅次于梯度模值最大的方向，形成28维特征描述子

以红外待匹配图像的特征点P_g(x,y)为中心选取16×16的窗口，计算每个点的梯度模值m(x,y)和方向θ(x,y)。每4个作为一个种子点，形成4×4共16个种子点，对每个种子选取梯度模值最大的方向和仅次于梯度模值最大的方向，形成28维特征描述子

优选的，所述利用平行线法对相邻两帧图像中的特征点进行匹配，包括：特征描述子的匹配：将与模板中的向量进行匹配，当其欧式距离最小，并且小于阈值T(0.1)时，则其对应的点P_f(x,y)与点P_g(x,y)为对应的匹配点。

优选的，所述利用最小二乘法和平行线法中的至少一种方法剔除错误匹配的特征点，包括：

对于每一对匹配特征点和依次求斜率k_i，求k_i的平均值当时，该点为虚假匹配点剔除，从而得到准确的匹配点，其中，tk＝1。

本发明的上述技术方案的有益效果如下：

上述方案中，利用优化尺度不变特征转换算法获取相邻两帧图像特征点，提高了目标图像识别的速度；利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差，提高了目标图像识别的准确性。

附图说明

图1为本发明实施例的基于平行线匹配的图像配准方法流程图；

图2a和图2b实施例的基于平行线匹配的图像配准方法的特征点生成示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明的实施例一种基于平行线匹配的图像配准方法，所述方法包括：

步骤101：利用优化尺度不变特征转换算法获取相邻两帧图像特征点。

步骤102：利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差。

步骤103：计算匹配的特征点的相对移动，得到全局运动参数。

本发明实施例的基于平行线匹配的图像配准方法，利用优化尺度不变特征转换算法获取相邻两帧图像特征点，提高了目标图像识别的速度；利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差，提高了目标图像识别的准确性。

优选的，所述利用优化尺度不变特征转换算法获取相邻两帧图像特征点，包括：

检测尺度空间特征点；

对特征点进行定位；

建立特征点方向参数；

形成特征点的特征向量。

优选的，所述对特征点进行定位，包括：

通过拟合三维二次函数确定特征点的位置和尺度；

其中，通过拟合三维二次函数以精确确定特征点的位置和尺度(达到亚像素精度)，同时去除低对比度的特征点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

所述建立特征点方向参数，包括：

利用特征点邻域像素的梯度方向分布特性建立特征点的方向参数。

其中，利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。

至此，图像的特征点已检测完毕，每个特征点有三个信息:位置、所处尺度、方向。由此可以确定一个尺度不变特征转换特征区域。

优选的，所述形成特征点的特征向量，包括：

将坐标轴旋转为特征点方向；

以特征点为中心对特征点邻域所在尺度空间的像素进行划分；

确定高斯加权范围；

计算高斯加权范围内像素各梯度方向的模值得到特征点的特征向量。

优选的，所述以特征点为中心对特征点邻域所在尺度空间的像素进行划分，包括：

以特征点为中心对特征点邻域所在尺度空间的像素划分为16×16的方格，每个方格代表特征点邻域所在尺度空间的一个像素；

所述计算高斯加权范围内像素各梯度方向的模值得到特征点的特征向量，包括：

在高斯加权范围内每4个方格计算8个方向的梯度方向直方图，计算每个梯度方向的模值的累加值，形成一个种子点；

获取每个种子点的第一大梯度模值和第二大梯度模值；

利用高斯加权范围内种子点的第一大梯度模值和第二大梯度模值形成特征点的特征向量。

其中，首先将坐标轴旋转为特征点的方向，以确保旋转不变性。接下来以特征点为中心取16×16的窗口。图2a中的中央圆点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中大圆圈代表高斯加权的范围(越靠近特征点的像素梯度方向信息贡献越大)。高斯加权窗口是为了避免窗口位置小的改变而引起描述字大的变化，当然也使越靠近特征点的像素点方向信息贡献更大。然后在每4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图2b所示。此图中一个特征点由4×4共16个种子点组成，每个种子点有8个方向向量信息，从而每一个特征点生成128维的特征点特征向量，严重影响了算法的运行时间，通过提取每个种子点中梯度模值最大的方向和仅次于梯度模值最大的方向，从而将特征点特征向量缩小成32维，可有效提高算法的速度。

优选的，所述利用平行线法对相邻两帧图像中的特征点进行匹配，包括：

在参考帧图像中选取第一特征点，所述参考帧图像为相邻两帧图像中的前一帧图像；

在当前帧参考图像中选取与第一特征点距离最近的第二特征点和第三特征点，所述当前帧参考图像为相邻两帧图像中的后前一帧图像；

计算第一特征点与第二特征点的距离得到第一距离，计算第一特征点与第三特征点的距离得到第二距离，所述第一距离小于第二距离；

将第一距离与第二距离相比得到距离比；

将距离比与预先设置的距离比阈值进行比较，当所述距离比小于预先设置的距离比阈值时，所述第一特征点与所述第二特征点匹配。

其中，当两幅图像的特征点特征向量生成后，采用特征点特征向量的欧式距离来作为两幅图像中特征点的相似性判定度量。取参考帧图像中的某个特征点，并找出其与当前帧图像中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例闽值，特征点匹配点数目会减少，但更加稳定。

实际上，提取的特征匹配对通常是有误差的，这些误差可以分为两类:一类是特征点本身定位的误差，它们一般比较小，可以用正态分布来表示。另一类是由于出现了伪特征点，在匹配时找到了比自己更像自己的点。可能的原因是，在特征点选取时，选择了在同一个图像中具有自相似的点作为特征点，如具有重复结构的纹理特征。此时，常会引起匹配的混淆，带来对应的错误。如果特征点取在运动的目标上，那么这个点也不再具有特征点的性质，也应归为伪特征点。

对于第1类误差，在用最小二乘法计算仿射参数时，只要特征点对个数足够多，就可以消除。对于第2类误差，在有关最小二乘法的文献中，常称之为出格点。出格点的存在对仿射参数计算的影响是巨大的，最小二乘法对其极为敏感，只要有一个特征点对发生错误，就会导致参数计算错误，图像变换失败，可以直接利用特征点之间的几何特性来实现特征点间的匹配，计算中所有匹配点的斜率，通过平行线法，对不符合斜率要求的，作为错误匹配点剔除，从而实现特征点的精准匹配。

优选的，所述去除特征点匹配误差，包括：

利用最小二乘法和平行线法中的至少一种方法剔除错误匹配的特征点。

本发明的具体应用对象——数字化边海防系统中扇扫过程中运动目标的检测，其图像信号处理器硬件平台采用TI公司生产的TMS320C6416DSP构建。本发明提出的动态场景中运动目标检测其软件代码采用TMS320C6416DSP专用C语言和专用汇编语言混合编程实现，经编译后固化在图像信号处理器硬件上，加电后自动加载程序运行。

优选的，所述利用优化尺度不变特征转换算法获取相邻两帧图像特征点，包括：

高斯尺度空间因子选取：选取4个高斯尺度因子σ，得到四个高斯函数G(x,y,σ)，高斯函数为： $G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{(x^2+y^2)}{{2\mathrm{\σ}}^2});$

对红外参考图像f(x,y)进行高斯变化，得到高斯尺度空间L_f(x,y,σ)，高斯尺度空间公式：L_f(x,y,σ)＝G(x,y,σ)*f(x,y)，其中*表示卷积运算；

对红外待匹配图像g(x,y)进行高斯变化，得到高斯尺度空间L_g(x,y,σ)，高斯尺度空间公式：L_g(x,y,σ)＝G(x,y,σ)*g(x,y)，其中*表示卷积运算；

对红外参考图像的高斯尺度空间相邻两个相减，得到高斯差分金字塔DOG空间:D_f(x,y,σ),其中， $D_f(x,y,\mathrm{\σ})=L_f(x,y,\sqrt{3}\mathrm{\σ})-L_f(x,y,\mathrm{\σ});$

对红外待匹配图像的高斯尺度空间相邻两个相减，得到高斯差分金字塔空间：D_g(x，y，σ),其中 $D_g(x,y,\mathrm{\σ})=L_g(x,y,\sqrt{3}\mathrm{\σ})-L_g(x,y,\mathrm{\σ})$

求取红外参考图像的特征点，高斯差分金字塔空间中间的检测点P_f(x,y)与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点C_f(x,y)比较，两者相减绝对值大于特征点阈值，则该点为特征点M_f(x,y)，其中特征点阈值取值为0.005；

求取红外待匹配图像的特征点，高斯差分金字塔空间中间的检测点P_g(x,y)与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点C_g(x,y)比较，两者相减绝对值大于特征点阈值，则该点为特征点M_g(x,y)，其中特征点阈值取值为0.005；

以红外参考图像的特征点P_f(x,y)为中心选取16×16的窗口，计算每个点的梯度模值m(x,y)和方向θ(x,y)。每4个作为一个种子点，形成4×4共16个种子点，对每个种子选取梯度模值最大的方向和仅次于梯度模值最大的方向，形成28维特征描述子

以红外待匹配图像的特征点P_g(x,y)为中心选取16×16的窗口，计算每个点的梯度模值m(x,y)和方向θ(x,y)。每4个作为一个种子点，形成4×4共16个种子点，对每个种子选取梯度模值最大的方向和仅次于梯度模值最大的方向，形成28维特征描述子

优选的，所述利用平行线法对相邻两帧图像中的特征点进行匹配，包括：特征描述子的匹配：将与模板中的向量进行匹配，当其欧式距离最小，并且小于阈值T(0.1)时，则其对应的点P_f(x,y)与点P_g(x,y)为对应的匹配点。

优选的，所述利用最小二乘法和平行线法中的至少一种方法剔除错误匹配的特征点，包括：

对于每一对匹配特征点和依次求斜率k_i，求k_i的平均值当时，该点为虚假匹配点剔除，从而得到准确的匹配点，其中，tk＝1。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于平行线匹配的图像配准方法，其特征在于，所述方法包括：

利用优化尺度不变特征转换算法获取相邻两帧图像特征点；

利用平行线法对相邻两帧图像中的特征点进行匹配，去除特征点匹配误差；

计算匹配的特征点的相对移动，得到全局运动参数。

2.根据权利要求1所述的基于平行线匹配的图像配准方法，其特征在于，所述利用优化尺度不变特征转换算法获取相邻两帧图像特征点，包括：

检测尺度空间特征点；

对特征点进行定位；

建立特征点方向参数；

形成特征点的特征向量。

3.根据权利要求2所述的基于平行线匹配的图像配准方法，其特征在于，所述对特征点进行定位，包括：

通过拟合三维二次函数确定特征点的位置和尺度；

所述建立特征点方向参数，包括：

利用特征点邻域像素的梯度方向分布特性建立特征点的方向参数。

4.根据权利要求2或3任意一项所述的基于平行线匹配的图像配准方法，其特征在于，所述形成特征点的特征向量，包括：

将坐标轴旋转为特征点方向；

以特征点为中心对特征点邻域所在尺度空间的像素进行划分；

确定高斯加权范围；

计算高斯加权范围内像素各梯度方向的模值得到特征点的特征向量。

5.根据权利要求4所述的基于平行线匹配的图像配准方法，其特征在于，所述以特征点为中心对特征点邻域所在尺度空间的像素进行划分，包括：

以特征点为中心对特征点邻域所在尺度空间的像素划分为16×16的方格，每个方格代表特征点邻域所在尺度空间的一个像素；

所述计算高斯加权范围内像素各梯度方向的模值得到特征点的特征向量，包括：

在高斯加权范围内每4个方格计算8个方向的梯度方向直方图，计算每个梯度方向的模值的累加值，形成一个种子点；

获取每个种子点的第一大梯度模值和第二大梯度模值；

利用高斯加权范围内种子点的第一大梯度模值和第二大梯度模值形成特征点的特征向量。

6.根据权利要求1所述的基于平行线匹配的图像配准方法，其特征在于，所述利用平行线法对相邻两帧图像中的特征点进行匹配，包括：

在参考帧图像中选取第一特征点，所述参考帧图像为相邻两帧图像中的前一帧图像；

在当前帧参考图像中选取与第一特征点距离最近的第二特征点和第三特征点，所述当前帧参考图像为相邻两帧图像中的后前一帧图像；

计算第一特征点与第二特征点的距离得到第一距离，计算第一特征点与第三特征点的距离得到第二距离，所述第一距离小于第二距离；

将第一距离与第二距离相比得到距离比；

将距离比与预先设置的距离比阈值进行比较，当所述距离比小于预先设置的距离比阈值时，所述第一特征点与所述第二特征点匹配。

7.根据权利要求1或6任意一项所述的基于平行线匹配的图像配准方法，其特征在于，所述去除特征点匹配误差，包括：

利用最小二乘法和平行线法中的至少一种方法剔除错误匹配的特征点。

8.根据权利要求5所述的基于平行线匹配的图像配准方法，其特征在于，所述利用优化尺度不变特征转换算法获取相邻两帧图像特征点，包括：

高斯尺度空间因子选取：选取4个高斯尺度因子σ，得到四个高斯函数G(x,y,σ)，高斯函数为： $G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{(x^2+y^2)}{{2\mathrm{\σ}}^2});$

对红外参考图像f(x,y)进行高斯变化，得到高斯尺度空间L_f(x,y,σ)，高斯尺度空间公式：L_f(x,y,σ)＝G(x,y,σ)*f(x,y)，其中*表示卷积运算；

对红外待匹配图像g(x,y)进行高斯变化，得到高斯尺度空间L_g(x,y,σ)，高斯尺度空间公式：L_g(x,y,σ)＝G(x,y,σ)*g(x,y)，其中*表示卷积运算；

对红外参考图像的高斯尺度空间相邻两个相减，得到高斯差分金字塔DOG空间:D_f(x,y,σ),其中，

$D_f(x,y,\mathrm{\σ})=L_f(x,y,\sqrt{3}\mathrm{\σ})-L_f(x,y,\mathrm{\σ});$

对红外待匹配图像的高斯尺度空间相邻两个相减，得到高斯差分金字塔空间：D_g(x，y，σ)，其中 $D_g(x,y,\mathrm{\σ})=L_g(x,y,\sqrt{3}\mathrm{\σ})-L_g(x,y,\mathrm{\σ})$

求取红外参考图像的特征点，高斯差分金字塔空间中间的检测点P_f(x,y)与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点C_f(x,y)比较，两者相减绝对值大于特征点阈值，则该点为特征点M_f(x,y)，其中特征点阈值取值为0.005；

求取红外待匹配图像的特征点，高斯差分金字塔空间中间的检测点P_g(x,y)与它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点C_g(x,y)比较，两者相减绝对值大于特征点阈值，则该点为特征点M_g(x,y)，其中特征点阈值取值为0.005；

以红外参考图像的特征点P_f(x,y)为中心选取16×16的窗口，计算每个点的梯度模值m(x,y)和方向θ(x,y)。每4个作为一个种子点，形成4×4共16个种子点，对每个种子选取梯度模值最大的方向和仅次于梯度模值最大的方向，形成28维特征描述子 $\stackrel{\→}{T_f}=\{{\mathrm{\θ}}_1,{\mathrm{\θ}}_2......{\mathrm{\θ}}_{28}\};$

以红外待匹配图像的特征点P_g(x,y)为中心选取16×16的窗口，计算每个点的梯度模值m(x,y)和方向θ(x,y)。每4个作为一个种子点，形成4×4共16个种子点，对每个种子选取梯度模值最大的方向和仅次于梯度模值最大的方向，形成28维特征描述子 $\stackrel{\→}{T_g}=\{{\mathrm{\θ}}_1,{\mathrm{\θ}}_2......{\mathrm{\θ}}_{28}\}.$

9.根据权利要求6所述的基于平行线匹配的图像配准方法，其特征在于，所述利用平行线法对相邻两帧图像中的特征点进行匹配，包括：

特征描述子的匹配：将与模板中的向量进行匹配，当其欧式距离最小，并且小于阈值T(0.1)时，则其对应的点P_f(x,y)与点P_g(x,y)为对应的匹配点。

10.根据权利要求6所述的基于平行线匹配的图像配准方法，其特征在于，所述利用最小二乘法和平行线法中的至少一种方法剔除错误匹配的特征点，包括：

对于每一对匹配特征点和依次求斜率k_i，求k_i的平均值当时，该点为虚假匹配点剔除，从而得到准确的匹配点，其中tk＝1。