CN109801212A - 一种基于sift特征的鱼眼图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于SIFT特征的鱼眼图像拼接方法，针对鱼眼图像存在严重的透视畸变缺陷，导致拼接图像效果不理想，甚至导致拼接失败的问题，提出了基于SIFT特征的鱼眼图像拼接方法，该方法首先对鱼眼图像进行校正，采用SIFT特征算子对校正后的鱼眼图像进行特征提取和匹配，再利用RANSAC鲁棒算法对变换参数进行估计，最后使用加权平均法对图像进行拼接融合。采用本发明方法进行鱼眼图像拼接可以有效减少计算量、减少拼接次数，图像拼接效果良好。

Description

一种基于SIFT特征的鱼眼图像拼接方法

技术领域

本发明涉及图像处理技术，具体涉及一种基于SIFT特征的鱼眼图像拼接方法，用于全景图像拼接。

背景技术

全景图能克服人眼视角的限制，最初被应用于卫星照片的合成，现已在监控图像分析、虚拟模拟场景建设、全景漫游等方面显示出优越性。

全景图像拼接的主要工作就是将若干幅存在重叠区域的图像，用一定的方法寻找出重叠区域图像的信息，利用图像信息重新拼接融合成一幅具有完整信息的图像。微软研究院的Riehard Szeliski率先提出的全景数字图像拼接模型计算比较复杂。Peleg等人提出了一种自适应的数字图像拼接算法。M.Brown提出了采用SIFT算子进行图像拼接的算法，该算法能够完全自动完成，且拼接效果很好，但所需拼接次数较多。国内学者提出的全景图像拼接算法拼接质量较好，但存在计算量较大、需要多次拼接的问题。

发明内容

本发明的目的在于解决鱼眼图像存在严重的透视畸变缺陷导致的拼接图像不理想，甚至导致拼接失败的问题，为图像拼接提供一种基于SIFT特征的鱼眼图像拼接方法。

本发明为解决上述问题，采取的技术方案如下：

一种基于SIFT特征的鱼眼图像拼接方法，其特征在于，首先对鱼眼图像进行校正，采用SIFT特征算子对校正后的鱼眼图像进行特征点提取和匹配，再利用RANSAC鲁棒算法对变换参数进行估计，最后使用加权平均法对图像进行拼接融合，该包含以下步骤：

步骤1，使用经纬映射法得到校正鱼眼图像；

步骤2，对校正鱼眼图像进行SIFT特征点提取，首先将图像分配到不同的尺度空间上，通过对尺度空间上的像素间的对比找出局部极值点，然后去除对比度较低的点，确定SIFT特征点的方向，最终生成128维方向信息的SIFT特征向量，以避免尺度缩放、旋转和光照变化带来的影响；

步骤3，采用欧式距离对每两个相邻的SIFT特征点进行匹配，当SIFT特征向量到最邻近与次邻近距离之比小于设定阈值时，认为该两个相邻的SIFT特征点匹配，得到匹配点；

步骤4，使用RANSAC算法对得到的匹配点计算，得到变换模型参数；

步骤5，根据变换模型参数计算剩下的所有匹配点，得到变换后的图像坐标；再计算变换后图像坐标与提取SIFT特征点坐标之间的距离，如果距离小于设定的阈值T，则认为该匹配点为内点即正确的匹配点，否则是外点即误匹配的点，将内点的个数记录下来；

步骤6，重复步骤4～5，直到到达指定的采样次数，结束计算，选择指定的采样次数中内点数最多的那组匹配点计算模型参数作为最终结果；

步骤7，根据计算模型参数估算出各匹配点的坐标值，利用加权平均融合算法进行融合，输出拼接的鱼眼图像。

所述步骤2中SIFT特征点生成的SIFT特征向量获取的具体方法为：

1)确定SIFT特征点位置，由校正鱼眼图像得出图像在各个尺度下的尺度空间，大尺度空间包含图像的轮廓信息，小尺度空间则展现图像的细节信息，按照尺度的大小，由大到小依次选择三个尺度从下往上依次排列，形成上、中、下三个尺度空间，每个尺度空间上的像素都要和它邻域的像素、上下相邻的尺度空间上的像素进行对比，找出局部极值点；

2)在1)的基础上进行精炼求精，去除对比度较低的点，消除DoG算子引入的边缘响应，增加SIFT特征点抗噪声能力和SIFT特征点之间的匹配能力；

3)确定SIFT特征点的方向，利用直方图统计以SIFT特征点为中心的领域窗口里像素的梯度方向对该窗口进行抽样，SIFT特征点的领域梯度的主方向，即该SIFT特征点的方向；

4)生成SIFT特征向量，以SIFT特征点为中心选取8×8的小格领域范围，将其分成4个4×4的小格，每个小格对应一个像素，模值用长度表示，再以每小格为单位在8个方向即上、下、左、右、左上、右上、左下、右下方向上求得梯度值，计算每个梯度上的累加和，生成一个种子点，4个种子点构成一个SIFT特征点，即SIFT特征点生成的SIFT特征向量具有128维，4×4×8的方向信息；为增加匹配的稳健性，选取16个种子点描述一个SIFT特征点。

所述步骤4中RANSAC算法具体方法为：

1)随机取任意三点不共线的四个匹配点；

2)对抽取匹配点计算对应变换模型参数。

所述步骤7中，加权平均融合算法是对两幅图像的像素值分配一个权值进行融合计算，假设f为拼接后的图像，f₁和f₂代表待拼接的两幅图像，则有下式：

其中，k的范围为0～1，实现重叠区域的平滑过渡。权值的选择跟距离有关，公式如下所示：

k＝(x₂-x)/(x₂-x₁) x₁≤x≤x₂

x₁，x₂是重叠区域x轴最小和最大值，k由1慢慢变化为0，从而实现图像的平滑。

优选地，所述步骤3中设定阈值的阈值取为0.6；所述步骤5中阈值T取为1～2个像素；所述步骤6中指定的采样次数取为200次。

本发明的优点及效果：目前全景图像拼接较好的方法主要是采用SIFT算子进行图像拼接的算法等，该算法能够完全自动完成，且拼接效果很好，但所需拼接次数较多。本发明基于校正后的鱼眼图像，利用SIFT特征描述算子来进行图像配准，利用欧氏距离对128维的向量特征点进行成功匹配，使用一种模型参数的鲁棒性估计算法，随机抽样算法(RANSAC，Random Sample Consesus)完成变换矩阵的参数估计，最后进行基于像素级的图像融合，该方法极大程度上保留图像信息量，且有效减少了拼接次数。本发明算法实现简单，计算量及拼接次数均能有效减少；可应用于各类全景图拼接场景中。

附图说明

图1是鱼眼图像拼接流程图；

图2是DoG尺度空间布局极值检测；

图3是使用梯度直方图对关键点确定主方向示意图；

图4是由关键点领域梯度信息生成特征向量；

图5是6参数仿射变换模型得到的拼接图；

图6是2参数平移变换模型得到的拼接图；

图7是经过三次拼接后的2参数平移变换模型得到的拼接图。

具体实施方式

下面结合附图说明本发明的具体实施方式。

如图1所示，本发明提出的基于SIFT特征的鱼眼图像拼接方法，具体实现步骤为：

步骤1，使用经纬映射法得到校正鱼眼图像。

步骤2，对校正鱼眼图像进行SIFT特征点提取。分为四步实现，具体如下：

1)确定SIFT特征点位置。由校正鱼眼图像得出图像在各个尺度下的尺度空间，大尺度空间包含图像的轮廓信息，小尺度空间则展现图像的细节信息。按照尺度的大小，由大到小依次选择三个尺度从下往上依次排列，按照尺度的大小，选择三个尺度从下往上依次排列，以中间尺度上使用“x”标记的像素为例，“x”要和它周围8邻域的像素进行比较，还要和上下相邻的尺度空间上的18个像素进行比较，这样才能够将全部的局部极值点找到，如图2所示。

2)在1)的基础上进行精炼求精，去除对比度较低的点，消除DoG算子引入的边缘响应，增加特征点抗噪声能力和匹配能力。

3)确定特征点的方向，特征点的模值和角度公式如下：

θ(x,y)＝arctan2((L(x+1,y)-L(x-1,y))/(L(x,y+1)-L(x,y-1)))

对特征点为中心的邻域窗口进行采样，用直方图统计窗口里像素的梯度方向，见图3(a)。梯度直方图范围为0°到360°，可以每10°为一个柱，该特征点的邻域梯度的主方向就是该直方图的峰值，也就是该特征点的方向，就是该直方图的峰值。图3(b)就是使用梯度直方图对特征点确定主方向的示意图(采用8个柱子)。

4)生成SIFT特征向量，以特征点为中心选取8×8的小格领域范围，每个小格对应一个像素，箭头表示像素的梯度方向，模值用长度表示，如图4(a)邻域梯度方向所示。将8×8的领域分成4个4×4的小块，再以每小块为单位在8个方向上求得梯度值，计算每个梯度上的累加和，生成一个具有128维(4×4×8)的方向信息的种子点，如图4(b)关键点特征向量所示，4个种子点构成一个关键点，即特征点。

步骤3，采用欧式距离对每两个相邻的SIFT特征点进行匹配，当SIFT特征向量到最邻近与次邻近距离之比小于设定阈值时，则认为该两个相邻的SIFT特征点匹配，得到匹配点。

步骤4，使用RANSAC算法估计变形参数，可选用仿射变换模型来测试拼接图像的效果，6参数和2参数变换模型最终得到的参数估计值的精确度差不多(分别得到95和93个内点)，但是2参数变换模型比较简单因此算法运行时间(2参数6.8s，6参数8.1s)比6参数的小一些。采用6参数的平移变换模型，得到的拼接效果图如图5所示。采用2参数的平移变换模型对图像进行拼接的结果，拼接结果如图6所示。对比后选用2参数平移变换模型估计变形参数。

步骤5，选用2参数平移变换模型估计变形参数，计算剩下的所有匹配点，再计算用模型得到的结果与提取的点坐标距离确实该匹配点为内点(正确的匹配点)还是外点(误匹配的点)，并记录内点个数。具体的算法内容为：

(1)随机取任意三点不共线的四个匹配点。

(2)对抽取匹配点计算对应变换模型参数。

(3)根据(2)得到的模型参数计算剩下的所有匹配点，再计算用模型得到的结果与提取的点坐标距离，距离小于设定阈值T，则认为该匹配点为内点(正确的匹配点)，否则是外点(误匹配的点)，记录内点个数。

步骤6，重复步骤5中的(1)～(3)，直到达到指定抽样次数，结束计算，选择内点数最多的那组匹配点计算的模型参数作为最终结果。

步骤7，利用加权平均融合算法对图像进行融合，加权平均融合法是对两幅图的像素值分配一个权值进行融合计算，假设f为拼接后的图像，f₁和f₂代表待拼接的两幅图像，则有下式：

其中，k的范围为0～1，实现重叠区域的平滑过渡。权值的选择跟距离有关，公式如下所示：

k＝(x₂-x)/(x₂-x₁) x₁≤x≤x₂

x₁，x₂是重叠区域x轴最小和最大值。k可由1慢慢变化为0，从而实现图像的平滑。经过三次的拼接得到最终的拼接图像，如图7所示。

Claims (5)

1.一种基于SIFT特征的鱼眼图像拼接方法，其特征在于，首先对鱼眼图像进行校正，采用SIFT特征算子对校正后的鱼眼图像进行特征点提取和匹配，再利用RANSAC鲁棒算法对变换参数进行估计，最后使用加权平均法对图像进行拼接融合，该包含以下步骤：

步骤1，使用经纬映射法得到校正鱼眼图像；

步骤2，对校正鱼眼图像进行SIFT特征点提取，首先将图像分配到不同的尺度空间上，通过对尺度空间上的像素间的对比找出局部极值点，然后去除对比度较低的点，确定SIFT特征点的方向，最终生成128维方向信息的SIFT特征向量，以避免尺度缩放、旋转和光照变化带来的影响；

步骤3，采用欧式距离对每两个相邻的SIFT特征点进行匹配，当SIFT特征向量到最邻近与次邻近距离之比小于设定阈值时，认为该两个相邻的SIFT特征点匹配，得到匹配点；

步骤4，使用RANSAC算法对得到的匹配点计算，得到变换模型参数；

步骤5，根据变换模型参数计算剩下的所有匹配点，得到变换后的图像坐标；再计算变换后图像坐标与提取SIFT特征点坐标之间的距离，如果距离小于设定的阈值T，则认为该匹配点为内点即正确的匹配点，否则是外点即误匹配的点，将内点的个数记录下来；

步骤6，重复步骤4～5，直到到达指定的采样次数，结束计算，选择指定的采样次数中内点数最多的那组匹配点计算模型参数作为最终结果；

步骤7，根据计算模型参数估算出各匹配点的坐标值，利用加权平均融合算法进行融合，输出拼接的鱼眼图像。

2.根据权利要求1所述的一种基于SIFT特征的鱼眼图像拼接方法，其特征在于，所述步骤2中SIFT特征点生成的SIFT特征向量获取的具体方法为：

1)确定SIFT特征点位置，由校正鱼眼图像得出图像在各个尺度下的尺度空间，大尺度空间包含图像的轮廓信息，小尺度空间则展现图像的细节信息，按照尺度的大小，由大到小依次选择三个尺度从下往上依次排列，形成上、中、下三个尺度空间，每个尺度空间上的像素都要和它邻域的像素、上下相邻的尺度空间上的像素进行对比，找出局部极值点；

2)在1)的基础上进行精炼求精，去除对比度较低的点，消除DoG算子引入的边缘响应，增加SIFT特征点抗噪声能力和SIFT特征点之间的匹配能力；

3)确定SIFT特征点的方向，利用直方图统计以SIFT特征点为中心的领域窗口里像素的梯度方向对该窗口进行抽样，SIFT特征点的领域梯度的主方向，即该SIFT特征点的方向；

4)生成SIFT特征向量，以SIFT特征点为中心选取8×8的小格领域范围，将其分成4个4×4的小格，每个小格对应一个像素，模值用长度表示，再以每小格为单位在8个方向即上、下、左、右、左上、右上、左下、右下方向上求得梯度值，计算每个梯度上的累加和，生成一个种子点，4个种子点构成一个SIFT特征点，即SIFT特征点生成的SIFT特征向量具有128维，4×4×8的方向信息；为增加匹配的稳健性，选取16个种子点描述一个SIFT特征点。

3.根据权利要求1所述的一种基于SIFT特征的鱼眼图像拼接算法，其特征在于，所述步骤4中RANSAC算法具体方法为：

1)随机取任意三点不共线的四个匹配点；

2)对抽取匹配点计算对应变换模型参数。

4.根据权利要求1所述的一种基于SIFT特征的鱼眼图像拼接算法，其特征在于，所述步骤7中，加权平均融合算法是对两幅图像的像素值分配一个权值进行融合计算，假设f为拼接后的图像，f₁和f₂代表待拼接的两幅图像，则有下式：

其中，k的范围为0～1，实现重叠区域的平滑过渡。权值的选择跟距离有关，公式如下所示：

k＝(x₂-x)/(x₂-x₁)x₁≤x≤x₂

x₁，x₂是重叠区域x轴最小和最大值，k由1慢慢变化为0，从而实现图像的平滑。

5.根据权利要求1所述的一种基于SIFT特征的鱼眼图像拼接算法，其特征在于，所述步骤3中设定阈值的阈值取为0.6；所述步骤5中阈值T取为1～2个像素；所述步骤6中指定的采样次数取为200次。