CN102865859A - 一种基于surf特征的航空序列图像位置估计方法 - Google Patents

Abstract

本发明涉及一种基于SURF特征的航空序列图像位置估计方法，能够适应航空序列图像的旋转、尺度变换及噪声干扰，实现飞行器位置的精确估计。首先，构建了SURF尺度空间，运用快速Hessian矩阵定位极值点，计算出航空图像的64维SURF特征描述子；然后，基于Hessian矩阵迹完成特征点匹配；最后，使用RANSAC方法剔除出格点，实现位置参数的精确估计。本发明针对飞行器工作环境恶劣，以提高视觉导航的精确性为目标，较传统视觉导航方法，能有效克服无人机位置估计过程中，具有对尺度、旋转、光照等因素不敏感的优势，明显改善实时图与基准图的配准精度，对于无人机视觉导航工程化应用具有重要的实际意义。

Description

一种基于SURF特征的航空序列图像位置估计方法

技术领域

本发明涉及一种基于SURF特征的航空序列图像位置估计方法，该方法能够适应航空序列图像的旋转、尺度变换及噪声干扰，实现飞行器获取的实时图在卫星基准图上位置参数的精确估计。

背景技术

在视觉导航中，位置参数估计是飞行器自主导航的核心，研究高精度、鲁棒图像匹配方法是提高飞行器位置参数估计的重要手段。

本发明利用快速鲁棒特征（Speeded-up robust features，SURF）即一种新的局部不变特征方法，对子区域的梯度信息进行了整合，可以有效解决实时图与基准图在几何变换、畸变、仿射变换、视角变换、亮度变换、噪声干扰等情况下的匹配问题。一般情况下，机载摄像机获取的地面影像（实时图）与卫星数字正射影像图（基准图）之间存在较大差异（如尺度、旋转、光照等），传统的基于模板匹配的方法在图像配准前，需要基于规划航迹预测出实时图相对于基准图的航向偏差，增加了方法的复杂度，且配准误差较大。本发明能够克服图像在几何变化、光照变化、噪声干扰时仍保持一定稳定性的图像局部特征。与传统方法相比，基于不变特征的图像匹配在动态环境适应性方面，配准精度和鲁棒性方面均具有较大优势。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于SURF特征的航空序列图像位置估计方法。

技术方案

一种基于SURF特征的航空序列图像位置估计方法，其特征在于步骤如下：

步骤1多尺度空间构建：利用不同尺度的箱式滤波器建立多尺度空间，其中箱式滤波器的尺寸为：size＝3+5s；其中：s是σ的倍数，σ为多尺度空间的尺度；

步骤2快速Hessian矩阵检测：对于图像I中一个给定的点X＝(x,y)，则Hessian矩阵H(x,σ)对x在尺度σ上定义为： $H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(x,\mathrm{\σ})& L_{\mathrm{xy}}(x,\mathrm{\σ})\\ L_{\mathrm{xy}}(x,\mathrm{\σ})& L_{\mathrm{yy}}(x,\mathrm{\σ})\end{array}\right],$ 其中，L_xy(x,σ)是高斯和函数的核函数的二阶导与图像I在x点处的卷积，用同样的方法计算L_xy(x,σ)L_yy(x，σ)；

引入一个高斯核函数和高斯核函数的近似的比例因子ω，Hessian矩阵的行列式为：det(H_approx)＝D_xxD_yy-(ωD_xy)²；其中：det(H_approx)∑dx表示在点x周围的区域的箱式滤波器响应值；以det(H_approx)∑dx进行极值点的检测，求出矩阵的迹；

所述比例因子ω值为

其中|x|_F是Frobenius范数；

步骤3SURF特征描述子提取：

求极值点的主方向：以极值点为中心选取半径为6s的圆形区域，计算区域内的哈尔小波在x和y方向上的响应值为h_x,h_y；所述s是极值点所在的尺度；

以σ＝3s为加权因子对两个响应值高斯加权分别表示水平和垂直分量，记为W_hx,W_hy；

求主方向时，对W_hx,W_hy用直方图进行统计，将360°平均分成72组，并把以极值点为中心的圆形平均分割6个区域，分别统计60°扇区内的W_hx,W_hy，记为∑W_hx,∑W_hy，同时计算该区域的梯度值，梯度值取最大的区域所在的方向就是该极值点的主方向，然后根据∑W_hx,∑W_hy的反正切值就可以求出主方向的度数；

以极值点为中心在极值点周围选取20×20大小的区域，将区域的方向旋转到极值点的方向；然后将这个正方形区域分成4×4共16个子区域，在分别计算每一个子区域内每个像素点在哈尔小波x和y方向上的响应值；

对所有的dx,dy，以极值点为中心进行高斯加权(σ=3.35)，得到每一个子区域内的小波响应值dx,dy，

进行求和计算∑dx,∑dy，将这两个和值存入描述子特征向量；

对每一个子区域上的dx,dy的绝对值进行求和计算∑|dx|,∑|dy|，所得结果存入描述子特征向量；

将特征向量归一化，形成了一个四维的向量：

v＝(∑dx,∑dy,∑|dx|,∑|dy|)

对16个子区域分别求特征向量，形成一个16×4=64维的特征向量，利用该方法对一对实时图和基准图进行了SURF特征点提取；

步骤4基于Hessian矩阵迹的特征点匹配：计算Hessian矩阵迹之后，对Hessian矩阵主对角线之和trace(i)＝∑(dx+dy)，判断Hessian矩阵的迹的符号，如果trace(i)是大于0的数，就对描述子赋一个索引值1，如果trace(i)是小于0的数，就对描述子赋一个索引值-1，

若两个描述子的trace(i)相同，说明两个描述子具有相等的对比度，继续进行描述子的比较；如果两个描述子的trace(i)不相同，则不需要进行后面的描述子的比较；

所述进行描述子的比较时，首先计算实时图描述子discriptor_sensed和基准图描述子discriptorr_ef的欧氏距离

计算最近邻匹配点dist_f和次近邻匹配点如果最dist_f/dist_f＜T，其中T是阈值，实验中T取1，若dist_f/dist_f＝1，则认为这两个点是匹配的；

步骤5基于RANSAC的局部参数估计：

（1）随机选择N个样本；

（2）根据抽取样本估计模型参数；

（3）用估计的模型计算每一个匹配点对之间的距离，将距离小于阈值的匹配点作为内点；

（4）将上述过程重复k次，选择一个包含内点最多的点集，重新计算模型参数。各参数计算关系如下

$K=\frac{\log (1-P)}{\log (1-{(1-\mathrm{\ϵ})}^S)}$

这里重复次数K由外点概率ε，采样点对数s和k次采样至少有一次全部是内点的概率为P。

所述比例因子ω选择0.9。

有益效果

本发明提出的一种基于SURF特征的航空序列图像位置估计方法，能够适应航空序列图像的旋转、尺度变换及噪声干扰，实现飞行器位置的精确估计。首先，构建了SURF尺度空间，运用快速Hessian矩阵定位极值点，计算出航空图像的64维SURF特征描述子；然后，基于Hessian矩阵迹完成特征点匹配；最后，使用RANSAC方法剔除出格点，实现位置参数的精确估计。

本发明用RANSAC算法求解基准图与实时图之间的变换参数。基于RANSAC的局部参数估计完成后，剔除外点后，解算出符合匹配要求的内点，即可得到实时图基于RANSAC估计参数的变换结果以及实时图中心在基准图上的定位结果。

本发明针对飞行器工作环境恶劣，以提高视觉导航的精确性为目标，较传统视觉导航方法，能有效克服无人机位置估计过程中，具有对尺度、旋转、光照等因素不敏感的优势，明显改善实时图与基准图的配准精度，对于无人机视觉导航工程化应用具有重要的实际意义。

附图说明

图1：基于SURF特征的航空序列图像位置估计方法实现流程

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明实施例主要包括两个核心部分：A、航空序列图像的SURF特征描述子提取。B、航空序列图像的SURF特征点匹配。其实现步骤如下：

第一步，多尺度空间构建。

第二步，快速Hessian矩阵检测。

第三步，SURF特征描述子提取。

第四步，基于Hessian矩阵迹的特征点匹配。

第五步，基于RANSAC的局部参数估计。

具体流程如图1所示。

1、多尺度空间构建

相邻尺度差和高斯二阶导的大小有关，对于9×9的滤波器来说，高斯二阶导的大小定为3，它是滤波器大小的1/3，即9×1/3=3。计算下一个滤波器的大小，为了保证滤波器的中心位于像素点X上，要对第一层的滤波器增加偶数个像素。这样滤波器的大小就增加了6像素，即下一层的滤波器的大小变为15。由此可以推出滤波器尺寸的计算公式为:

size＝3+5s    （1）

这里，s是σ的倍数。为了在不同尺度上寻找极值点，需要建立图像的尺度空间。在SIFT中，DOG尺度空间的建立是通过对图像金字塔中的相邻两层的图像做差值，SURF在建立尺度空间时，不需要做差值，而是保持原始图像不变，通过改变滤波器的大小，得到尺度空间，可以看出两者的形成过程有很大的不同。

2、快速Hessian矩阵检测

对于图像I中一个给定的点X＝(x,y)，则Hessian矩阵H(x,σ)对x在尺度σ上定义为：

$H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(x,\mathrm{\σ})& L_{\mathrm{xy}}(x,\mathrm{\σ})\\ L_{\mathrm{xy}}(x,\mathrm{\σ})& L_{\mathrm{yy}}(x,\mathrm{\σ})\end{array}\right]---\left(2\right)$

其中，L_xy(x,σ)是高斯和函数的核函数的二阶导

与图像I在x点处的卷积，用同样的方法计算L_xy(x,σ)L_yy(x,σ)。

Hessian矩阵中用到的核函数是高斯核函数，这里为了计算方便，用到了对高斯核函数的近似，也就是箱式滤波器D_xx,D_xy,D_yy，9×9的滤波器是对高斯核函数在σ=1.2处的近似。为了保持计算精度，引入一个高斯核函数和高斯核函数的近似的比例因子ω，这样Hessian矩阵的行列式表示为：

det(H_approx)＝D_xxD_yy-(ωD_xy)²                （3）

det(H_approx)∑dx表示在点x周围的区域的箱式滤波器响应值，如上分析中，用det(H_approx∑dx进行极值点的检测，同时求出矩阵的迹，在以后的计算中方便应用。式（3）中的比例因子ω值可通过下式计算：

$\mathrm{\ω}=\frac{{\left|L_{\mathrm{xy}}\left(1.2\right)\right|}_F|D_{\mathrm{yy}}\left(9\right){|}_F}{{\left|L_{\mathrm{yy}}\left(1.2\right)\right|}_F{\left|D_{\mathrm{xy}}\left(9\right)\right|}_F}=0.912\≈0.9---\left(4\right)$

其中|x|_F是Frobenius范数，式(4)可以看出，变量∑dxω的值随着尺度σ的改变而改变，在实验中将ω定位一个常量0.9，对位置估计精度影响较小，且可大幅降低算法复杂度。由于Frobenius范数在任何一层都是常数且已被归一化，所以不需要进一步对滤波器赋予权值。

3、SURF特征描述子提取

描述子描述了极值点周围像素的分布情况，SIFT上是统计在梯度上的分布情况，SURF则是统计描述子在哈尔小波的x和y方向上的分布。为了使描述子具有旋转不变性，要对描述子赋予一个方向值，有了这个方向，在极值点周围的描述子的区域旋转到这个主方向，然后再计算描述子。求极值点的主方向时以极值点为中心选取半径为6s的圆形区域，s是极值点所在的尺度。在此区域内计算哈尔小波在x和y方向上的响应值，记为h_x，h_y。计算出图像在哈尔小波的x和y方向上的响应值之后，以σ＝3s为加权因子对两个响应值高斯加权，分别表示水平和垂直分量，记为W_hx,W_hy。求主方向时，对W_hx,W_hy用直方图进行统计，将360°平均分成72组，并把以极值点为中心的圆形平均分割6个区域，分别统计60°扇区内的W_hx,W_hy，记为∑W_hx,∑W_hy，同时计算该区域的梯度值，梯度值取最大的区域所在的方向就是该极值点的主方向，根据∑W_hx,∑W_hy的反正切值就可以求出主方向的度数。

为了提取极值点描述子，需要在极值点周围选取20×20大小的区域。首先以极值点为中心，将区域的方向旋转到极值点的方向。将这个正方形区域分成4×4共16个子区域，这样能很好的保留重要的空间信息。每个子区域里有(20/4=5)5×5的像素。这里之所以选择4×4大小的子区域，是因为实验证明，如果分得再细一些，结果显示鲁棒性更差，而且增加了很多匹配时间；如果分得再粗一些，如3×3，描述子变为36维，结果比4×4大小的子区域的效果稍差一些，是由于维数降低了，匹配时间有所减少。在每一个子区域分别计算每个像素点在哈尔小波x和y方向上的响应值。

计算完所有的像素的响应值后，对所有的dx,dy，以极值点为中心进行高斯加权(σ=3.35)，分别记为dx,dy，这样可以增加对光照变化和定位错误的鲁棒性。对每一个子区域内的小波响应值dx,dy，分别进行求和计算，记为∑dx,∑dy，将这两个和值存入描述子特征向量。为了描述在x和y方向上像素数值的改变情况，分别对每一个子区域上的dx,dy的绝对值进行求和计算，记为∑|dx|,∑|dy|，所得结果也存入特征向量，将特征向量归一化，使得描述子具有光照、尺度不变性，这样就形成了一个四维的向量：

v＝(∑dx,∑dy,∑|dx|,∑|dy|)          （5）

对16个子区域分别求去特征向量，形成一个16×4=64维的特征向量，利用该方法对一对实时图和基准图进行了SURF特征点提取。

4、基于Hessian矩阵迹的特征点匹配

利用Hessian矩阵迹的符号进行特征匹配，因为Hessian矩阵迹的符号区分了黑背景中白的斑点区域和白背景中黑的斑点区域，利用该特征可以大大提高匹配效率。Hessian矩阵迹计算完毕之后，对Hessian矩阵主对角线之和，即

trace(i)＝∑(dx+dy)             （6）

其中的dx,dy仍然是积分图像想滤波器的x和y方向上的响应值。在进行相似性度量的时候，首先判断Hessian矩阵的迹的符号，如果trace(i)是大于0的数，就对描述子赋一个索引值1，如果trace(i)是小于0的数，就对描述子赋一个索引值-1。之所以用Hessian矩阵的迹来进行预先判断，是因为它能区分出黑色背景上的白色区域或白色背景上的黑色区域。

若两个描述子的trace(i)相同，说明两个描述子具有相等的对比度，可以继续进行描述子的比较。如果两个描述子的trace(i)不相同，则不需要进行后面的描述子的比较，减少了匹配时间，同时不会影响匹配效果。在进行描述子的比较时，首先计算实时图描述子discriptor_sensed和基准图描述子discriptor_ref的欧氏距离，即

$\mathrm{dist}=\underset{i=0}{\overset{64}{\mathrm{\Σ}}}{({\mathrm{discriptor}}_{\mathrm{sensed}}-{\mathrm{discriptor}}_{\mathrm{ref}})}^2---\left(7\right)$

计算最近邻匹配点dist_f和次近邻匹配点dist_s，如果最dist_f/dist_f＜T，其中T是阈值，实验中T取1，若dist_f/dist_f＝1，则认为这两个点是匹配的。

5、基于RANSAC的局部参数估计

RANSAC算法假定观测数据由符合某种模型的“内点（inliers）”和不符合模型的“出格点（outliers）”组成，这些出格点可能来自观测误差、错误匹配等。基本的RANSAC算法的流程如下：

（1）随机选择N个样本；

（2）根据抽取样本估计模型参数；

（3）用估计的模型计算每一个匹配点对之间的距离，将距离小于阈值的匹配点作为内点；

（4）将上述过程重复k次，选择一个包含内点最多的点集，重新计算模型参数。各参数计算关系如下

$K=\frac{\log (1-P)}{\log (1-{(1-\mathrm{\ϵ})}^S)}---\left(8\right)$

这里重复次数K由外点概率ε，采样点对数s和k次采样至少有一次全部是内点的概率为P。

Claims (2)

1.一种基于SURF特征的航空序列图像位置估计方法，其特征在于步骤如下：

步骤1多尺度空间构建：利用不同尺度的箱式滤波器建立多尺度空间，其中箱式滤波器的尺寸为：size＝3+5s；其中：s是σ的倍数，σ为多尺度空间的尺度；

步骤2快速Hessian矩阵检测：对于图像I中一个给定的点X＝(x,y)，则Hessian矩阵H(x,σ)对x在尺度σ上定义为： $H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(x,\mathrm{\σ})& L_{\mathrm{xy}}(x,\mathrm{\σ})\\ L_{\mathrm{xy}}(x,\mathrm{\σ})& L_{\mathrm{yy}}(x,\mathrm{\σ})\end{array}\right],$ 其中，L_xy(x,σ)是高斯和函数的核函数的二阶导

与图像I在x点处的卷积，用同样的方法计算L_xy(x,σ)L_yy(x，σ)；

引入一个高斯核函数和高斯核函数的近似的比例因子ω，Hessian矩阵的行列式为：det(H_approx)＝D_xxD_yy-(ωD_xy)²；其中：det(H_approx)∑dx表示在点x周围的区域的箱式滤波器响应值；以det(H_approx)∑dx进行极值点的检测，求出矩阵的迹；

所述比例因子ω值为

其中|x|_F是Frobenius范数；

步骤3SURF特征描述子提取：

求极值点的主方向：以极值点为中心选取半径为6s的圆形区域，计算区域内的哈尔小波在x和y方向上的响应值为h_x,h_y；所述s是极值点所在的尺度；

以σ＝3s为加权因子对两个响应值高斯加权分别表示水平和垂直分量，记为W_hx,W_hy；

求主方向时，对W_hx,W_hy用直方图进行统计，将360°平均分成72组，并把以极值点为中心的圆形平均分割6个区域，分别统计60°扇区内的W_hx,W_hy，记为∑W_hx,∑W_hy，同时计算该区域的梯度值，梯度值取最大的区域所在的方向就是该极值点的主方向，然后根据∑W_hx,∑W_hy的反正切值就可以求出主方向的度数；

以极值点为中心在极值点周围选取20×20大小的区域，将区域的方向旋转到极值点的方向；然后将这个正方形区域分成4×4共16个子区域，在分别计算每一个子区域内每个像素点在哈尔小波x和y方向上的响应值；

对所有的dx,dy，以极值点为中心进行高斯加权(σ=3.35)，得到每一个子区域内的小波响应值dx,dy，

进行求和计算∑dx,∑dy，将这两个和值存入描述子特征向量；

对每一个子区域上的dx,dy的绝对值进行求和计算∑|dx|,∑|dy|，所得结果存入描述子特征向量；

将特征向量归一化，形成了一个四维的向量：

v＝(∑dx,∑dy,∑|dx|,∑|dy|)

对16个子区域分别求特征向量，形成一个16×4=64维的特征向量，利用该方法对一对实时图和基准图进行了SURF特征点提取；

步骤4基于Hessian矩阵迹的特征点匹配：计算Hessian矩阵迹之后，对Hessian矩阵主对角线之和trace(i)＝∑(dx+dy)，判断Hessian矩阵的迹的符号，如果trace(i)是大于0的数，就对描述子赋一个索引值1，如果trace(i)是小于0的数，就对描述子赋一个索引值-1，

若两个描述子的trace(i)相同，说明两个描述子具有相等的对比度，继续进行描述子的比较；如果两个描述子的trace(i)不相同，则不需要进行后面的描述子的比较；

所述进行描述子的比较时，首先计算实时图描述子discriptor_sensed和基准图描述子diseriptor_ref的欧氏距离计算最近邻匹配点dist_f和次近邻匹配点如果最dist_f/dist_f＜T，其中T是阈值，实验中T取1，若dist_f/dist_f＝1，则认为这两个点是匹配的；

步骤5基于RANSAC的局部参数估计：

（1）随机选择N个样本；

（2）根据抽取样本估计模型参数；

（3）用估计的模型计算每一个匹配点对之间的距离，将距离小于阈值的匹配点作为内点；

（4）将上述过程重复k次，选择一个包含内点最多的点集，重新计算模型参数。各参数计算关系如下

$K=\frac{\log (1-P)}{\log (1-{(1-\mathrm{\ϵ})}^S)}$

这里重复次数K由外点概率ε，采样点对数s和k次采样至少有一次全部是内点的概率为P。

2.根据权利要求1所述基于SURF特征的航空序列图像位置估计方法，其特征在于：所述比例因子ω选择0.9。

Images