CN104166995B - 一种基于马步测度的Harris‑SIFT双目视觉定位方法 - Google Patents

Abstract

本发明提供的是一种基于马步测度的Harris‑SIFT双目视觉定位方法。用于无人水下航行器(UUV)回收过程中的实时双目视觉定位。基于双目立体视觉的模型原理，利用SIFT算法从左右摄像机分别获取的图像中检测目标，并获取匹配目标的特征点，对两幅图像中目标物体的坐标标定，通过计算可得到目标物体的深度距离，还原其三维信息。针对UUV运动的海洋环境的特点，本发明提出了一种基于采用马步距离做测度的Harris‑SIFT算子双目视觉算法，提高了图像匹配的运算效率和应用水平的实时性，并且可以保证一定的精度。

Description

一种基于马步测度的Harris-SIFT双目视觉定位方法

技术领域

本发明涉及的是一种无人水下航行器(UUV)的定位方法，具体地说是一种能实时地为无人水下航行器(UUV)提供回收导引光源的方位与距离信息的方法。

背景技术

无人水下航行器(Unmanned Underwater Vehicle，简称UUV)的应用领域广泛。安全回收对于UUV的续航能力和水下长期工作的能力是至关重要的。随着计算机视觉及相关技术的发展，视觉导引已经成为UUV回收方式的主要选择。立体双目视觉技术是近年来数字图像处理和计算机视觉领域研究的方向和热点。该技术获取的物体图像相对于目标物体有缩放、旋转以及遮挡的变化，这时就需要利用图像特征匹配来识别目标物体。

在UUV的回收过程中，实际系统的控制方式不外乎采用“视觉伺服”的闭环控制方式或“先看后动”的开环控制方式。开环控制方式实现简单，但系统动作的精度将直接取决于视觉传感系统的精度和运载器本身的执行精度，这就要求视觉传感器的精度要适当高一些，同时要保证实时性；对于视觉伺服系统，视觉反馈在一定程度上提高了整个系统的执行精度，但其复杂的计算对实时性能提出更高要求。目前，实际系统多采用专用的图像处理芯片来提高双目系统的处理速度。

双目视觉是计算机被动测距方法中最重要的距离感知技术，一直是计算机视觉领域的研究重点。其基本原理是从两个视点观察同一景物，以获取在不同视点下的感知图像，通过计算共轭像点的视差来获取景物的三维信息。匹配过程是双目视觉的关键,对于校正好的立体图像对，匹配方法过程决定着整个双目系统的性能。

SIFT特征匹配算法是图像中检测和描述局部特征的一种算法，是DavidG.Lowe在1999年首次发表之后，于2004年经过完善总结提出了一种基于尺度空间的，对图像的缩放、旋转甚至仿射变换都保持不变性的特征匹配算法。图像中的任何目标物体，都存在许多“特征”，从训练图像中获取特征描述标注目标，以及从其他目标的测试图像中进行定位。SIFT特征在识别物体时运用局部图像特征的描述与侦测，寻找到基于物体上的一些局部的特征点与图像的大小和旋转无关，还有其它符合SIFT算法的匹配条件和特性。根据这些特性，其特征点就比较容易获得，在庞大的特征数据库中，很容易识别到物体而且很少发生错误。使用SIFT特征描述对于部分物体遮蔽的识别率也非常髙，只需要3个以上的SIFT物体的特征就能够计算出物体的位置与方位。

在这种算法的基础之上，研究这方面的学者也是越来越多，对这个算法提出新的观点和 想法。比如，Rob Hess基于GSL和Opencv编写了相应的C语言程序，后来YanKe觉得SIFT的特征描述符的维数过大，于是用PAC降维对原算法进行改进，取得良好的效果；之后Mikolajczyk提出了尺度和仿射不变量的检查算法，在对仿射变换适应性更好；Y.yu等人把SIFT算法应用于激光扫描仪上的IE标和软件，在进行配准的过程中获得了很好的配准效果。

由于SIFT算法提取的特征，对亮度变化、尺度缩放以及旋转均具有保持不变性，而且对噪声、仿射变换、视角变化保持较好的稳定性，可以在较复杂的环境中匹配识别出目标物体，适合UUV回收时复杂的水下环境。SIFT算法虽然得到了广泛的研究和应用，但对于水下双目视觉立体匹配SIFT算法的研究目前还很少，并未真正提出实时性好、准确性高的实用的水下SIFT匹配立体定位算法。

发明内容

本发明的目的在于提供一种匹配效率高，实时性强用于UUV回收的基于马步测度的Harris-SIFT双目视觉定位方法。

本发明的目的是这样实现的：

步骤一：对待匹配图像进行高斯滤波和校正处理；

步骤二：采用Harris算子对待匹配图像中的特征点进行检测，提取待匹配图像中的特征点，待匹配图像的特征点的特征值为：

R＝det(C)-ktr²(C)

其中，det为矩阵行列式，tr为矩阵的迹，C为相关矩阵；k取0.04～0.06；

步骤三：根据特征点的局部图像梯度和局部特征，为每一个特征点分配一个方向来描述旋转不变性，最后得到特征点邻域的梯度和方向：

其中，L为检测的特征点所在的尺度，m(x,y)表示特征点的梯度大小，θ(x,y)表示特征点梯度的方向；

步骤四：为了增强匹配的稳健性，对每个特征点用4×4共16个种子点来描述，这样一个关特征点产生并最终形成128维的SIFT特征向量；

步骤五：构建KD-tree，在KD-tree上计算第一幅图像的每个特征点在待匹配图像上的特征点最近邻匹配；

步骤六：采用马步距离计算特征向量的距离，借助顶函数定义马步距离：

其中，s＝max{|x_p-x_r|,|y_p-y_r|}，t＝min{|x_p-x_r|,|y_p-y_r|}，用(x,y)表示像素；

步骤七：采用基于2D单应变换的RANSAC算法剔除误匹配点对。具体包括：从SIFT匹配同名点对中随机抽取M组抽样，每一组抽样数据至少包含4对匹配点；利用M组抽样中匹配点对，分别估算出2D单应变换矩阵H的参数初始值；再根据匹配点对间的误差，计算出每一组2D单应变换矩阵H参数初始值所对应的内点和外点。

本发明针对UUV在回收时对导引光源的定位任务中所需要环境信息的特点，在普通双目视觉硬件配置的基础上提出一种实时的双目视觉定位方法，即采用马步距离做测度的Harris-SIFT匹配方法得到导引光源的深度图，并采用双目立体视觉模型，从而为UUV供实时有效的方位和距离信息。

本发明用于无人水下航行器(UUV)回收过程的实时双目视觉定位，其图像匹配是采用马步距离做测度的Harris-SIFT算子双目视觉算法。基于双目立体视觉模型原理，模拟人的双眼从两个角度去观察立体空间的目标物体，根据几何光学的投影原理，左右两眼形成的像点在视网膜上处在不同位置。本发明基于这种视差理论，用两台摄像机在不同位置获取同一物体的像，得到同一点的视差，再利用视差测距原理计算目标物体的深度信息。

本发明可以提高匹配效率，提高系统的实时性，保证系统的可用精确度。

附图说明

图1为SIFT算法步骤示意简图；

图2a至图2d为不同邻域示意图；

图3为基于马步测度的Harris-SIFT算法流程图；

图4为16-邻域链码示意图；

图5为本发明双目立体视觉成像原理。

具体实施方式

下面举例对本发明做更详细的描述。

对双目摄像机获取的图像首先进行高斯滤波和校正处理。再通过图像匹配进行深度恢复。其匹配算法是采用马步距离做测度的Harris-SIFT匹配算法。

所述的采用马步距离做测度的Harris-SIFT匹配算法包括：

(1)采用Harris算子提取图像的角点(即特征点)。

(2)精确定位极值点

定位关键点位置和尺度并消除不稳定点，对关键点的位置、尺度进行拟合，得到更精确的位置和尺度定位，同时删除具有低对比度和不稳定的边缘响应点。

(3)对关键点分配方向获得旋转不变性

根据关键点的局部图像梯度方向来分配一个或多个方向。利用图像的局部特征给每一个关键点分配一个方向来描述旋转不变性。最后得到关键点邻域像素的梯度及方向。

式中：尺度L为各个关键点所在尺度，m(x,y)表示关键点的梯度大小；θ(x,y)表示关键点梯度的方向。

(5)计算SIFT特征描述子

为了增强匹配的稳健性，对每个关键点用4×4共16个种子点来描述，这样一个关键点就可以产生并最终形成128维的SIFT特征向量。

(6)构建KD-tree，在KD-tree上计算第一幅图像的每个关键点在待匹配图像上的关键点最近邻匹配

(7)采用马步距离计算特征向量的距离。

(8)采用基于2D单应变换的RANSAC算法剔除误匹配点对。

本发明的特点主要体现在：

1、双目视觉通过计算视差图提取环境的距离信息。视差图又是通过对立体图像对的图像匹配得到的。图像匹配的过程决定着整个系统的精度和实时性。本发明采用马步距离做测度的Harris-SIFT匹配算法，具体如下：

(1)Harris-SIFT匹配算法

当SIFT特征提取和匹配算法应用于实时性较高的双目立体视觉系统时会出现一些问题，如特征提取算子复杂性高导致算法计算时间过长；生成的特征点多而实际正确匹配的特征点只是其中一部分，影响匹配速度；SIFT算法不能准确定位角点，不能反映图像结构。UUV利用视觉采集信息需要快速反应，基于上述问题，选择更稳定快速的特征点检测算子来取代SIFT中比较复杂的极值点提取算子。

Harris算子是一种比较稳定的特征提取算法。这种算子的优点是：1)该算子中只用到灰度的一阶差分，计算操作简单；2)经提取的特征点分布合理，能反映图像中目标物体的结构；3)在目标物体的结构纹理处提取大量有用的特征点；4)比例、位置改变、旋转或有遮挡物时也能稳定提取特征点。所以本发明选用Harris算子提取特征点取代SIFT算法中的高斯卷积算法提取特征点，其具体算法如下：

Harris的值为：

R＝det(C)-ktr²(C)

式中：det为矩阵行列式；tr为矩阵的迹；C为相关矩阵，即：

式中：I_u(x)，I_v(x)，I_uv(x)分别为图像点x的灰度在u和v的方向上的偏导以及二阶混合偏导；k根据经验通常取0.04～0.06。当物体某点Harris算子R大于设定阈值T时，该点为角点。

(2)马步距离

SIFT图像匹配一般采用欧式距离作为相似性度量，欧式距离L_o表示为：

计算一次L_o需要128次乘法和一次开平方，为提高运算效率，用马步距离近似替代欧式距离。

一个像素p(x_p,y_p)的4-邻域N₄(p)定义为(参见图2a中标为r的像素)：

N₄(p)＝{r|d₄(p,r)＝1}

其中城区距离d₄(p,r)＝|x_p-x_r|+|y_p-y_r|。一个像素p(x_p,y_p)的8-邻域N₈(p)定义为(参见图2b中标r的像素):

N₈(p)＝{r|d₈(p,r)＝1}

其中棋盘距离d₈(p,r)＝max{|x_p-x_r|,|y_p-y_r|}。一个像素p(x_p,y_p)的8-邻域N₈(p)也是它的4-邻域N₄(p)和它的对角邻域N_D(p)的并集，一个像素p(x_p,y_p)的16-邻域N₁₆(p)定义为(参见图2c中标r的像素)：

N₁₆(p)＝N₈(p)∪N_k(p)

其中马步邻域N_k(p)定义为(参见图2d中标r的像素)：

N_k(p)＝{r|d_k(p,r)＝1}

其中马步距离是按国际象棋棋盘上马从一格运动到另一格所需步数来计算的，这也是图像网格上两点之间最短k-通路的长度。

为定义马步距离，可先定义一个称为顶函数(也叫上取整函数)的整数函数如果x是个实数，则是整数且借助顶函数可定义马步距离为(仅限第一象限)：

其中s＝max{|x_p-x_r|,|y_p-y_r|}，t＝min{|x_p-x_r|,|y_p-y_r|}。

一个像素和它的16-邻域像素组成一个记为N₁₆的空间。根据上面的定义，在数字图像网格上从一个像素到它近邻像素的基本移动(可用链码表示)在N₁₆空间中可分为3种(见图5)：

1)水平和垂直移动：移动的长度为a，成为a-move，对应链码为0,4,8,12；

2)对角线移动：移动的长度为b，成为b-move，对应链码为2,6,10,14；

3)马步移动：移动的长度为c，成为c-move，对应链码为1,3,5,7,9,11,13,15。

给定一个像素，它的4-近邻像素和8-近邻像素是分别用距离测度d₄和d₈定义的，它的马步近邻像素也可用距离测度d_k来定义。一个像素的16-邻域是其8-邻域和马步邻域的并集，所以由d₈和d_k可得到N₁₆中的距离。为了近似N₁₆空间中的欧式距离，可以选用合适的长度(a,b,c)借助斜面距离来进行。斜面距离可测的必要条件是：

c≥2a≥b≥a>0,a+b≥c,2c≥3b

(3)基于2D单应变换的RANSAC算法剔除误匹配点对

RANSAC(Random Sample Consensus),随机抽样一致算法是一种鲁棒性的参数估计方法，实质上就是一个反复测试、不断迭代的过程。利用RANSAC算法得到稳健的参数模型，实际上是一个迭代的不断寻求更优的、包含更多支持内点的模型参数的过程。

将2D单应变换作为RANSAC算法剔除误匹配点对的模型，即从一个平面上的特征点到另外一平面上的特征点的射影关系，反映为射影矩阵H。利用两影像中的至少4对匹配点，计算出包含8个自由度的3×3矩阵H。

RANSAC算法的基本思想：

从SIFT匹配同名点对中随机抽取M组抽样，每一组抽样数据至少包含4对匹配点；利用M组抽样中匹配点对，分别估算出2D单应变换矩阵H的参数初始值；再根据匹配点对间的误差，计算出每一组2D单应变换矩阵H参数初始值所对应的内点和外点；统计每一组参数初始值的内点数，内点数目越大，模型参数越好。

2、双目立体视觉模型

双目立体模型是模拟人的双眼从两个角度去观察立体空间的目标物体，由于几何光学的投影原理，左右两眼形成的像点在视网膜上处在不同位置。本发明正是基于这种视差理论，用两台摄像机在不同位置获取同一物体的像，得到同一点的视差，再利用视差测距原理计算O₁uv目标物体的深度信息；

图1中两台摄像机中心的连线距离为基线距离b。左右摄像机的坐标系原点定在摄像机镜头的光心处。左右摄像机成的像平面事实上都在镜头光心后面，为了方便计算，将两台摄像机形成的像平面放在光心前方距离f处，使左图像平面坐标系的u轴和v轴与摄像机所在坐标系的x轴和y轴方向一致。左右获取的图像坐标系的原点分别与光心的连线与图像垂直交于点O₁和O₂。与摄像机坐标系原点的交线在左右两个像平面中的交点，即物体像点的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)。现假设两台摄像机获得的像在一个平面，则点P的左右像点坐标的Y坐标都一样，即v₁＝v₂。再根据相似三角计算原理得：

式中：(x^c,y^c,z^c)为目标点P在左摄像机坐标系中的坐标；b为两个光心间的距离，即基线距；f为两台摄像机焦距；(u₁,v₁)和(u₂,v₂)分别为点在左右图像各自坐标系中的坐标。

P点在两幅像平面的位置差为：

由此计算出P点在左图像坐标系中坐标为：

Claims (2)

1.一种基于马步测度的Harris-SIFT双目视觉定位方法，其特征是：对双目摄像机获取的图像首先进行高斯滤波和校正处理，再通过图像匹配进行深度恢复，其匹配算法是采用马步距离做测度的Harris-SIFT匹配算法，

所述的采用马步距离做测度的Harris-SIFT匹配算法具体包括：

(1)采用Harris算子提取图像的角点，即特征点；

(2)精确定位极值点

定位关键点位置和尺度并消除不稳定点，对关键点的位置、尺度进行拟合，得到更精确的位置和尺度定位，同时删除具有低对比度和不稳定的边缘响应点；

(3)对关键点分配方向获得旋转不变性

根据关键点的局部图像梯度方向来分配一个或多个方向，利用图像的局部特征给每一个关键点分配一个方向来描述旋转不变性，最后得到关键点邻域像素的梯度及方向，

$\left\{\begin{array}{c}m(x,y)=\\ \sqrt{{\[L(x+1,y)-L(x-1,y)\]}^2+{\[L(x,y+1)-L(x,y-1)\]}^2}\\ \mathrm{\θ}(x,y)=\arctan \frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\end{array}\right.$

式中：尺度L为各个关键点所在尺度，m(x,y)表示关键点的梯度大小；θ(x,y)表示关键点梯度的方向；

(5)计算SIFT特征描述子

为了增强匹配的稳健性，对每个关键点用4×4共16个种子点来描述，这样一个关键点产生并最终形成128维的SIFT特征向量；

(6)构建KD-tree，在KD-tree上计算第一幅图像的每个关键点在待匹配图像上的关键点最近邻匹配；

(7)采用马步距离计算特征向量的距离；

(8)采用基于2D单应变换的RANSAC算法剔除误匹配点对。

2.根据权利要求1所述的基于马步测度的Harris-SIFT双目视觉定位方法，其特征是：所述采用基于2D单应变换的RANSAC算法剔除误匹配点对具体包括：从SIFT匹配同名点对中随机抽取M组抽样，每一组抽样数据至少包含4对匹配点；利用M组抽样中匹配点对，分别估算出2D单应变换矩阵H的参数初始值；再根据匹配点对间的误差，计算出每一组2D单应变换矩阵H参数初始值所对应的内点和外点。