CN105300403A - 一种基于双目视觉的车辆里程计算法 - Google Patents

Abstract

本发明属于智能交通车辆自主导航技术领域，尤其涉及一种基于双目视觉的车辆里程计算法，包括：获取固定在车辆顶部的双目相机的视频流，并传输到车载处理器上；对获取的每一帧双目相机的视频流的图像，分别提取左右图像的特征，并结合上一帧左右图像的特征，用特征匹配的方法搜索出匹配的特征点集合；根据上一帧匹配的特征点，用立体视觉的方法计算出对应三维点的空间坐标；将上一步中三维点的空间坐标重投影到当前帧的二维图像坐标，用GN迭代算法求取重投影误差的最小化，以求得相邻帧的车辆的运动变换值；根据车辆的运动变换值累计更新车辆运动的里程信息。采用快速特征和高精度特征匹配相结合，在提高精度的同时保证了计算速度。

Description

一种基于双目视觉的车辆里程计算法

技术领域

本发明属于智能交通车辆自主导航技术领域，尤其涉及一种基于双目视觉的车辆里程计算法。

背景技术

在城市道路智能交通系统中，车辆定位和导航是非常基础的技术需求，也是无人驾驶、车车通信等的前提。现有的定位和导航技术主要依赖于GPS或轮式里程计，虽然可以其精度满足一般需求，但是在复杂的城市交通中，往往由于建筑物的遮挡或隧道等环境中，无法接收到足够的GPS信号，或由于车辆测滑，轮式里程计不够精确，从而引起导航和定位误差。本发明利用固定在车辆顶部的双目相机，通过实时采集车辆行驶过程中记录的左右图像信息，计算出车辆的运动轨迹，可以实现比GPS更为精确的导航和定位。

现有的视觉里程计根据所使用相机的个数和类型可以分为单目视觉里程计和双目视觉里程计以及RGBD深度相机视觉里程计，单目视觉成本最低，但是由于从单幅图像中无法推断出三维信息，所以单目视觉的方法难以实现较高精度，双目视觉增加了一个相机的成本，也增加了计算量，但是今年来随着硬件成本降低，计算速度的提升，双目视觉里程计在实现较高精度的同时还能保证处理速度，满足实际应用的需求。RGBD相机可以直接输出深度信息，但短时间内RGBD相机成本难以降下来，综合考虑之下，选用车载双目相机的方案是最合适的。车载双目视觉里程计算法的大致框架可以概括为提取特征、特征匹配、计算变换等，现有方法往往采用单一特征，如Harris等角点特征，虽然计算速度快，却不足够鲁棒，在复杂、光照多变的环境下容易引起较大误差，而如全采用精度高的特征，比如SIFT或SURF，又难以满足实时性的要求，所以需要结合两者的优劣，以快速的角点特征检测为主，当误差较大时，用精度更高的特征取代，在达到精度的同时满足实时性的需求。

发明内容

针对现有基于双目相机的车辆里程计算法的不足，本发明提出了一种基于双目视觉的车辆里程计算法，包括：

步骤1，获取固定在车辆顶部的双目相机的视频流，并传输到车载处理器上；

步骤2，对获取的每一帧双目相机的视频流的图像，分别提取左右图像的特征，并结合上一帧左右图像的特征，用特征匹配的方法搜索出匹配的特征点集合；

步骤3，根据上一帧匹配的特征点，用立体视觉的方法计算出对应三维点的空间坐标；

步骤4，将上一步中三维点的空间坐标重投影到当前帧的二维图像坐标，用GN迭代算法求取重投影误差的最小化，以求得相邻帧的车辆的运动变换值；

步骤5，根据车辆的运动变换值累计更新车辆运动的里程信息。

所述步骤2采取HARRIS特征和SURF特征提取相结合的策略；当检测到重投影误差未超过一定阈值时，采取HARRIS特征来进行匹配，当检测到重投影误差超过一定阈值时，选取SURF特征来进行匹配，同时满足特征快速和高精度提取要求。

所述步骤4应用RANSAC框架，每次随机抽取一定数目的特征点，计算其重投影误差，并用GN迭代最小化求解变换矩阵M，计算所有特征点中满足该变换的集合，最后取集合最大时对应的变换为最终的结果。

本发明的有益效果在于，利用车载双目相机，拍摄车辆行驶过程中前方和道路两侧视频，通过计算相邻连续帧左右图像的特征并进行特征匹配，将三维坐标重投影到二维图像平面，并用迭代算法求解重投影误差的最小化，获取车辆运动姿态，采用快速特征和高精度特征匹配相结合，在提高精度的同时保证了计算速度。在复杂城市交通、建筑物遮挡GPS等情况下，有效的提供了车辆导航和定位信息。

附图说明

图1为本发明的一种基于双目视觉的车辆里程计算法流程图。

图2为搜索匹配的特征点示意图。

具体实施方式

下面结合附图，对实施例作详细说明。

本发明的目的在于实现一种智能交通领域实际应用的视觉里程计算法，用车载双目相机实现车辆导航和定位的需求，该里程计同时结合了HARRIS特征计算快速和SURF特征计算准确的特点，可以在复杂城市交通、建筑物遮挡等情况下提供准确的实时里程信息，达到准确定位的目的，弥补了单纯由于GPS来定位方式的不足。如图1所示，本发明包括：

步骤1，采用固定在车辆顶部的双目相机，实时采集双目图像数据，达到帧率10～30fps，并通过usb或以太网传输到车载处理器上；

步骤2，对获取的第k帧双目左右图像和分别提取HARRIS特征，得到特征点的集合和结合第k-1帧的左右图像和并且用全局搜索的方式确定出在四幅图像中匹配的特征点集合，分别为

步骤3，根据第k-1帧匹配的左右特征点，用立体视觉的方法计算出特征点对应的空间点的三维坐标P_i＝{X_i,Y_i,Z_i}，其中i＝1,2,...,N为匹配特征点的数目；

步骤4，将第k-1帧的三维坐标重投影到第k帧的左右图像平面，得到坐标为 $q_i^l=\{u_i^l,v_i^l\}$ 和 $q_i^r=\{u_i^r,v_i^r\},$ 而第k帧中匹配的特征为 $p_i^l=\{x_i^l,y_i^l\}$ 和 $p_i^r=\{x_i^r,y_i^r\},$ 这个特征点对应的3D-2D重投影误差为：简写为用Gauss-Newton迭代算法最小化N个匹配点的重投影误差以求解当前帧和上一帧之间的变换矩阵M＝[R|T]，其中R为旋转分量，T为平移分量；

步骤5，依次重复上述步骤，各次变化矩阵累积下来，就构成了车辆的整个运行轨迹。

在上述步骤2中，选取HARRIS特征是为了保证实时性，但是有时HARRIS匹配的误差较大，所以在检测到重投影误差超过一定阈值时，选取SURF特征来进行匹配，SURF运算量大，但是能很好的应对光照变化等实际情形。

在上述步骤4中，考虑到存在误匹配的点，应用了RANSAC框架，并非一次选出所有的样本点进行计算，而是每次随机抽取一定数目的特征点，计算其重投影误差，并用GN迭代最小化求解变换矩阵M，计算所有特征点中满足该变换的集合，最后取集合最大时对应的变换为最终的结果。

所述步骤2中，对左右图像提取HARRIS特征，具体过程为，设图像像素值在图像像素坐标(x,y)的位置上为f(x,y)，分别在水平和垂直方向求一阶导数得：

$I_x=\frac{\∂f(x,y)}{\∂x},I_y=\frac{\∂f(x,y)}{\∂y}$

设w为均值为0、方差为sigma的滤波函数，则定义HARRIS相关矩阵为：

$M=w*\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中w的作用为消除孤立的噪点的影响。

构造HARRIS算子为：

R＝det(M)-k·tr(M)

其中det(M)表示M的行列式，tr(M)表示M的迹，k是一个经验常数，这里取值k＝0.05

当HARRIS算子R在局部区域内取极大值且大于某一个阈值时，认为该点是HARRIS特征点。

在四幅图像中寻找匹配的过程如图2，其中P₁,P₂,P₃,P₄为匹配的某组特征点，箭头表示匹配的方向。

所述步骤4中，选取SURF特征的流程如下：对图像f(x,y)，定义Hessian矩阵为

$H\left(f\right(x,y\left)\right)=\left[\begin{array}{cc}\frac{{\∂}^{2}f}{\∂x^2}& \frac{{\∂}^{2}f}{\∂x\∂y}\\ \frac{{\∂}^{2}f}{\∂x\∂y}& \frac{{\∂}^{2}f}{\∂y^2}\end{array}\right]$

计算其行列式为：

$\det \left(H\right)=\frac{{\∂}^{2}f}{\∂x^2}\frac{{\∂}^{2}f}{\∂y^2}-{\left(\frac{{\∂}^{2}f}{\∂x\∂y}\right)}^2$

在实际使用中，为了保证尺度无关性，先对图像进行高斯滤波，

L(x,t)＝G(t)·I(x)

得到的L(x,t)为一幅图像在不同解析度下的表示，其中高斯滤波函数

$G\left(t\right)=\frac{{\∂}^{2}g\left(t\right)}{\∂x^2}$

在滤波后对应的Hessian矩阵为：

$H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{xx}(x,\mathrm{\σ})& L_{xy}(x,\mathrm{\σ})\\ L_{xy}(x,\mathrm{\σ})& L_{yy}(x,\mathrm{\σ})\end{array}\right]$

根据H矩阵的行列式的正负来判断该点是否为极点。当σ取不同的尺度时，对应的改变了高斯模糊的尺寸，实现了图像的在不同尺度空间的运算，然后利用非极大值抑制确定特征点的位置。根据Hessian矩阵处理过的每个像素点和其三维领域内26个点大小进行比较，如果它是这26个点中的最大值或最小值，则保留下来作为特征点。

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种基于双目视觉的车辆里程计算法，其特征在于，包括：

步骤1，获取固定在车辆顶部的双目相机的视频流，并传输到车载处理器上；

步骤2，对获取的每一帧双目相机的视频流的图像，分别提取左右图像的特征，并结合上一帧左右图像的特征，用特征匹配的方法搜索出匹配的特征点集合；

步骤3，根据上一帧匹配的特征点，用立体视觉的方法计算出对应三维点的空间坐标；

步骤4，将上一步中三维点的空间坐标重投影到当前帧的二维图像坐标，用GN迭代算法求取重投影误差的最小化，以求得相邻帧的车辆的运动变换值；

步骤5，根据车辆的运动变换值累计更新车辆运动的里程信息。

2.根据权利要求1所述算法，其特征在于，所述步骤2采取HARRIS特征和SURF特征提取相结合的策略；当检测到重投影误差未超过一定阈值时，采取HARRIS特征来进行匹配，当检测到重投影误差超过一定阈值时，选取SURF特征来进行匹配，同时满足特征快速和高精度提取要求。

3.根据权利要求1所述算法，其特征在于，所述步骤4应用RANSAC框架，每次随机抽取一定数目的特征点，计算其重投影误差，并用GN迭代最小化求解变换矩阵M，计算所有特征点中满足该变换的集合，最后取集合最大时对应的变换为最终的结果。