CN102261916B - 一种沙质环境中基于视觉的月球车定位方法 - Google Patents

Abstract

本发明公开了一种在沙质环境中基于视觉的月球车定位方法，包括以下步骤：特征点提取与增强；特征点匹配与跟踪；运动估计。通过上述步骤获取车体位置和方向的变化。采用本发明的定位算法避免了沙质环境的月球表面特征点稀少且不够强壮的问题，保证了在沙质环境中所提取的特征点的数量和质量，提高运动估计的精度，从降维、合理选择搜索窗口和预估搜索方向等角度出发，提高特征匹配与跟踪的效率，采用基于随机采样序列RANSAC的方法，能够有效解决错误数据过多带来的不收敛问题，提高里程计对不收敛问题的鲁棒性。

Description

一种沙质环境中基于视觉的月球车定位方法

技术领域

本发明属于模式识别与人工智能技术领域，涉及到基于视觉的月球车定位方法，特别涉及到一种在沙质环境中基于视觉的月球车定位方法。

背景技术

基于视觉的月球车定位方法是目前在月球环境进行探测的月球车上比较常用的一种自主导航技术，其技术要点是通过跟踪图像中的特征点来进行车体运动估计，它依靠视觉输入信息，不受滑移、倾斜、下陷等因素的影响，在松软的外星环境下具有较高的相对定位精度和巡视里程统计结果，与车轮里程计和惯导信息互相补充，提高月球车的行驶安全性和通过性，达到了提高车体运动估计精度的目的。在月表环境下，虽然基于视觉的月球车定位理论已基本完善，但是针对沙质地面缺乏特征点等诸多情况的影响，基于视觉的月球车定位理论仍存在以下缺陷：在沙质的外星环境，难以保证找到足够的特征点进行跟踪，受计算机处理能力的限制，不能像地面用里程计那样通过频繁更新的方法来减小搜索空间，需要研究对特征点位置变化更具有鲁棒性的特征跟踪算法，需要提高里程计对不收敛问题的鲁棒性。

发明内容

为解决现有技术存在的上述问题，本发明要提出一种在沙质环境中基于视觉的月球车定位方法，提高所提取特征点的数量和质量，并且使特征点的分布尽量均匀，提高特征匹配与跟踪的效率，能够有效解决错误数据过多带来的不收敛问题，提高里程计对不收敛问题的鲁棒性。

本发明的技术方案是：一种在沙质环境中基于视觉的月球车定位方法，利用月球车定位系统对月球车进行定位，所述的月球车定位系统包括避障立体视觉系统、计算机系统及其电源系统，所述的避障立体视觉系统包括一对CCD图像传感器、一对广角镜头和图像采集卡，其中CCD图像传感器作用是把图像像素转换成数字信号，广角镜头作用是近距离拍摄大范围景物，图像采集卡将图像信号采集到电脑中，以数据文件的形式保存在硬盘上；所述的计算机系统用来处理图像采集卡采集到的图像数据，所述的电源系统为避障立体视觉系统和计算机系统提供电能；具体定位方法包括以下步骤：

A、特征点提取与增强

A1、计算机系统采集图像中的像素点，利用Harris角点检测算子的卷积计算每个像素点的能量函数E的值后，首先按照非最大值抑制原则，取3×3窗口中各点值最大的像素点作为候选角点，并将候选角点按E的值由高到低进行排序，并设定能量函数的最小阈值；然后，设定一个候选角点间的最小距离，以其为约束条件对顺序排列的各候选角点进行筛选，提取所需的角点数目n；若采集到的角点个数n不足，则转步骤A2，否则，转步骤B；

A2、计算机系统对局部图像进行增强，采用形态学的Top-Hat顶帽变换来提高图像每个像素点的临域梯度，对图像f进行白Top-Hat顶帽变换和黑Top-Hat顶帽变换，分别用WTH和BTH来表示；

其中：f为图像灰度帧；

白Top-Hat顶帽变换定义为原始图像f与开运算γ(f)的差，即

WTH(f)＝f-γ(f)

黑Top-Hat顶帽变换定义为原始图像f与闭运算φ(f)的差，即

BTH(f)＝φ(f)-f

根据WTH变换和BTH变换能分别检测出图像峰和谷的性质，将WTH变换的结果与原图像相加，就会增加图像中亮目标，从上面相加的结果中减去BTH变换的结果，就会加强图像中的暗目标，从而提高整幅图像的对比度，用k^TH表示运算结果为：

k^TH＝3f-γ(f)-φ(f)

返回步骤A1，直到采集到符合条件的像素点数为止；

B、特征点匹配与跟踪

采用对极线约束匹配方法，为提高基础矩阵求解的精度以及对误匹配的鲁棒性，计算机系统采用基于随机采样序列RANSAC的方法求取基础矩阵：

B1、提取利用Harris角点检测算子所提取的Harris角点作为待匹配特征点，以相似性度量函数

${\mathrm{\γ}}_{\mathrm{SSD}}(s,t)=\underset{(x,y)\∈f_{\mathrm{mw}}}{\mathrm{\Σ}}{(I^A(x,y)-I^B(x+\mathrm{dx},y+\mathrm{dy}))}^2$

为判断依据，来确定匹配特征点数据集；式中，I表示匹配窗口的灰度值，f_mw表示匹配窗口，上标A和B分别表示同时刻左右两个摄像头拍摄的图像；

B2、在待匹配特征点数据集中，取基本子集数目为p，对它采用最小二乘法计算基础矩阵，评估基础矩阵的相容性，计算所有数据点像素与其对应极线的距离，大于某一阈值则被分类为错误匹配点，小于某一阈值则被分类的为正确匹配点；如此重复m次，如果错误点占数据集的比例ε发生变化，就使用公式

Г＝1-(1-(1-ε)^p)^m

做相应的调整，其中Г为至少取得一个良性基本子集的概率，应大于0.95，m表示循环停止条件Г≥0.95时所循环的次数，p表示基本子集中数据点的数目，p大于等于8；

B3、通过与前一次循环的比较，保留具有最多正确匹配点数目的基础矩阵，并对所有正确匹配点重新计算基础矩阵；通过基础矩阵的求解，可以将特征点匹配的搜索空间从二维降到一维的对极线上，提高匹配和跟踪效率；

C、运动估计

C1、根据立体视觉原理，计算机系统确定左、右图像上特征点的对应关系后，依据摄像机标定结果，获取该特征点在车体坐标系下的三维坐标；定义前一时刻和当前时刻同一特征点i对应的三维坐标分别为

P_pi＝(x_pi，y_pi，z_pi)^T和P_ci＝(x_ci，y_ci，z_ci)^T

C2、引入随机采样序列RANSAC思想，寻找坐标系间的旋转矩阵R和平移向量T，实现过程如下：

C21、在数据集中，取基本子集p，p大于或者等于4；

C22、对基本子集采用奇异值分解法计算旋转矩阵R和平移向量T；

C23、定义误差阈值，检测所有匹配点对旋转矩阵R和平移向量T的支持程度，统计内点数；

C24、重复步骤C21-C23m次，找到内点数最多的旋转矩阵R和平移向量T，并将这些内点作为新的匹配点集，采用奇异值分解法求解新的旋转矩阵R和平移向量T；

C3、确保找到新的坐标系间的旋转矩阵R和平移向量T，使得式

$E(R,T)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P_{\mathrm{pi}}-({\mathrm{RP}}_{\mathrm{ci}}+T)\left|\right|}^2$

最小，从而获取车体位置和方向的变化，其中N为跟踪上的特征点的个数。

与现有技术相比，本发明的效果和益处是：

采用本发明的定位算法避免了沙质环境的月球表面特征点稀少且不够强壮的问题，保证了在沙质环境中所提取的特征点的数量和质量，提高运动估计的精度，从降维、合理选择搜索窗口和预估搜索方向等角度出发，提高特征匹配与跟踪的效率，采用基于随机采样序列RANSAC的方法，能够有效解决错误数据过多带来的不收敛问题，提高里程计对不收敛问题的鲁棒性。

附图说明

本发明共有附图2幅，其中：

图1基于视觉的月球车定位系统组成示意图。

图2基于视觉的月球车定位方法的流程图。

图中：1、广角镜头，2、CCD图像传感器，3、图像采集卡，4、计算机系统。

具体实施方式

下面结合附图对本发明进行进一步说明。如图1所示，一种基于视觉的月球车定位系统包括避障立体视觉系统、计算机系统4及其电源系统组成。避障立体视觉系统包括一对CCD图像传感器2、一对广角镜头1、图像采集卡3，其中CCD图像传感器2作用是把采集到的左右图像像素转换成数字信号，广角镜头1作用是近距离拍摄大范围景物，图像采集卡3将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。计算机系统4用来处理采集卡采集的图像数据，电源系统为避障立体视觉系统和计算机系统4提供电源。

本发明定位过程包括：特征点提取与增强、特征点匹配与跟踪、运动估计三部分。

A、特征点提取与增强过程为：

第一步，计算机系统4采集图片中的像素点，沙质环境中采集到的图像灰度均匀，没有明显的可提取特征用于匹配跟踪。采用Harris角点检测方法，

Harris算子的卷积表达式如下：

$M=G\left(\tilde{s}\right)\⊗\left[\begin{array}{cc}{g}_x^2& g_x{g}_y\\ g_x{g}_y& g_y^2\end{array}\right]---\left(1\right)$

E＝Det(M)-kTrace²(M)，k＝0.04(2)

其中M为与自相关函数相联系的矩阵，g_x为图像坐标系x方向的梯度，g_y为y方向的梯度，

为高斯模板，为卷积操作，E为每像素点的能量函数，Det为矩阵的行列式，Trace为矩阵的迹，k为常数，一般选取0.04。

计算每个像素点的E值后，首先按照非最大值抑制原则，取3×3窗口中各点值最大的像素点作为候选角点，并将候选角点按值由高到低进行排序，并设定能量函数的最小阈值E_min。设定一个候选角点间的最小距离D_min，以其为约束条件对顺序排列的各候选角点进行筛选，如果没有提取所需的角点数目n，转第二步。

第二步，计算机系统4对局部图像进行增强，采用形态学的Top-Hat变换来提高图像每个像素点的临域梯度，对该图像f进行白Top-Hat和黑Top-Hat变换，分别用WTH和BTH来表示，其中f为图像灰度帧。白Top-Hat定义为原始图像f与开运算γ(f)的差，即WTH(f)＝f-γ(f)，黑Top-Hat定义为原始图像f与闭运算φ(f)的差，即BTH(f)＝φ(f)-f；根据WTH变换和BTH能分别检测出图像的峰和谷的性质，将WTH变换的结果与原图像相加，就会增加图像中亮目标，而从得到的结果中减去BTH变换的结果，就会加强图像中的暗目标，就提高了整幅图像的对比度，用k^TH表示计算结果为：k^TH＝3f-γ(f)-φ(f)。返回步骤一，直到采集到符合条件的像素点数n为止。

B、特征点匹配与跟踪：

采用对极线约束匹配方法，为提高基础矩阵求解的精度以及对误匹配的鲁棒性，采用基于随机采样序列RANSAC的方法求取基础矩阵：

第一步，提取Harris角点作为待匹配特征点，以相似性度量函数

${\mathrm{\γ}}_{\mathrm{SSD}}(s,t)=\underset{(x,y)\∈f_{\mathrm{mw}}}{\mathrm{\Σ}}{(I^A(x,y)-I^B(x+\mathrm{dx},y+\mathrm{dy}))}^2$

为判断依据，来确定匹配特征点数据集，其中I表示匹配窗口的灰度值，f_mv表示匹配窗口，上标A和B分别表示不同的图像；

第二步，在数据集中，取样基本子集p＝8，对它采用最小二乘法计算基础矩阵，评估基础矩阵的相容性，计算所有数据点像素与其对应极线的距离，大于某一阈值则被分类为错误匹配点，小于的为正确匹配点，如此重复m次，如果错误点占数据集的比例ε发生变化，就使用公式Г＝1-(1-(1-ε)^p)^m做相应的调整，其中Г为至少取得一个良性取样子集的概率，应大于0.95，m表示循环停止条件Г≥0.95时所循环的次数，p表示基本子集中数据点的数目；

第三步，通过与前一次循环的比较，保留具有最多正确匹配点数目的基础矩阵，并对所有正确匹配点重新计算基础矩阵，通过基础矩阵的求解，可以将特征点匹配的搜索空间从二维降到一维的对极线上，提高匹配和跟踪效率。

除了通过对极线约束匹配方法将特征点匹配的搜索空间从二维降到一维的对极线上，提高特征匹配与跟踪的效率外，还可以采用设置合理的搜索窗口和搜索方向能够有效减少计算量，降低特征点位置变化对匹配跟踪的干扰，最终提高特征点匹配的效率。

C、运动估计过程为：

第一步，根据立体视觉原理，确定左、右图像上特征点的对应关系后，依据摄像机标定结果，可以获取该特征点在车体坐标系下的三维坐标。定义前一时刻和当前时刻同一特征点i对应的三维坐标分别为P_pi＝(x_pi，y_pi，z_pi)^T和P_ci＝(x_ci，y_ci，z_ci)^T。

第二步，引入RANSAC思想，实现过程如下：1在数据集中，取样基本子集p＝4；2对该基本子集采用奇异值分解法计算旋转矩阵R和平移向量T；3定义误差阈值，检测所有匹配点对R和T的支持程度，统计内点数；4重复1～3m次，找到内点数最多的R和T，并将这些内点作为新的匹配点集，采用奇异值分解法求解新的R和T。

用奇异值分解法求解坐标变换的过程为：

1计算三维点集P_p和P_c的质心和并生成新的三维点集

和 ${\hat{P}}_c=P_c-{\stackrel{\‾}{P}}_c;$

2计算

并对其进行奇异值分解Q＝UDV^T，如果det(U)det(V)＝1，则R＝VU^T，如果det(U)det(V)＝-1，则R＝VSU^T，其中S＝[diag(1，1，Λ1，-1)_N]，N为跟踪上的特征点的个数；

3 $T={\stackrel{\‾}{P}}_p-R{\stackrel{\‾}{P}}_c.$

第三步，确保找到新的坐标系间的旋转矩阵R和平移向量T，使得式

最小，从而获取车体位置和方向的变化，其中N为跟踪上的特征点的个数。

Claims (1)

1.一种在沙质环境中基于视觉的月球车定位方法，利用月球车定位系统对月球车进行定位，所述的月球车定位系统包括避障立体视觉系统、计算机系统(4)及其电源系统，所述的避障立体视觉系统包括一对CCD图像传感器(2)、一对广角镜头(1)和图像采集卡(3)，其中CCD图像传感器(2)作用是把图像像素转换成数字信号，广角镜头(1)作用是近距离拍摄大范围景物，图像采集卡(3)将图像信号采集到电脑中，以数据文件的形式保存在硬盘上；所述的计算机系统(4)用来处理图像采集卡(3)采集到的图像数据，所述的电源系统为避障立体视觉系统和计算机系统(4)提供电能；其特征在于：具体定位方法包括以下步骤：

A、特征点提取与增强

A1、计算机系统(4)采集图像中的像素点，利用Harris角点检测算子的卷积计算每个像素点的能量函数E的值后，首先按照非最大值抑制原则，取3×3窗口中各点值最大的像素点作为候选角点，并将候选角点按E的值由高到低进行排序，并设定能量函数的最小阈值；然后，设定一个候选角点间的最小距离，以其为约束条件对顺序排列的各候选角点进行筛选，提取所需的角点数目n；若采集到的角点个数n不足，则转步骤A2，否则，转步骤B；

A2、计算机系统(4)对局部图像进行增强，采用形态学的Top-Hat顶帽变换来提高图像每个像素点的临域梯度，对图像f进行白Top-Hat顶帽变换和黑Top-Hat顶帽变换，分别用WTH和BTH来表示；

其中：f为图像灰度帧；

白Top-Hat顶帽变换定义为原始图像f与开运算γ(f)的差，即

WTH(f)＝f-γ(f)

黑Top-Hat顶帽变换定义为原始图像f与闭运算φ(f)的差，即

BTH(f)＝φ(f)-f

根据WTH变换和BTH变换能分别检测出图像峰和谷的性质，将WTH变换的结果与原图像相加，就会增加图像中亮目标，从上面相加的结果中减去BTH变换的结果，就会加强图像中的暗目标，从而提高整幅图像的对比度，用k^TH表示运算结果为：

k^TH＝3f-γ(f)-φ(f)

返回步骤A1，直到采集到符合条件的像素点数为止；

B、特征点匹配与跟踪

采用对极线约束匹配方法，为提高基础矩阵求解的精度以及对误匹配的鲁棒性，计算机系统(4)采用基于随机采样序列RANSAC的方法求取基础矩阵：

B1、提取利用Harris角点检测算子所提取的Harris角点作为待匹配特征点，以相似性度量函数

${\mathrm{\γ}}_{\mathrm{SSD}}(s,t)=\underset{(x,y)\∈f_{\mathrm{mw}}}{\mathrm{\Σ}}{(I^A(x,y)-I^B(x+\mathrm{dx},y+\mathrm{dy}))}^2$

为判断依据，来确定匹配特征点数据集；式中，I表示匹配窗口的灰度值，f_mw表示匹配窗口，上标A和B分别表示同时刻左右两个摄像头拍摄的图像；

B2、在待匹配特征点数据集中，取基本子集数目为p，对它采用最小二乘法计算基础矩阵，评估基础矩阵的相容性，计算所有数据点像素与其对应极线的距离，大于某一阈值则被分类为错误匹配点，小于某一阈值则被分类的为正确匹配点；如此重复m次，如果错误点占数据集的比例ε发生变化，就使用公式

Г＝1-(1-(1-ε)^p)^m

做相应的调整，其中Г为至少取得一个良性基本子集的概率，应大于0.95，m表示循环停止条件Г≥0.95时所循环的次数，p表示基本子集中数据点的数目，p大于等于8；

B3、通过与前一次循环的比较，保留具有最多正确匹配点数目的基础矩阵，并对所有正确匹配点重新计算基础矩阵；通过基础矩阵的求解，可以将特征点匹配的搜索空间从二维降到一维的对极线上，提高匹配和跟踪效率；

C、运动估计

C1、根据立体视觉原理，计算机系统(4)确定左、右图像上特征点的对应关系后，依据摄像机标定结果，获取该特征点在车体坐标系下的三维坐标；定义前一时刻和当前时刻同一特征点i对应的三维坐标分别为

P_pi＝(x_pi，y_pi，z_pi)^T和P_ci＝(x_ci，y_ci，z_ci)^T

C2、引入随机采样序列RANSAC思想，寻找坐标系间的旋转矩阵R和平移向量T，实现过程如下：

C21、在数据集中，取基本子集p，p大于或者等于4；

C22、对基本子集采用奇异值分解法计算旋转矩阵R和平移向量T；

C23、定义误差阈值，检测所有匹配点对旋转矩阵R和平移向量T的支持程度，统计内点数；

C24、重复步骤C21-C23m次，找到内点数最多的旋转矩阵R和平移向量T，并将这些内点作为新的匹配点集，采用奇异值分解法求解新的旋转矩阵R和平移向量T；

C3、确保找到新的坐标系间的旋转矩阵R和平移向量T，使得式

$E(R,T)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P_{\mathrm{pi}}-({\mathrm{RP}}_{\mathrm{ci}}+T)\left|\right|}^2$

最小，从而获取车体位置和方向的变化，其中N为跟踪上的特征点的个数。

Images