CN110119670A - 一种基于Harris角点检测的视觉导航方法 - Google Patents

Abstract

本发明公开了一种基于Harris角点检测的视觉导航方法。本发明包括以下步骤：步骤1、建立绝对坐标系，并在坐标系内人为设置多个标定点，同时保证标定点间隔设置在机器人移动路径上；步骤2、使得移动机器人在移动过程中可自动使用安装于其底部的视频采集装置对移动路径上的地面纹理进行录像；步骤3、当移动机器人开始运动时，实时提取视频中的特定帧图像作为相应位置的特征图像，进而形成一系列移动机器人移动路径上的特征图像，同时进行仿射变换得到新的特征图像，记为特征图像库。本发明剔除偏离整体分布趋势较大的误匹配点对，有效地提高了匹配精度和性能，从而提升了对移动机器人定位与导航的精准度。

Description

一种基于Harris角点检测的视觉导航方法

技术领域

本发明涉及移动机器人技术领域，具体涉及一种基于Harris角 点检测的视觉导航方法。

背景技术

视觉导航是目前移动机器人领域中的热点。随着机器人的发展， 其应用领域愈加广泛，目前机器人的导航方式主要有磁条导航、惯性 导航、激光导航和超声波导航等。

磁条导航需要在机器人移动路径上铺设磁条，精度较低，且突出 地面的磁条易损坏；惯性导航利用陀螺仪测得角加速度，加速度计获 得线加速度，通过角加速度和线加速度进行二次积分分别得到角度和 位置，但是随着时间的累积，惯性导航累积误差增大，需辅助其他设 备予以校正，且高精度的惯性导航器件成本较高；激光导航具有光束 窄、平行性好、散射小、测距方向分辨率高等优点，但需要在移动路 径两边添加反光板，对反光板的安装精度要求较高，且对其他光源敏 感，不适于室外作业；超声波导航的工作原理与激光类似，通常是由 超声波传感器的发射探头发射出超声波，超声波在介质中遇到障碍物 而返回到接收装置，其具有成本低廉、采集信息速率快、距离分辨率 高等优点，长期以来被广泛地应用到移动机器人的导航定位中，而且 它采集环境信息时不需要复杂的图像配备技术，因此测距速度快、实 时性好，但超声波传感器也易受到如天气条件、环境光照及障碍物阴 影、表面粗糙度等外界环境条件的影响。

发明内容

本发明的目的在于提供一种基于Harris角点检测的视觉导航方 法，用以解决上述背景技术中提出的问题。为了实现上述目的，本发 明解决其技术问题所采用的技术方案包括以下步骤：

步骤1、建立绝对坐标系，并在坐标系内人为设置多个标定点， 同时保证标定点间隔设置在机器人移动路径上；

步骤2、使得移动机器人在移动过程中可自动使用安装于其底部 的视频采集装置对移动路径上的地面纹理进行录像；

步骤3、当移动机器人开始运动时，实时提取视频中的特定帧图 像作为相应位置的特征图像，进而形成一系列移动机器人移动路径上 的特征图像，同时进行仿射变换得到新的特征图像，记为特征图像库； 若当前位置特征图像纹理与标定点特征图像纹理无重叠处时，则与特 征图像库中的上一帧图像进行图像配准，以得到当前位置坐标；

若当前位置特征图像纹理与标定点特征图像纹理有重叠时，则对 二者进行图像配准，以得到当前位置坐标；

若当前位置特征图像与标定点特征图像进行配准，则在配准完成 后，将仿射变换后的当前位置特征图像与标定点特征图像进行糅合， 得到兼具两张图像特征的新图像作为新的标定点特征图像。

通过上述步骤，可以实现移动机器人的视觉导航工作，其中所使 用的图像配准算法如下所述：

Harris角点检测法是一种基于图像灰度的检测方法，主要是通 过计算每个像素邻域的灰度变化矩阵C来检测角点，定义矩阵C为：

其中，I_x为x方向的梯度，I_y为y方向的梯度。设α、β为矩阵C 的特征值，当α和β都小于最小阈值时，检测到的点为平坦区域点； 当α和β都大于最大阈值时，表示沿着任意方向移动，图像的灰度都 将导致明显的变化，检测到的点为角点；其余α和β的值，检测到的 点均为边缘点；

为了计算方便，采用矩阵的行列式det和矩阵的迹tr来代替α和 β，则有

det(C)＝αβ

tr(C)＝α+β

同时定义角点响应函数M为：

M＝det(C)-ktr²(C)

其中k的取值范围为0.04～0.06。当M的值大于一定的阈值，并 在周围8个方向上取到局部极大值时，则判定该点是角点。

由于标定点图像与当前位置特征图像之间的差异可能较大，错误 的匹配在分布上没有一定的规律，从而需要对提取到的角点进行一定 的筛选，尽量消除错误匹配，减小离群点对整体的影响，这里运用聚 类法粗筛选匹配角点。通过聚类法粗筛选出的匹配角点在一定程度上 缩小了角点匹配的范围，减小了计算量，提高了匹配精度。

本发明提出的角点匹配算法实现步骤如下：

⑴假设从标定点图像和当前位置特征图像中运用聚类法提取的 角点分别为{(a_i，b_i)，i＝1，2，…，m}和{(c_j，d_j)，j＝1，2，…，n}，其中m、n 分别为两幅图像中提取的角点个数，这里为方便计算使得m和n的 值相等。点(a_i，b_i)和点(c_j，d_j)分别随着i和j的变化顺序排列，这样就 构成了任意两点之间的一一对应。

⑵定义相对位置函数作为精匹配准则，并将标准方差的思想运用 其中。通过对标定点图像和当前位置特征图像中匹配角点的位置关系 进行相似性比较，以删除偏离整体分布较大的误匹配点对，该相对位 置函数定义为：

其中，(a_i，b_i)和(a_j，b_j)为标定点图像中的任意两个角点，(c_i，d_i和(c_j，d_j)为当前位置特征图像中对应的任意两个角点。该函数描述的 是两幅图像中任意两点距离之比，通过利用标准差来检测数据的离散 程度，以删除偏离整体分布较大的点。对于两幅图像中的任意一组对 应的角点，运用上式得到m(m-1)/2个函数值，将相应函数值记为 A_i，i＝1，2，…，m(m-1)/2。

⑶对上述求得的所有函数值A_i求标准差，记为B₀。

为了判定标定点图像和当前位置特征图像中各点之间的位置关 系，需要设置相关系数ε₁，使得当B₀＜ε₁时，说明两幅图像中对应点 之间的位置关系近似一致，此时保留两幅图像中对应的角点对；当 B₀＞ε₁时，说明两幅图像中至少存在一组匹配点的对应位置偏离较 大，需要剔除其中偏离最大的匹配点，此时匹配的角点个数为m-1 个。由于每个角点都将被剔除一次，所以共有m种可能。对于每一 种可能，通过相对位置函数计算都将得到(m-1)(m-2)/2个函数值。

⑷对上述每一种可能求得的所有函数值求标准方差，记为C_j，j＝ 1，2，…，m。

从上述求得的所有标准方差中选取最小的一个，记为C_min。此时， 需要设置另一个相关系数ε₂来判定两幅图像中各点的对应关系，使得 当C_min＜ε₂×B₀时，表示两幅图像中对应点之间的位置关系近似一 致，这时保留两幅图像中对应的角点对；当C_min＞ε₂×B₀时，表示 存在误匹配点，需要从m-1个角点中剔除一个，剩余m-2个角 点，共有m-1种可能。然后对每一种可能求得m-1个标准方差， 取最小值后与ε₂×B₀比较大小，按上述方式循环下去，直到剩余的角 点对数少于4对为止，记录此时两幅图像中的匹配角点。

⑸假定最终有效的匹配角点个数为t，则移动机器人在x方向上 的位移为在y方向上的位移为

本发明有益效果如下：

本发明提出了一种基于Harris角点检测的视觉导航方法，通过 人为标定点消除了惯性导航带来的累计误差，使得定位误差是可控的， 与标定点的间隔距离成正比。当增加标定点时，只需要对此处地面拍 摄一张图像，并指定此时对应的绝对坐标，因此当相机分辨率能分清 楚地面纹理时是不需要对拍摄图像进行任何附加处理的。同时，在移 动机器人每次经过标定点时，会用当前位置图像信息更新已保存的标 定点图像信息，从而能够自适应地面磨损等情况。在图像配准的过程 中，通过对Harris角点检测算子的研究，采用聚类法进行粗匹配， 并以相对位置函数作为精匹配准则，剔除偏离整体分布趋势较大的误匹配点对，有效地提高了匹配精度和性能，从而提升了对移动机器人 定位与导航的精准度。

具体实施方式

本发明提出了一种基于Harris角点检测的视觉导航方法，实现 了对移动机器人的定位与导航，下面结合相关步骤进行详细说明：

步骤1、建立绝对坐标系，在移动机器人运动前，在坐标系内人 为设置多个标定点，同时保证标定点间隔设置在移动路径上，而且每 个人为设定的标定点的绝对坐标均为已知；

步骤2、将摄像头安装在移动机器人车体底部或其他避光处，使 得移动机器人在移动过程中可自动对移动路径上的地面纹理进行录 像，而且事先将每个标定点的地面纹理进行拍摄，进行仿射变换后存 储于移动机器人的存储器中，用来进行图像配准；对标定点图像进行 仿射变换：

其中，点(x，y)经仿射变换后变为点(x′，y′)，为实矩阵， t_x和t_y为平移量，同时采用双线性插值法来重建非整数坐标点的像素 值；

步骤3、当移动机器人开始运动时，实时读取视频中的N帧图像， 提取每间隔K＝kt(其中k为10的倍数，t为匹配时间)帧图像作 为相应位置的特征图像，进而形成一系列移动机器人移动路径上的特 征图像，同时进行仿射变换得到新的特征图像，记为特征图像库；

若当前位置特征图像纹理与标定点图像纹理无重叠处时，则与特 征图像库中的上一帧图像进行图像配准，以得到当前位置坐标；若当 前位置特征图像纹理与标定点图像纹理有重叠时，则对二者进行图像 配准，以得到当前位置坐标；这里使用基于Harris的角点检测算法 实现图像配准工作，相关方法如下所述：

Harris角点检测法是一种基于图像灰度的检测方法，主要是通 过计算每个像素邻域的灰度变化矩阵C来检测角点，定义矩阵C为：

其中，I_x为x方向的梯度，I_y为y方向的梯度。设α、β为矩阵C 的特征值，当α和β都很小时，检测到的点为平坦区域点；当α和β之 间只有一个较小而另一个较大时，检测到的点为边缘点；当α和β都 较大时，表示沿着任意方向移动，图像的灰度都将导致明显的变化，检测到的点为角点。为了计算方便，采用矩阵的行列式det和矩阵的 迹tr来代替α和β，则有

det(C)＝αβ

tr(C)＝α+β

同时定义角点响应函数M为：

M＝det(C)-ktr²(C)

其中k的取值范围为0.04～0.06。

当M的值大于一定的阈值，并在周围8个方向上取到局部极大 值时，则判定该点是角点。阈值选择一般取决于图像的清晰度以及角 点强弱等因素，当图像较清晰、角点特征较强时，阈值一般取得大一 些；当图像较模糊、角点特征较弱时，阈值一般取得小一些。

由于标定点图像与当前位置特征图像之间的差异可能较大，错误 的匹配在分布上没有一定的规律，从而需要对提取到的角点进行一定 的筛选，尽量消除错误匹配，减小离群点对整体的影响。聚类方法是 一种理想的多变量统计技术，是研究分类的一种多元统计方法，其基 本思想是：把大量的数据样本分成不同的几类，在同一类中样本相似 性最大，而在不同类中样本的相似性最小。通常在所研究的一批样本 之间存在不同程度的相似性，即可以根据相似性找出样本之间相似程 度的统计量，以统计量作为划分类型的依据，使得在同一聚类之间最 小化，而在不同聚类之间最大化。

运用聚类法粗筛选匹配角点的主要思路为：对尺寸同样大小的标 定点图像和当前位置特征图像进行高斯滤波，并进行膨胀处理，以去 除图像的边界；然后将两幅图像放置于同一坐标系中并重叠在一起， 把图像中的匹配角点用直线相连接，则斜率相同或相近的直线对应为 正确的匹配角点；由于直线的斜率可以是负无穷大到正无穷大之间的 任意一个数，数据分散且难以处理，故使用反正切函数来计算直线倾 斜角的弧度值，将此函数返回的值作为相似程度的统计量，并在匹配 点集中找到一个包含某弧度值最多的邻域，则该邻域内的匹配角点即 为粗筛选出的匹配角点。

通过聚类法粗筛选出的匹配角点在一定程度上缩小了角点匹配 的范围，减小了计算量，提高了匹配精度。本发明提出的角点匹配算 法实现步骤如下：

a)假设从标定点图像和当前位置特征图像中运用聚类法提取的角点 分别为{(a_i，b_i)，i＝1，2，…，m}和{(c_j，d_j)，j＝1，2，…，n}，其中m、n分 别为两幅图像中提取的角点个数，这里为方便计算使得m和n的 值相等。点(a_i，b_i)和点(c_j，d_j)分别随着i和j的变化顺序排列，这 样就构成了任意两点之间的一一对应。

b)定义相对位置函数作为精匹配准则，并将标准方差的思想运用其 中。通过对标定点图像和当前位置特征图像中匹配角点的位置关 系进行相似性比较，以删除偏离整体分布较大的误匹配点对，该 相对位置函数定义为：

其中，(ai，b_i)和(a_j，b_j)为标定点图像中的任意两个角点，(ci，d_i)和 (c_j，d_j)为当前位置特征图像中对应的任意两个角点。该函数描述 的是两幅图像中任意两点距离之比，通过利用标准差来检测数据 的离散程度，以删除偏离整体分布较大的点。对于两幅图像中的 任意一组对应的角点，运用上式得到m(m-1)/2个函数值，将相 应函数值记为A_i，i＝1，2，…，m(m-1)/2。

c)对上述求得的所有函数值A_i求标准差，记为B₀。

d)为了判定标定点图像和当前位置特征图像中各点之间的位置关系， 需要设置相关系数ε₁，使得当B₀＜ε₁时，说明两幅图像中对应点 之间的位置关系近似一致，此时保留两幅图像中对应的角点对； 当B₀＞ε₁时，说明两幅图像中至少存在一组匹配点的对应位置偏 离较大，需要剔除其中偏离最大的匹配点，此时匹配的角点个数 为m-1个。由于每个角点都将被剔除一次，所以共有m种可能。 对于每一种可能，通过相对位置函数计算都将得到(m-1)(m-2)/2个函数值。

e)对上述每一种可能求得的所有函数值求标准方差，记为C_j，j＝ 1，2，…，m。

f)从上述求得的所有标准方差中选取最小的一个，记为C_min。此时， 需要设置另一个相关系数ε₂来判定两幅图像中各点的对应关系， 使得当C_min＜ε₂×B₀时，表示两幅图像中对应点之间的位置关系 近似一致，这时保留两幅图像中对应的角点对；当C_min＞ε₂×B₀时，表示存在误匹配点，需要从m-1个角点中剔除一个，剩余 m-2个角点，共有m-1种可能。然后对每一种可能求得m-1 个标准方差，取最小值后与ε₂×B₀比较大小，按上述方式循环下 去，直到剩余的角点对数少于4对为止，记录此时两幅图像中的 匹配角点。

g)假定最终有效的匹配角点个数为t，则移动机器人在x方向上的 位移为在y方向上的位移为

1)若当前位置特征图像与标定点图像进行配准，则在配准完成后， 将仿射变换后的当前位置特征图像与标定点图像进行糅合，得到 兼具两张图像特征的新图像作为新的标定点图像，并继续跳转到 步骤4)进行后续的图像配准工作，最终实现移动机器人的定位与导航。

Claims (3)

1.一种基于Harris角点检测的视觉导航方法，其特征在于包括以下步骤：

步骤1、建立绝对坐标系，并在坐标系内人为设置多个标定点，同时保证标定点间隔设置在机器人移动路径上；

步骤2、使得移动机器人在移动过程中可自动使用安装于其底部的视频采集装置对移动路径上的地面纹理进行录像；

步骤3、当移动机器人开始运动时，实时提取视频中的特定帧图像作为相应位置的特征图像，进而形成一系列移动机器人移动路径上的特征图像，同时进行仿射变换得到新的特征图像，记为特征图像库；若当前位置特征图像纹理与标定点特征图像纹理无重叠处时，则与特征图像库中的上一帧图像进行图像配准，以得到当前位置坐标；

若当前位置特征图像纹理与标定点特征图像纹理有重叠时，则对二者进行图像配准，以得到当前位置坐标；

若当前位置特征图像与标定点特征图像进行配准，则在配准完成后，将仿射变换后的当前位置特征图像与标定点特征图像进行糅合，得到兼具两张图像特征的新图像作为新的标定点特征图像。

2.根据权利要求1所述的一种基于Harris角点检测的视觉导航方法，其特征在于图像的配准描述如下所述：

通过计算每个像素邻域的灰度变化矩阵C来检测角点，定义矩阵C为：

其中，I_x为x方向的梯度，I_y为y方向的梯度；设α、β为矩阵C的特征值，当α和β都小于最小阈值时，检测到的点为平坦区域点；当α和β都大于最大阈值时，表示沿着任意方向移动，图像的灰度都将导致明显的变化，检测到的点为角点；其余α和β的值，检测到的点均为边缘点；

采用矩阵的行列式det和矩阵的迹tr来代替α和β，则有

det(C)＝αβ

tr(C)＝α+β

同时定义角点响应函数M为：

M＝det(C)-ktr²(C)

其中k的取值范围为0.04～0.06；当M的值大于一定的阈值，并在周围8个方向上取到局部极大值时，则判定该点是角点。

3.根据权利要求2所述的一种基于Harris角点检测的视觉导航方法，其特征在于运用聚类法粗筛选匹配角点，具体实现步骤如下：

(1)假设从标定点图像和当前位置特征图像中运用聚类法提取的角点分别为{(a_i，b_i)，i＝1，2，…，m}和{(c_j，d_j)，j＝1，2，…，n}，其中m、n分别为两幅图像中提取的角点个数，为方便计算使得m和n的值相等；点(a_i，b_i)和点(c_j，d_j)分别随着i和j的变化顺序排列，从而构成了任意两点之间的一一对应；

(2)定义相对位置函数作为精匹配准则，通过对标定点图像和当前位置特征图像中匹配角点的位置关系进行相似性比较，以删除偏离整体分布较大的误匹配点对，该相对位置函数定义为：

其中，(a_i，b_i)和(a_j，b_j)为标定点图像中的任意两个角点，(c_i，d_i)和(c_j，d_j)为当前位置特征图像中对应的任意两个角点；对于两幅图像中的任意一组对应的角点，运用上式得到m(m-1)/2个函数值，将相应函数值记为A_i，i＝1，2，…，m(m-1)/2；

(3)对步骤(2)求得的所有函数值A_i求标准差，记为B₀；

为了判定标定点图像和当前位置特征图像中各点之间的位置关系，需要设置相关系数ε₁，使得当B₀＜ε₁时，说明两幅图像中对应点之间的位置关系一致，此时保留两幅图像中对应的角点对；当B₀＞ε₁时，说明两幅图像中至少存在一组匹配点的对应位置偏离较大，需要剔除其中偏离最大的匹配点，此时匹配的角点个数为m-1个；由于每个角点都将被剔除一次，所以共有m种可能；对于每一种可能，通过相对位置函数计算都将得到(m-1)(m-2)/2个函数值；

(4)对步骤(3)每一种可能求得的所有函数值求标准方差，记为C_j，j＝1，2，…，m；

从上述求得的所有标准方差中选取最小的一个，记为C_min；此时，需要设置另一个相关系数ε₂来判定两幅图像中各点的对应关系，使得当C_min＜ε₂×B₀时，表示两幅图像中对应点之间的位置关系一致，这时保留两幅图像中对应的角点对；当C_min＞ε₂×B₀时，表示存在误匹配点，需要从m-1个角点中剔除一个，剩余m-2个角点，共有m-1种可能；然后对每一种可能求得m-1个标准方差，取最小值后与ε₂×B₀比较大小，按上述方式循环下去，直到剩余的角点对数少于4对为止，记录此时两幅图像中的匹配角点；

(5)假定最终有效的匹配角点个数为t，则移动机器人在x方向上的位移为在y方向上的位移为