CN103743394A

CN103743394A - 一种基于光流的移动机器人避障方法

Info

Publication number: CN103743394A
Application number: CN201410006655.XA
Authority: CN
Inventors: 于乃功; 徐丽; 阮晓钢; 陈焕朝; 王琳
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2014-01-07
Filing date: 2014-01-07
Publication date: 2014-04-23

Abstract

本发明涉及一种基于光流的移动机器人避障方法，属于机器人导航避障应用技术领域；其特征在于根据机器人上的单目摄像头，获取图像序列，计算前后两帧图像的光流。当光流幅值超过阈值时，从光流中计算出TTC。并根据TTC构建1×N的障碍地图OM(obstacle map)；然后设置阈值τ提取障碍地图元素值小于τ的连续列作为候选的安全区域。对每一区域计算其权重，取权重最大的区域作为最佳区域，计算其局部形心作为最佳前进方向；最后根据最佳前进方向控制机器人转向此方向，从而避开障碍物。本发明能使机器人在未知、复杂、充满障碍物的环境中分析障碍物的分布，并选择最安全的方向行走，能用于实时的机器人避障。

Description

一种基于光流的移动机器人避障方法

技术领域

本发明涉及一种单目视觉的基于光流的移动机器人避障方法，属于机器人导航避障应用技术领域。

背景技术

移动机器人是具有感知、思维和行动功能的机器，其在多种领域发挥了重要作用，比如清洁机器人、军事探测机器人。而要实现机器人自主作业，机器人必须能够避障。当前，有多种传感器可以用于机器人避障，比如利用超声波测距仪、激光雷达和红外传感器可以获取到障碍物的距离信息，进而实现避障。还可以利用安装在机器人上的一个或多个摄像头获取场景的图像，利用丰富的视觉信息完成避障。研究发现，视觉是人类获取信息的主要渠道，外界的信息有70%来自视觉，视觉传感器不需要安装发射和接收装置，简单轻便，而且，视觉工作在被动模式，具有隐蔽性。目前，视觉导航和避障方法成为研究的热点。

目前，基于视觉的导航技术主要有三种方法，分别为基于地图的导航、基于光流的导航和基于地貌的导航。基于光流的方法是受到大自然中飞行昆虫的启发，科学家们通过解剖学、神经生理学、电生理学的方法已经对飞行昆虫的视觉系统进行了大量的研究。研究发现，飞行昆虫的视觉感知器官-复眼与人类相比，两只复眼的距离很近，复眼的空间分辨率很低，但是复眼对时域非常敏感。基于以上特点，飞行昆虫并不是利用双目立体视觉来进行导航的。Srinivasan教授对蜜蜂做了大量的实验，证明蜜蜂是通过两眼中图像速度即光流进行导航的。

根据飞行昆虫的视觉导航机理，以Nicolas Franceschini为首的研究小组花了数年时间研究苍蝇的视觉系统和它们是如何检测并利用光流的，然后在实验的基础上研制出能够在避开障碍物的过程中不断接近目标的轮式机器人“robot mouche”。Srinivasan所在的研究小组通过研究蜜蜂的视觉行为，发现蜜蜂通过平衡映射在两侧眼睛上图像运动的速度（光流）来调节它们的飞行方向。他们在装有一个摄像头和两面镜子的轮式机器人“Corridor-following robot”上验证了这个机制。后来Srinivasan研究小组的Sobey受到昆虫飞行灵感的启发，提出一种使基于视觉的机器人在混乱的环境中安全行走的算法，并研制出的另外一个机器人“Obstacle-avoiding robot”。Santos-Victor等人研发了一个基于光流的视觉系统robee，该系统模拟了蜜蜂的视觉行为，认为昆虫的眼睛长在两侧的优势就在于它们的导航机制是基于运动产生的特征,而不是深度信息。在robee中，一个分开的双目视觉方法被用于模仿蜜蜂的中心反射(Centering Reflex)。

以上基于光流的导航避障方法，都是模拟蜜蜂的中心策略，通过平衡左右视场的光流幅值使机器人避开障碍物。这种方法只能适应简单的类似走廊的环境，机器人能在这种环境中沿着走廊的中心线行走，并不能满足复杂环境中的避障。

发明内容

本发明的目的在于提供了一种基于光流的移动机器人避障方法，针对上述中出现的不足，本方法根据前后两帧图像的光流构建障碍地图，然后从障碍地图中确定机器人前进的最佳（安全）方向，从而指导机器人转向此方向前进。此方法可实现移动机器人在复杂充满障碍物的环境中安全、无目的地漫游。

为实现上述目的，本发明采用的技术方案为一种基于光流的移动机器人避障方法，如图1所示，该方法是按以下步骤实现的；

S1机器人开机启动，进行初始化。

S2赋予机器人速度V（0m/s-0.15m/s）（速度不可设置的太大，否则违反了光流计算中小运动的假设），让机器人以速度V匀速向正前方运动，获得前后两帧图像。

S3计算两帧图像的光流和整幅图像中所有像素点的光流幅值总和。

S4判断幅值总和是否超过阈值δ(阈值δ应根据速度调整，速度越大，应设置相对较大的阈值)；若是，转向步骤S5；若没有超过阈值，转向S2。

S5根据光流计算FOE(focus of expansion)和图像中每个像素点的TTC（time to contact）；具体步骤包括

S5.1选取图像中n个点的光流按下式利用最小二乘法计算FOE（为了减少计算误差，尽量多选取一些点，但为了兼顾运算速度，点数不可选取的过多）。

(c_x,c_y)^T＝(A^TA)^-1A^Tb

其中(c_x,c_y)^T是FOE(focus of expansion)的x、y坐标，

A = (\begin{matrix} v_{1} & - u_{1} \\ v_{2} & - u_{2} \\ . & . \\ . & . \\ . & . \\ v_{n} & - u_{n} \end{matrix}), b = (\begin{matrix} v_{1} x_{1} - u_{1} y_{1} \\ v_{2} x_{2} - u_{2} y_{2} \\ . \\ . \\ . \\ v_{n} x_{n} - u_{n} y_{n} \end{matrix});

其中u_n、v_n分别是选取的第n个像素点光流的水平和垂直分量，x_n、y_n是该像素点在图像平面的x和y坐标。

S5.2计算出FOE（focus of expansion）后，利用下式计算图像中每个像素点的TTC(time tocontact)，

{TTC}_{i} = \sqrt{\frac{{(x_{i} - c_{x})}^{2} + (y_{i} - c_{y})}{{u_{i}}^{2} + {v_{i}}^{2}}}

其中c_x、c_y是FOE的坐标，TTC_i是图像中第i个像素点的TTC，u_i、v_i是该点光流的水平和垂直分量，x_i、y_i是该点在图像平面的x和y坐标。

S6根据TTC（time to contact）构建障碍地图；构建障碍地图按以下步骤进行，

S6.1将整个图像平面分成宽度相等的N列，对每一列包含的所有像素点的TTC倒数求平均；利用产生的N个值构建障碍地图

障碍地图元素值的计算如下式

m_{o_{k}} = \frac{Σ_{(i, j) &Element; k} 1 / TTC (i, j)}{A_{k}}

其中，代表第k列的障碍地图元素值，k代表第k列，A_k表示该列包含的像素点总数，Σ_(i,j)∈k1TTC(i,j)是对第k列包含的所有像素点的TTC倒数求和；

S6.2将此障碍地图元素值归一化到范围[0,1]；

S7根据归一化的障碍地图确定机器人的最佳前进方向；其具体步骤为，

S7.1设置阈值τ（范围为0-0.5），提取障碍地图元素值小于τ的连续列作为候选的安全前进区域，并记下每个区域开始与结束列的位置；这样获得一个区域集R＝{r₁,r₂,...,r_M}，区域r_m表示第m个区域，并用该区域开始与结束的列表示r_m＝[S_m,E_m]，S_m表示开始的列，E_m表示结束的列。

S7.2对区域集R中的每一个区域，按下式计算该区域的权重。

W_{m} = Σ_{i = S_{m}}^{E_{m}} (1 - m_{o_{i}})

其中，W_m表示提取出的第m个区域r_m的权重，S_m、E_m分别是区域r_m开始和结束的列，是区域r_m包含的第i列的障碍地图值。

S7.3取权重最大的区域作为最佳前进区域r_n(n＝arg max W_m)，r_n表示最佳前进区域；并按下式计算该区域的局部形心作为最佳的前进方向，

D_{L} = \frac{Σ_{i = S_{n}}^{E_{n}} i \times (1 - m_{o_{i}})}{Σ_{i = S_{n}}^{E_{n}} (1 - m_{o_{i}})}

其中D_L表示最佳的前进方向，[S_n,E_n]分别表示最佳前进区域r_n开始与结束的列，i表示该区域r_n包含的第i列，

为该列的障碍地图元素值。

S7.4得出最佳前进方向之后，需要将其转化成旋转角度以便于对机器人进行控制；为此，首先将D_L归一化到范围[-1,1]；假设机器人的最大转角为θ（范围0-360°），则旋转角度α为：

α＝D_L·θ

S8机器人做加速度为-a的匀减速运动直到速度变为零；然后根据步骤S7.4得到的角度α控制机器人旋转相应的角度。旋转完成后，转向S2。

本发明公开了一种基于光流的移动机器人避障方法，该方法能适应复杂环境，根据单目摄像头获取的图像序列分析障碍物分布，选择最佳前进方向。运用此方法，机器人可以在未知的充满障碍物的环境中避开障碍物，无碰撞的行走。

附图说明

图1是基于光流的移动机器人避障方法的流程图。

图2是构建的虚拟3D环境图，环境中充满了障碍物。

图3为在虚拟环境中行走的某一时刻获取的两帧图像中的后一帧。

图4为在图3时刻构建的障碍地图。

图5为根据图4的障碍地图选取的最佳区域及最佳前进方向，其中方框表示最佳区域，方框内的竖线表示最佳前进方向。

具体实施方式

本实施例以前述的技术方案为前提，利用matlab虚拟现实工具箱搭建了一个充满障碍物的虚拟的3D环境，如图2、图3、图4、图5所示，按照图1所示的流程图进行实施，具体实施方案为：

S1机器人开机启动，进行初始化。

S2赋予机器人速度V（0m/s-0.15m/s）（速度不可设置的太大，否则违反了光流计算中小运动的假设），让机器人以速度V匀速向正前方运动，获得前后两帧图像。该实施例中，机器人速度V＝0.05m/s。

S3计算两帧图像的光流和整幅图像中所有像素点的光流幅值总和。该实施例中，采用HS算法计算光流，计算图像偏导数时采用的梯度算子依次为：

f_{x} = [\begin{matrix} - 1 & 1 \\ - 1 & 1 \end{matrix}], f_{y} = [\begin{matrix} - 1 & - 1 \\ 1 & 1 \end{matrix}],

f_t为前后两帧4点像素差，平滑约束的影响因子α＝1，邻域平均采用模板

h = [\begin{matrix} 1 / 12 & 1 / 6 & 1 / 12 \\ 1 / 6 & 0 & 1 / 6 \\ 1 / 12 & 1 / 6 & 1 / 12 \end{matrix}],

迭代次数λ＝20次。

S4判断幅值总和是否超过阈值δ(阈值δ应根据速度调整，速度越大，应设置相对较大的阈值)；若是，转向步骤S5；若没有超过阈值，转向S2。该实施例中，δ＝12500。

(c_x,c_y)^T＝(A^TA)^-1A^Tb

其中(c_x,c_y)^T是FOE(focus of expansion)的x、y坐标，

A = (\begin{matrix} v_{1} & - u_{1} \\ v_{2} & - u_{2} \\ . & . \\ . & . \\ . & . \\ v_{n} & - u_{n} \end{matrix}), b = (\begin{matrix} v_{1} x_{1} - u_{1} y_{1} \\ v_{2} x_{2} - u_{2} y_{2} \\ . \\ . \\ . \\ v_{n} x_{n} - u_{n} y_{n} \end{matrix});

其中u_n、v_n分别是选取的第n个像素点光流的水平和垂直分量，x_n、y_n是该像素点在图像平面的x和y坐标。该实施例中，每20×20的区域中取第一个像素点的光流计算FOE。

{TTC}_{i} = \sqrt{\frac{{(x_{i} - c_{x})}^{2} + (y_{i} - c_{y})}{{u_{i}}^{2} + {v_{i}}^{2}}}

障碍地图元素值的计算如下式

m_{o_{k}} = \frac{Σ_{(i, j) &Element; k} 1 / TTC (i, j)}{A_{k}}

其中，

代表第k列的障碍地图元素值，k代表第k列，A_k表示该列包含的像素点总数，Σ_(i,j)∈k1TTC(i,j)是对第k列包含的所有像素点的TTC倒数求和。该实施例中，将图像分成N=20列。

S6.2将此障碍地图元素值归一化到范围[0,1]。

S7.1设置阈值τ（范围为0-0.5），提取障碍地图元素值小于τ的连续列作为候选的安全前进区域，并记下每个区域开始与结束列的位置；这样获得一个区域集R＝{r₁,r₂,...,r_M}，区域r_m表示第m个区域，并用该区域开始与结束的列表示r_m＝[S_m,E_m]，S_m表示开始的列，E_m表示结束的列。该实施例中，设置阈值τ＝0.3。

S7.2对区域集R中的每一个区域，按下式计算该区域的权重。

W_{m} = Σ_{i = S_{m}}^{E_{m}} (1 - m_{o_{i}})

其中，W_m表示提取出的第m个区域r_m的权重，S_m、E_m分别是区域r_m开始和结束的列，

是区域r_m包含的第i列的障碍地图值。

D_{L} = \frac{Σ_{i = S_{n}}^{E_{n}} i \times (1 - m_{o_{i}})}{Σ_{i = S_{n}}^{E_{n}} (1 - m_{o_{i}})}

为该列的障碍地图元素值。

S7.4得出最佳前进方向之后，需要将其转化成旋转角度以便于对机器人进行控制；为此，首先将DL归一化到范围[-1,1]；假设机器人的最大转角为θ（范围0-360°），则旋转角度α为：

α＝D_L·θ

该实施例中，θ＝π/3。

S8机器人做加速度为-a的匀减速运动直到速度变为零；然后根据步骤S7.4得到的角度α控制机器人旋转相应的角度。旋转完成后，转向S2。该实施例中，-a＝0.05m/s²。

让机器人以上述方法在虚拟环境中漫游，在实验观察的5min内机器人可以安全地绕过障碍物，无碰撞的行走。证明了本发明方法的有效性。

Claims

1.一种基于光流的移动机器人避障方法，其特征在于，该方法是按以下步骤实现的，

S1机器人开机启动，进行初始化；

S2赋予机器人速度V，让机器人以速度V匀速向正前方运动，获得前后两帧图像；

S3计算两帧图像的光流和整幅图像中所有像素点的光流幅值总和；

S4判断幅值总和是否超过阈值δ；若是，转向步骤S5；若没有超过阈值，转向S2；

S5根据光流计算FOE和图像中每个像素点的TTC；具体步骤包括

S5.1选取图像中n个点的光流按下式利用最小二乘法计算FOE

(c_x,c_y)^T＝(A^TA)^-1A^Tb

其中(c_x,c_y)^T是FOE的x、y坐标，

A = (\begin{matrix} v_{1} & - u_{1} \\ v_{2} & - u_{2} \\ . & . \\ . & . \\ . & . \\ v_{n} & - u_{n} \end{matrix}), b = (\begin{matrix} v_{1} x_{1} - u_{1} y_{1} \\ v_{2} x_{2} - u_{2} y_{2} \\ . \\ . \\ . \\ v_{n} x_{n} - u_{n} y_{n} \end{matrix});

其中u_n、v_n分别是选取的第n个像素点光流的水平和垂直分量，x_n、y_n是该像素点在图像平面的x和y坐标；

S5.2计算出FOE后，利用下式计算图像中每个像素点的TTC，

{TTC}_{i} = \sqrt{\frac{{(x_{i} - c_{x})}^{2} + (y_{i} - c_{y})}{{u_{i}}^{2} + {v_{i}}^{2}}}

其中c_x、c_y是FOE的坐标，TTC_i是图像中第i个像素点的TTC，u_i、v_i是该点光流的水平和垂直分量，x_i、y_i是该点在图像平面的x和y坐标；

S6根据TTC构建障碍地图；构建障碍地图按以下步骤进行，

障碍地图元素值的计算如下式

m_{o_{k}} = \frac{Σ_{(i, j) &Element; k} 1 / TTC (i, j)}{A_{k}}

其中，

代表第k列的障碍地图元素值，k代表第k列，A_k表示该列包含的像素点总数，Σ_(i,j)∈k1TTC(i,j)是对第k列包含的所有像素点的TTC倒数求和；

S6.2将此障碍地图元素值归一化到范围[0,1]；

S7.1设置阈值τ，提取障碍地图元素值小于τ的连续列作为候选的安全前进区域，并记下每个区域开始与结束列的位置；这样获得一个区域集R＝{r₁,r₂,...,r_M}，区域r_m表示第m个区域，并用该区域开始与结束的列表示r_m＝[S_m,E_m]，S_m表示开始的列，E_m表示结束的列；

S7.2对区域集R中的每一个区域，按下式计算该区域的权重，

W_{m} = Σ_{i = S_{m}}^{E_{m}} (1 - m_{o_{i}})

是区域r_m包含的第i列的障碍地图值；

D_{L} = \frac{Σ_{i = S_{n}}^{E_{n}} i \times (1 - m_{o_{i}})}{Σ_{i = S_{n}}^{E_{n}} (1 - m_{o_{i}})}

为该列的障碍地图元素值；

S7.4得出最佳前进方向之后，需要将其转化成旋转角度以便于对机器人进行控制；为此，首先将D_L归一化到范围[-1,1]；假设机器人的最大转角为θ，则旋转角度α为，

α＝D_L·θ

S8机器人做加速度为-a的匀减速运动直到速度变为零；然后根据步骤S7.4得到的角度α控制机器人旋转相应的角度；旋转完成后，转向S2。