CN100468265C - 一种复合式视觉导航方法与装置 - Google Patents

Abstract

本发明提出一种复合式的传感器装置，将结构光传感器和立体视觉传感器这两类性能不同的传感器相结合，结构简单，费用低廉。本发明同时公开了一种复合式视觉导航方法，将全局和局部功能模块有机地结合，充分利用了两种视觉方法的长处，各自构成独立的路径规划系统模块，实现移动机器人更可靠地导航，引导机器人在未知环境下从起始出发点自主运动至目标点。

Description

一种复合式视觉导航方法与装置

技术领域

本发明涉及一种机器人视觉导航领域，尤其涉及一种复合式视觉导航方法和装置。

背景技术

随着自主机器人技术的快速发展以及其应用领域的不断拓展，人们对机器人感知环境的能力提出了更高的要求。早期的机器人以声纳、激光测距仪和红外传感器为主要的外部传感器，而近些年来视觉传感器以其探测范围宽、信息容量大和成本逐步下降等优势，在机器人导引/导航中受到了越来越高的重视。

应用于机器人导航/导引的视觉传感器有两种常见形式：结构光视觉传感器和立体视觉传感器。结构光视觉传感器采用一种主动式的传感方法，不存在立体匹配问题，适合应用在近距离的障碍物探测，速度快而且精度高。相反，立体视觉传感器是一种被动式的传感方法，具有更深更广的探测范围，但由于遮挡和缺乏纹理等问题带来的立体匹配难题，至今未能很好地解决。而且运算量较大，实现实时性的难度较大。

这两种视觉传感器均可应用于移动机器人视觉导航。结构光视觉传感器尽管优势明显，但由于只能探测到小范围的环境，因而机器人只能根据传感器信息做出避障运动规划，也就是局部规划。由美国运输研究会(TRC)研制的Helpmate机器人是一个自主式运送系统，主要在医院等场所完成传递医疗记录、诊断样品等任务，该系统采用结构光视觉方式，实现躲避行人和障碍物。局部规划常见的问题是容易陷入“死锁”，甚至不能到达目标；立体视觉传感器所观测的范围较广，因而在此基础上的全局路径规划成为可能。但得到的环境信息是以观察者为中心的2.5-D信息，而且难免出现视觉遮挡和立体误匹配问题。因此，由基于立体视觉的单次离线规划是不可靠的，在机器人运动过程中，必须根据探测的新信息做出重新规划，而这又受到立体视觉实时性的制约。立体视觉已经应用于美国的火星车“机遇号”和“勇气号”，但是某些情况下还需要地球上地面指挥人员的遥控操作。

国外的学者相继提出一些组合式的导航策略。常规的“感知-建模-规划-行为”是一种“慎思”式的导航方法，该方法经过了自上而下的推理，能够实现高层次的智能行为，但是对环境的变化反应不够灵敏。与之截然不同的是，Brooks在他的包容式体系结构中提出了一种“行为”式的方法，它将机器人的行为划分为若干小的功能模块，如“停车、跟踪、漫游、避障”等，每个模块实现传感器信息与机器人动作间的一种映射，机器人的最终行为由各行为模块之间的竞争实现。但是，这种单纯的“反应式行为”很难达到最佳的导航效果，而且极易陷入“死锁”。

在“Global and regional path planners for integrated planning and navigation”(A.Howard，2005)等文献中报道了将两种方式相结合的导航方法。

卡耐基-梅隆大学提出了一种全局和局部规划组合式的导航方法，但是仅以激光测距仪这一种昂贵的外部传感器探测环境，无法广泛应用，具体报道可参考文献“Complete navigation system for goal acquisition in unknownenvironments”(A.Stentz，1995)。

发明内容

有鉴于此，本发明的主要目的在于提供一种复合式视觉导航方法，可以实现移动机器人更可靠地导航，简单实用，易于实现。

本发明的另一目的在于提供一种复合式视觉导航装置，结构简单，费用低廉。

为达到上述目的，本发明的技术方案是这样实现的：

一种复合式视觉导航装置，由CCD摄像机、激光器、机械支架组成，整个装置由两部分结合而成：一个CCD摄像机和一个激光器构成结构光视觉传感器，用以进行局部路径规划；三个CCD摄像机构成三目立体视觉传感器，用以进行全局路径规划。

较佳地，该装置中CCD摄像机和激光器具有偏航和俯仰两个方向的旋转自由度，用以调节视觉传感器的位姿。

较佳地，在结构光视觉传感器的CCD摄像机前安装一中心波长与激光器相对应的干涉滤光片。

较佳地，所述干涉滤光片为窄带通干涉滤光片。

一种复合式视觉导航方法，基于上述的装置，该方法包括以下步骤：

a、启动三目立体视觉传感器，进行全局规划：规划出从当前点到目标点的最优路径；

b、启动结构光视觉传感器，在跟踪全局路径或向当前子目标运动的过程中，探测是否存在与全局规划不一致的环境信息；

若没探测到，则继续按全局路径前进，若探测到，利用局部规划进行避障，避障过程仍以全局规划中的当前子目标为目标点；

在两种视觉方法探测到严重不一致的情况致使不能达到当前子目标点时，返回步骤a：启动三目立体视觉传感器重新进行全局路径规划，做出从当前位置到目标点的最优路径规划；

c、判断到达的当前子目标是否是全局目标，若到达的当前子目标是全局目标，导航流程结束，若到达的当前子目标不是全局目标，返回步骤b：将下一个子目标确定为当前子目标，继续向子目标运动并探测是否存在与全局规划不一致的环境信息。

较佳地，步骤a进一步包括，建立环境的可视图模型进行全局规划。

较佳地，所述的环境的可视图模型为环境的栅格—可视图模型。

本发明提供的复合式视觉导航方法和装置具有如下优点和特点：

1、由结构光视觉传感器和立体视觉传感器结合构成，结构简单，费用低廉。

2、充分利用了两种视觉传感器的优点，将全局路径规划和局部路径规划结合起来，相得益彰，更好地解决了机器人的视觉导航问题，实现移动机器人更可靠地导航，引导机器人在未知环境下准确地从起始出发点自主运动至目标点，方法简单，易于实现。

附图说明

图1为本发明一种复合式视觉导航装置的示意图；

图2为本发明一种复合式视觉导航方法的总体流程图；

图3为机器人导航场景示意图；

图4为全局路径规划示意图；

图5为全局指导下的机器人实际运动路径图；

图6为未经全局指导下的机器人实际运动路径图。

具体实施方式

下面结合附图对本发明再作进一步详细的说明。

本发明一种复合式视觉导航装置，如图1所示，左侧虚线框内为CCD摄像机23和激光器22组成的结构光视觉传感器10，用以进行局部路径规划；为突出激光光条的视觉特征，提高信噪比，在CCD摄像机23前安装有一中心波长与激光器相对应的干涉滤光片25，干涉滤光片25可为窄带通干涉滤光片；右侧虚线框内为三个相同的CCD摄像机构成的三目立体视觉传感器11，用以进行全局路径规划；上述各个CCD摄像机和激光器具有偏航和俯仰两个方向的旋转自由度，用以调节视觉传感器的位姿。结构光传感器10和三目立体视觉传感器11安放在机械支架21上。结构光传感器10和三目立体视觉传感器11组合构成本装置。

本发明一种复合式视觉导航方法，如图2所示，该方法包括以下步骤：

步骤301：启动三目立体视觉传感器；

步骤302：立体视觉传感器获取场景的三目图像，根据立体匹配方法，得到场景的深度图像，继而根据已标定的数学模型重构出三维场景；

如何得到场景的深度图像，并重构三维场景，现有技术中已有多种解决方案，在此不再赘述。

步骤303：机器人根据重构的结果，建立环境的可视图模型，从而进行全局路径规划：根据A^*最优搜索方法规划出从当前点到目标点的最优路径，这里的最优路径是一系列顺次联结的直线段，其首末端点成为路径上的关键路点(waypoint)或称子目标点(subgoal)。A^*算法可参考“Path planning for a mobilerobot”(C.Alexopoulos，1992)，在此不再详述。

上述的环境的可视图模型可以是环境的栅格—可视图模型。在该模型上，所有栅格划归两类属性，一类是被障碍物占有的栅格，另一类是自由的、未被占有的栅格。对于步骤302中立体视觉的重构数据，通过一种形态学方法(参考《图像理解与计算机视觉》，章毓晋，2000)在栅格地图上生成各个障碍物区域的最小多边形凸包，在此基础上得到环境的栅格-可视图模型，各凸多边形顶点组成A^*算法的搜索空间，全局路径规划的结果就是联结一系列多边形顶点的直线段序列。

有关栅格地图的创建方法可参考“High resolution maps from wide anglesonar”(H.P.Moravec，1985)，关于可视图的概念参考“Path planning for a mobilerobot”(C.Alexopoulos，1992)，在此不再赘述。

步骤304：启动结构光视觉传感器。

步骤305：确定当前子目标，并向所确定的当前子目标运动，这里所述的当前子目标为：在全局路径规划中，当前所要到达的子目标。

步骤306：判断结构光视觉传感器是否探测到新的障碍物：如探测到新的障碍物，则执行步骤307，如未探测到新的障碍物，则继续跟踪全局路径向当前子目标运动，执行步骤309。

这里判断是否探测到新的障碍物的方法为：结构光视觉传感器继续对周围的环境进行探测，并将当前时刻、当前位置局部坐标系下的三维数据映射到栅格地图上。若此时映射到的栅格单元对应可视图中的“占有”部分，说明两视觉传感器探测到的环境信息一致，此栅格单元保持原有“被占有”的属性；反之，若映射到的栅格单元对应可视图中的“自由”部分，说明两视觉传感器探测到的环境信息不一致(产生这种不一致的原因有：立体遮挡，误匹配，最新出现的动态障碍物等)，此栅格单元更改原有属性。

步骤307：进行局部规划避障：采用矢量场直方图法(VFH，Vector FieldHistogram)进行有效避障，避障过程仍以全局规划的下一个目标点为当前子目标向前运动，VFH算法可参考“The vector field histogram-fast obstacle avoidancefor mobile robots”(J.Borenstein，1991)，在此不再赘述。

步骤308：根据局部路径规划的结果，判断是否确认不能够到达当前子目标点。

当两种视觉方法探测到严重不一致的情况，确认不能到达当前子目标点时，返回步骤301：启动立体视觉传感器重新进行全局路径规划，做出从当前位置到全局目标点的最优路径规划。

如未确认不能到达子目标，则返回步骤306，按照局部路径规划继续向当前子目标运动且结构光传感器继续对周围环境进行探测。

步骤309：判断是否到达当前子目标，如达到当前子目标，执行步骤310，如未到达当前子目标，返回步骤306，结构光传感器继续对周围环境进行探测。

步骤310：判断所达到的当前子目标是否为全局目标，如到达全局目标，流程结束；如未到达全局目标，返回步骤305：重新确定当前子目标，即将下一子目标确定为当前子目标，并向所确定的当前子目标运动。

这里判断是否到达当前子目标、判断所到达的当前子目标是否为全局目标，可根据前述建立的环境的可视图模型中包括的目标点信息进行判断。

下面再以一具体实施例来说明本发明。

在如图3所示的场景下对机器人的导航性能进行了测试，场地范围约为10m×4m，共有A、B、C、D、E、F六个固定障碍物，G为机器人出发后在其运动轨迹上另外放置的一个障碍物。如图4所示，以机器人出发点为坐标原点，建立环境坐标系。在该位置处由立体视觉三维数据构建栅格-可视图，并进行全局路径规划。注意到，障碍物F被障碍物C完全遮挡，因而立体视觉感知的环境信息并不充分，全局路径也并非完全可靠。

机器人将上述规划结果传递至局部运动模块，接下来机器人跟踪此全局路径，并启动结构光视觉传感器探测环境。在从出发点到子目标点的运动过程中，如图5所示，在机器人的运动轨迹上放置另外一个障碍物G，该障碍物被结构光视觉所感知，因此机器人修正原有的路径，绕开障碍物G并到达子目标点。在穿越障碍物A～E的过程中，没有出现新的障碍物，结构光视觉探测到与全局规划下的栅格-可视图一致的环境信息，因而机器人简单地跟踪路径。此后，结构光视觉探测到由于遮挡而未被立体视觉所探测的障碍物F，因此机器人再次修改路径，并最终到达目标点。若省去全局路径规划，仅启动结构光视觉传感器和局部规划模块，机器人也能躲避障碍物并到达目标，运动轨迹如图6所示。对实验结果进行比较可以看出，全局指导下的路径规划明显优于未经全局指导的单纯局部运动规划的结果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1、一种复合式视觉导航装置，由CCD摄像机、激光器、机械支架组成，其特征在于，整个装置由两部分结合而成:一个CCD摄像机和一个激光器构成结构光视觉传感器，用以进行局部路径规划；三个CCD摄像机构成三目立体视觉传感器，用以进行全局路径规划。

2、根据权利要求1所述的装置，其特征在于，其中CCD摄像机和激光器具有偏航和俯仰两个方向的旋转自由度，用以调节视觉传感器的位姿。

3、根据权利要求1或2所述的装置，其特征在于，在结构光视觉传感器的CCD摄像机前安装一中心波长与激光器相对应的干涉滤光片。

4、根据权利要求3所述的装置，其特征在于，所述干涉滤光片为窄带通干涉滤光片。

5、一种复合式视觉导航方法，基于权利要求1所述的装置，其特征在于，该方法包括以下步骤:

a、启动三目立体视觉传感器，进行全局规划:规划出从当前点到目标点的最优路径；

b、启动结构光视觉传感器，在跟踪全局路径或向当前子目标运动的过程中，探测是否存在与全局规划不一致的环境信息；

若没探测到，则继续按全局路径前进，若探测到，利用局部规划进行避障，避障过程仍以全局规划中的当前子目标为目标点；

在两种视觉方法探测到严重不一致的情况致使不能达到当前子目标点时，返回步骤a:启动三目立体视觉传感器重新进行全局路径规划，做出从当前位置到目标点的最优路径规划；

c、判断到达的当前子目标是否是全局目标，若到达的当前子目标是全局目标，导航流程结束，若到达的当前子目标不是全局目标，返回步骤b:将下一个子目标确定为当前子目标，继续向子目标运动并探测是否存在与全局规划不一致的环境信息。

6、根据权利要求5所述的方法，其特征在于，步骤a进一步包括，建立环境的可视图模型进行全局规划。

7、根据权利要求6所述的方法，其特征在于，所述的环境的可视图模型为环境的栅格一可视图模型。

Images