CN101852609A - 一种基于机器人双目立体视觉的地面障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于机器人双目立体视觉的地面障碍物检测方法，属于智能机器人技术领域。包括以下步骤：根据双目的基线长度和焦距，利用已知图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而初步判断该像素属于障碍物或是地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除虚假的障碍物；消除立体误差，建立栅格地图。该方法适用于室内各种复杂环境，针对不同的障碍物，都能达到精确识别，并且具有很高的实时性，为机器人实施避障提供了很好的准备条件。

Description

一种基于机器人双目立体视觉的地面障碍物检测方法

技术领域

本发明涉及一种设计系统，特别涉及一种基于机器人双目立体视觉的地面障碍物检测方法，属于智能机器人技术领域。

背景技术

在自主探索的过程中，避障是移动机器人必需的基本功能。目前绝大部分移动机器人采用距离传感器进行避障。虽然距离传感器可以提供精确的关于障碍物的距离-朝向信息，但是只能检测位于扫描平面上的障碍物，而视觉系统则可以为移动机器人提供丰富和实时的环境信息，因此得到了广泛的研究和应用。

避障算法通常由两部分组成：障碍物检测算法用来发现并估计障碍物的位置和形状；避障策略用来产生安全有效的运动控制量。本发明主要讨论前一部分：障碍物检测算法。在非结构化的环境中，基于立体视觉的障碍物检测通常依赖于视差图。使用地面的视差图作为参考的思想可以追溯至上世纪九十年代，与参考视差差异较大的像素将被分类为障碍物像素。文献(Sabe K，Fukuchi M，Gutmann J S，etal.Obstacle avoidance and path planning for humanoid robotsusing stereo vision[C].IEEE International Conference onRobotics and Automation.2004，1：592-597.)提出一个平面提取算子来寻找地面，将所有的视差转换为三维空间点并在点集上进行哈夫变换来定位地面。文献(Burschka D，Lee S，Hager G.Stereo-basedobstacle avoidance in indoor environments with active sensorre-calibration[C].IEEE International Conference on Roboticsand Automation.New York，2002：2066-2072.)提出估计地面视差的算法，将属于地面的视差像素从视差图中去除，剩余的视差像素则认为是障碍物。一般来说，这些方法依赖于密集的视差图，但是由于环境中存在多义场景，通过立体匹配得到的视差图一般较为稀疏。为了得到密集的视差图，文献(Dubbelman G，van der Mark W，van denHeuvel JC，et al.Obstacle detection during day and nightconditions using stereo vision[C].IEEE/RSJ InternationalConference on Intelligent Robots and Systems(IROS).2007：109-116.)提出由精到粗的选择机制估计并融合由多分辨率视差图像组成的金字塔。文献(Torres-Mendez L A，Dudek G.Statistics of Visual and Partial Depth Data for Mobile RobotEnvironment Modeling[C].Mexican International Conference onArtificial Intelligence(MICAI).2006.)使用Markov随机场学习已有的视差和亮度变化之间的关系，然后通过对稀疏视差图进行插值得到密集视差图。文献(Foggia P，Jolion J M，Limongiello A，etal.Stereo vision for obstacle detection：A graph-basedapproach[C].Graph-Based Representations in PatternRecognition.Berlin：Springer-Verlag Berlin，2007，4538：37-48.)将立体图像建模为由区域作为节点的图，通过寻找匹配的区域来实现立体匹配。上述方法在特定的条件下能取得理想的匹配效果，但是往往计算复杂度高或过多地采用经验假设。与设法取得密集的视差图不同，文献(Yoon S，Roh K S，Shim Y B.Vision-basedobstacle detection and avoidance：Application to robust indoornavigation of mobile robots[J].Advanced Robotics，2008，22(4)：477-492.)使用代数投影不变量来确定左右图像中的匹配对，如果匹配像素的颜色差值较大则认为相应的场景点属于障碍物。文献(段华，赵东标.基于立体视觉的移动机器人动态避障方法[J].机械科学与技术，2006，25(6)：631-634.)对障碍物区域进行局部视差连续性约束下的相似性匹配，构造障碍物的最大包围盒投影到地面。文献(Caraffi C，Cattani S，Gri sleri P.Off-road path and obstacledetection using decision networks and stereo vision[J].IEEETransactions on Intelligent Transportation Systems，2007，8(4)：607-618.)则使用V视差图提取地面并使用片估计定位障碍物。

本发明应用的启发式合并规则、菱形误差模型和三角分布规则，请参考文献(张广军.机器视觉.科学出版社，2005)

发明内容

本发明的目的是为解决目前使用立体视觉建立栅格地图的方法存在计算量大和环境信息不完整的问题，而提供一种基于机器人双目立体视觉的地面障碍物检测方法，通过对获取的图像进行地面视差分布分析，辨别出图像中的地面和障碍物，最后控制机器人实施避障。

本发明的目的是通过以下技术方案实现的：

本发明的一种基于机器人双目立体视觉的地面障碍物检测方法，采用双目立体视觉传感器，在双目基线与地面平行条件下，具体检测步骤如下：

1)对获取的图像进行视差分布分析

假设获取图像中的地面为平面，则该平面点上的视差值D通过下式获得：

$D=\frac{\mathrm{Bf}}{h}\frac{\cos (\mathrm{\α}-\mathrm{\β})}{\cos \mathrm{\β}}$

其中α是双目立体视觉传感器的光轴(摄像头焦点与成像平面的垂线)相对于地面的俯角，β是双目立体视觉传感器的光轴(摄像头焦点与摄像头镜头的垂线)和实测点之间的夹角，h是双目立体视觉传感器的摄像头中心离地面的高度，B和f分别为双目基线的长度和焦距，所述的双目基线是指双目立体视觉传感器中两个摄像头中心点之间的连线；

2)建立地面-障碍物视差彩色标注图

a)设定地面识别高度h_TH，h_TH取值范围为30cm～100cm，则地面识别差值范围D₂通过下式获得：

$D_2\∈\left[\begin{array}{cc}\frac{\mathrm{Bf}}{\mathrm{Bf}/D_1+d^{\′}}& \frac{\mathrm{Bf}}{\mathrm{Bf}/D_1-d^{\′}}\end{array}\right]$

其中：

$d^{\′}=\frac{h_{\mathrm{TH}}}{\cos (\mathrm{\α}-\mathrm{\β})}\cos \mathrm{\β};$

D₁为实际获取的图像上任意一点的像素的视差值，D₁可通过步骤1)的公式算出，当D₁的值在D₂区间内时，认为D₁点是地面像素，当D₁的值在D₂区间外时，认为D₁点是障碍物像素，对实际获取的图像上的所有点进行上述的地面-障碍物判断，从而建立地面-障碍物视差标注图；

b)对地面-障碍物视差标注图进行着色，将地面像素标注为颜色1，将障碍物像素标注为颜色2；所选取的颜色1与颜色2的RGB三元素值均小于150，且颜色1与颜色2的RGB各元素值之差均大于100，对无效像素区域和高亮区域不进行着色，得到地面-障碍物视差彩色标注图；

其中，无效像素区域是一种在双目立体视觉传感器的左右两个摄像头不能协调对应起来的像素区域；高亮区域是指摄像头直接拍摄的图像中RGB三元素值均大于200的像素所组成的区域，在图像中呈现高亮刺眼状；

3)地面-障碍物视差彩色标注图的后处理

a)对步骤2)得到的地面-障碍物视差彩色标注图再次进行彩色标注，标注规则为：对地面像素标注为颜色3，障碍物为颜色4；并且将无效像素区域在摄像头直接拍摄的图像中显示的像素与步骤2)已标注的地面像素在摄像头直接拍摄的图像中显示的像素进行RGB三元素值对应相减，当各元素值之差均小于5时，将该无效像素区域标注为颜色3，当任意元素值之差均大于5时，将该无效像素区域标注为颜色4，得到地面-障碍物视差二次彩色标注图；所选取的颜色3与颜色4的RGB三元素值均小于150，且颜色3与颜色4的RGB各元素值之差均大于100；

b)通过启发式合并规则，把该地面-障碍物视差二次彩色标注图与步骤2)的地面-障碍物视差彩色标注图进行融合，形成最终的地面-障碍物视差彩色标注结果图；

4)建立占据概率-栅格地图

a)对步骤3)获得的地面-障碍物视差彩色标注结果图采用三角分布规则得出该图上任意像素点的占据概率值，得到占据概率分布图；

b)同时对步骤3)获得的地面-障碍物视差彩色标注结果图中任意像素P点建立菱形误差模型，得到其误差点P₁，P₂，P₃，和P₄，将误差点P₁，P₂，P₃，和P₄竖直投影成二维图像，将投影点记为P′₁，P′₂，P′₃和P′₄，并对投影点建立的二维坐标，将P′₂和P′₄之间的距离作为栅格的宽度H，栅格的长度L由通过下式确定，即：

$L=\frac{P_{3.x}^{\′}-P_{1.x}^{\′}}{S}$

其中，S为根据双目立体视觉传感器摄像机的固有参数确定的范围因子，S的取值范围为0.1～5；P′_3，x为P′₃点在二维坐标中的横坐标，P′_1，x为P′₁点在二维坐标中的横坐标；

c)在步骤3)获得的地面-障碍物视差彩色标注结果图上建立长为L、宽为H的栅格，将每个栅格中所包含的像素点的占据概率值赋值给该栅格，记为F′；

d)对每个栅格的占据概率值F′进行增益调整，调整方法如下式：

F＝F′+f

其中，F为每个栅格增益调整后的占据概率值，f为增益因子，当该栅格对应的点为障碍物像素时，则f取值范围为0.1～0.5；当该栅格对应的点为地面像素时，则f取值范围为-0.5～-0.1；

5)结果判断

对每个栅格对应的增益调整后的占据概率值F进行判断，

当F大于等于0.8时，判断该栅格为障碍物；

当F小于等于0.2时，判断该栅格为地面；

当F为0.2～0.8时，该栅格为无效像素区域或高亮区域，不做判断。

有益效果

本发明基于双目立体视觉传感器，针对目前使用立体视觉建立栅格地图的方法存在计算量大和环境信息不完整的问题，提出基于地面视差分布建立栅格地图的方法，主要是通过在视差图和彩色图像中进行像素标注并融合标注结果，进而将图像中像素分类为障碍物或地面像素。本发明提出了统一的投影模型，通过使用不同的参数值将障碍物像素和地面像素投影到栅格图中，从而快速得到环境信息的完整栅格地图，最后检测出障碍物。本发明提出的障碍物检测方法可以适用于室内各种复杂环境，针对不同的障碍物，都能达到精确识别，为机器人实施避障提供了很好的准备条件。本发明利用双目立体视觉的障碍物检测方法，解决了一般机器人避障过程中的障碍物检测实时性问题，并且使机器人以较低的负载，较少的能耗实现了障碍物检测，本发明真正做到了以有限的代价获得较高实时性的检测性能。

附图说明

图1-本发明的成像几何示意图；

图2-本发明的立体误差模型；

图3-本发明的障碍物投影模型。

具体实施方式

下面结合附图和实施例对本发明做进一步说明：

本发明的一种基于机器人双目立体视觉的地面障碍物检测方法，采用双目立体视觉传感器，在双目基线与地面平行条件下，具体检测步骤如下：

1)对获取的图像进行视差分布分析

假设获取图像中的地面为平面，则该平面点上的视差值D通过下式获得：

$D=\frac{\mathrm{Bf}}{h}\frac{\cos (\mathrm{\α}-\mathrm{\β})}{\cos \mathrm{\β}}$

其中α是双目立体视觉传感器的光轴(摄像头焦点与成像平面的垂线)相对于地面的俯角，β是双目立体视觉传感器的光轴(摄像头焦点与摄像头镜头的垂线)和实测点之间的夹角，h是双目立体视觉传感器的摄像头中心离地面的高度，B和f分别为双目基线的长度和焦距，所述的双目基线是指双目立体视觉传感器中两个摄像头中心点之间的连线；

2)建立地面-障碍物视差彩色标注图

a)设定地面识别高度h_TH，h_TH取值范围为30cm～100cm，则地面识别差值范围D₂通过下式获得：

$D_2\∈\left[\begin{array}{cc}\frac{\mathrm{Bf}}{\mathrm{Bf}/D_1+d^{\′}}& \frac{\mathrm{Bf}}{\mathrm{Bf}/D_1-d^{\′}}\end{array}\right]$

其中：

$d^{\′}=\frac{h_{\mathrm{TH}}}{\cos (\mathrm{\α}-\mathrm{\β})}\cos \mathrm{\β};$

D₁为实际获取的图像上任意一点的像素的视差值，D₁可通过步骤1)的公式算出，当D₁的值在D₂区间内时，认为D₁点是地面像素，当D₁的值在D₂区间外时，认为D₁点是障碍物像素，对实际获取的图像上的所有点进行上述的地面-障碍物判断，从而建立地面-障碍物视差标注图；

b)对地面-障碍物视差标注图进行着色，将地面像素标注为颜色1，将障碍物像素标注为颜色2；所选取的颜色1与颜色2的RGB三元素值均小于150，且颜色1与颜色2的RGB各元素值之差均大于100，对无效像素区域和高亮区域不进行着色，得到地面-障碍物视差彩色标注图；

其中，无效像素区域是一种在双目立体视觉传感器的左右两个摄像头不能协调对应起来的像素区域；高亮区域是指摄像头直接拍摄的图像中RGB三元素值均大于200的像素所组成的区域，在图像中呈现高亮刺眼状；

3)地面-障碍物视差彩色标注图的后处理

a)对步骤2)得到的地面-障碍物视差彩色标注图再次进行彩色标注，标注规则为：对地面像素标注为颜色3，障碍物为颜色4；并且将无效像素区域在摄像头直接拍摄的图像中显示的像素与步骤2)已标注的地面像素在摄像头直接拍摄的图像中显示的像素进行RGB三元素值对应相减，当各元素值之差均小于5时，将该无效像素区域标注为颜色3，当任意元素值之差均大于5时，将该无效像素区域标注为颜色4，得到地面-障碍物视差二次彩色标注图；所选取的颜色3与颜色4的RGB三元素值均小于150，且颜色3与颜色4的RGB各元素值之差均大于100；

b)通过启发式合并规则，把该地面-障碍物视差二次彩色标注图与步骤2)的地面-障碍物视差彩色标注图进行融合，形成最终的地面-障碍物视差彩色标注结果图；

4)建立占据概率-栅格地图

a)对步骤3)获得的地面-障碍物视差彩色标注结果图采用三角分布规则得出该图上任意像素点的占据概率值，得到占据概率分布图；

b)同时对步骤3)获得的地面-障碍物视差彩色标注结果图中任意像素P点建立菱形误差模型，得到其误差点P₁，P₂，P₃，和P₄，将误差点P₁，P₂，P₃，和P₄竖直投影成二维图像，将投影点记为P′₁，P′₂，P′₃和P′₄，并对投影点建立的二维坐标，将P′₂和P′₄之间的距离作为栅格的宽度H，栅格的长度L由通过下式确定，即：

$L=\frac{P_{3.x}^{\′}-P_{1.x}^{\′}}{S}$

其中，S为根据双目立体视觉传感器摄像机的固有参数确定的范围因子，S的取值范围为0.1～5；P′_3，x为P′₃点在二维坐标中的横坐标，P′_1，x为P′₁点在二维坐标中的横坐标；

c)在步骤3)获得的地面-障碍物视差彩色标注结果图上建立长为L、宽为H的栅格，将每个栅格中所包含的像素点的占据概率值赋值给该栅格，记为F′；

d)对每个栅格的占据概率值F′进行增益调整，调整方法如下式：

F＝F′+f

其中，F为每个栅格增益调整后的占据概率值，f为增益因子，当该栅格对应的点为障碍物像素时，则f取值范围为0.1～0.5；当该栅格对应的点为地面像素时，则f取值范围为-0.5～-0.1；

5)结果判断

对每个栅格对应的增益调整后的占据概率值F进行判断，

当F大于等于0.8时，判断该栅格为障碍物；

当F小于等于0.2时，判断该栅格为地面；

当F为0.2～0.8时，该栅格为无效像素区域或高亮区域，不做判断。

本发明应用的启发式合并规则、菱形误差模型和三角分布规则，请参考文献(张广军.机器视觉.科学出版社，2005)

最终本发明成功地实现了障碍物和地面实时地融合到栅格地图上，为下一步的机器人避障做好了准备。

Claims (1)

1.一种基于机器人双目立体视觉的地面障碍物检测方法，其特征在于：采用双目立体视觉传感器，在双目基线与地面平行条件下，具体检测步骤如下：

1)对获取的图像进行视差分布分析

假设获取图像中的地面为平面，则该平面点上的视差值D通过下式获得：

$D=\frac{\mathrm{Bf}}{h}\frac{\cos (\mathrm{\α}-\mathrm{\β})}{\cos \mathrm{\β}}$

其中α是双目立体视觉传感器的光轴相对于地面的俯角，β是双目立体视觉传感器的光轴和实测点之间的夹角，h是双目立体视觉传感器的摄像头中心离地面的高度，B和f分别为双目基线的长度和焦距，所述的双目基线是指双目立体视觉传感器中两个摄像头中心点之间的连线；

2)建立地面-障碍物视差彩色标注图

a)设定地面识别高度h_TH，h_TH取值范围为30cm～100cm，则地面识别差值范围D₂通过下式获得：

$D_2\∈\left[\begin{array}{cc}\frac{\mathrm{Bf}}{\mathrm{Bf}/D_1+d^{\′}}& \frac{\mathrm{Bf}}{\mathrm{Bf}/D_1-d^{\′}}\end{array}\right]$

其中：

$d^{\′}=\frac{h_{\mathrm{TH}}}{\cos (\mathrm{\α}-\mathrm{\β})}\cos \mathrm{\β};$

D₁为实际获取的图像上任意一点的像素的视差值，D₁可通过步骤1)的公式算出，当D₁的值在D₂区间内时，认为D₁点是地面像素，当D₁的值在D₂区间外时，认为D₁点是障碍物像素，对实际获取的图像上的所有点进行上述的地面-障碍物判断，从而建立地面-障碍物视差标注图；

b)对地面-障碍物视差标注图进行着色，将地面像素标注为颜色1.将障碍物像素标注为颜色2；所选取的颜色1与颜色2的RGB三元素值均小于150，且颜色1与颜色2的RGB各元素值之差均大于100，对无效像素区域和高亮区域不进行着色，得到地面-障碍物视差彩色标注图；

其中，无效像素区域是一种在双目立体视觉传感器的左右两个摄像头不能协调对应起来的像素区域；高亮区域是指摄像头直接拍摄的图像中RGB三元素值均大于200的像素所组成的区域，在图像中呈现高亮刺眼状；

3)地面-障碍物视差彩色标注图的后处理

a)对步骤2)得到的地面-障碍物视差彩色标注图再次进行彩色标注，标注规则为：对地面像素标注为颜色3，障碍物为颜色4；并且将无效像素区域在摄像头直接拍摄的图像中显示的像素与步骤2)已标注的地面像素在摄像头直接拍摄的图像中显示的像素进行RGB三元素值对应相减，当各元素值之差均小于5时，将该无效像素区域标注为颜色3，当任意元素值之差均大于5时，将该无效像素区域标注为颜色4，得到地面-障碍物视差二次彩色标注图；所选取的颜色3与颜色4的RGB三元素值均小于150，且颜色3与颜色4的RGB各元素值之差均大于100；

b)通过启发式合并规则，把该地面-障碍物视差二次彩色标注图与步骤2)的地面-障碍物视差彩色标注图进行融合，形成最终的地面-障碍物视差彩色标注结果图；

4)建立占据概率-栅格地图

a)对步骤3)获得的地面-障碍物视差彩色标注结果图采用三角分布规则得出该图上任意像素点的占据概率值，得到占据概率分布图；

b)同时对步骤3)获得的地面-障碍物视差彩色标注结果图中任意像素P点建立菱形误差模型，得到其误差点P₁，P₂，P₃，和P₄，将误差点P₁，P₂，P₃，和P₄竖直投影成二维图像，将投影点记为P′₁，P′₂，P′₃和P′₄，并对投影点建立的二维坐标，将P′₂和P′₄之间的距离作为栅格的宽度H，栅格的长度L由通过下式确定，即：

$L=\frac{P_{3.x}^{\′}-P_{1.x}^{\′}}{S}$

其中，S为根据双目立体视觉传感器摄像机的固有参数确定的范围因子，S的取值范围为0.1～5；P′_3，x为P′₃点在二维坐标中的横坐标，P′_1，x为P′₁点在二维坐标中的横坐标；

c)在步骤3)获得的地面-障碍物视差彩色标注结果图上建立长为L、宽为H的栅格，将每个栅格中所包含的像素点的占据概率值赋值给该栅格，记为F′；

d)对每个栅格的占据概率值F′进行增益调整，调整方法如下式：

F＝F′+f

其中，F为每个栅格增益调整后的占据概率值，f为增益因子，当该栅格对应的点为障碍物像素时，则f取值范围为0.1～0.5；当该栅格对应的点为地面像素时，则f取值范围为-0.5～-0.1；

5)结果判断

对每个栅格对应的增益调整后的占据概率值F进行判断，

当F大于等于0.8时，判断该栅格为障碍物；

当F小于等于0.2时，判断该栅格为地面；

当F为0.2～0.8时，该栅格为无效像素区域或高亮区域，不做判断。

Images