CN106650701B - 基于双目视觉的室内阴影环境下障碍物检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于双目视觉的室内阴影环境下障碍物检测方法，采用双目视觉系统，包括步骤：（1）消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差；（2）利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域；（3）运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，计算出中心点三维坐标及障碍物的宽度和距离。本发明还公开了一种基于双目视觉的室内阴影环境下障碍物检测装置。本发明在室内阴影环境下能够完整的提取障碍物，简单高效且具有较好的实时性和精度，适于移动机器人导航避障。

Description

基于双目视觉的室内阴影环境下障碍物检测方法及装置

技术领域

本发明属于计算机视觉领域，主要是障碍物检测和双目测量，具体涉及一种基于双目视觉的室内阴影环境下障碍物检测方法及装置。

背景技术

近年来，随着计算机、机器人技术的发展，机器视觉被广泛应用于智能制造、人工智能和工业生产当中。基于视觉指导的移动机器人自主导航成为研究的热门课题，而地面障碍物检测和测量是机器人自主导航避障的关键和基础。但由于光照不均和物体遮挡会在障碍物周边产生阴影，影响障碍物轮廓的提取和后续的测量工作。传统的阴影消除算法在消除阴影时减小了地面与障碍物的灰度差，使得后续障碍物无法准确提取，且算法参数需要手动设置缺乏对环境的自适应性。基于稠密匹配的视差计算方法，在障碍物测量时计算量大且存在较大误差和冗余信息，无法达到实时性和准确性要求。因此，在室内阴影环境下如何简单、高效的准确提取和测量障碍物信息，在移动机器人自主导航避障中有着重大意义。

发明内容

本发明的目的在于克服阴影环境下障碍物检测的不足，满足现有的准确性、实时性需求，提供一种基于双目视觉的室内阴影环境下障碍物检测方法及装置，实现在室内阴影环境下完整的提取障碍物轮廓，并利用提取到的轮廓在右相机图像中匹配计算视差，能够快速的计算出障碍物的宽度和距离，从而为移动机器人避障、轨迹规划提供基础。

为此，本发明采用如下技术方案：

一种基于双目视觉的室内阴影环境下障碍物检测方法，采用双目视觉系统，包括步骤：

(1)通过单尺度Retinex算法消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差，将障碍物区分出来；

(2)利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域，并求取其外接矩形；

(3)运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，根据相似三角形原理计算出中心点的三维坐标及障碍物的宽度和距离信息。

进一步地，所述步骤(1)具体是通过提取图像的色彩饱和度信息，根据图像亮度信息确定权重并归一化，利用该权重把阴影消除后图像与色彩饱和度图像进行融合，自适应的消除阴影和增强地面与障碍物灰度差，利于后续障碍物检测。

进一步地，所述步骤(2)具体是利用视野底端一般不存在障碍物的先验知识，在图像最后一行中间位置逐一向两端选取种子点进行地面填充，直到填充区域大小满足阈值要求，然后通过阈值分割、形态学操作获得闭合后的地面联通区域，并与填充后地面区域相减获得疑似障碍物区域，通过阈值筛选出最终障碍物区域。

进一步地，所述步骤(3)具体是首先采用张正友平面标定算法对双目视觉系统进行标定，获得左右相机的内参数和两相机之间的外参数；接着运用标定数据，对输入的左右相机图像进行立体校正；最后将左相机得到的障碍物轮廓区 域作为模板，在右相机图像的并列行中进行匹配计算视差，加快匹配速度，并根据相似三角形原理获得障碍物宽度和距离信息。

一种基于双目视觉的室内阴影环境下障碍物检测装置，采用双目视觉系统，包括：

阴影消除模块，用于通过单尺度Retinex算法消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差，将障碍物区分出来；

障碍物检测模块，用于利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域，并求取其外接矩形；

障碍物测量模块，用于运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，根据相似三角形原理计算出中心点的三维坐标及障碍物的宽度和距离信息。

与现有技术相比，本发明具有以下有益效果：

本发明在消除阴影的同时，能够根据环境亮度信息自适应调节和增强地面与障碍物的灰度差，可以简单高效的提取出完整的障碍物轮廓。测量时视差计算方法精确、快速，利用障碍物轮廓区域作为模板在右相机图像中匹配并计算出视差，能快速而准确的获得障碍物距离和宽度信息。

附图说明

图1是本发明实施例一的整体流程示意图。

图2是本发明实施例一的地面阴影消除流程示意图。

图3是本发明实施例一的SSR算法与S通道融合效果图：其中(a)为融合后图像，(b)是种子填充后图像，(c)为障碍物图像，(d)是最终地面区域图像。

图4是本发明实施例一的障碍物区域外接矩形宽度测量原理图。

具体实施方式

为了更好地理解本发明，下面结合附图对本发明作进一步地描述：

实施例一

本发明基于双目视觉的室内阴影环境下障碍物检测方法，采用双目视觉系统，在室内阴影环境下对地面障碍物进行检测，具体实施步骤如下：

如图1所示，一种基于双目视觉的室内阴影环境下障碍物检测方法，采用双目视觉系统，包括步骤：

(1)通过单尺度Retinex算法消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差，将障碍物区分出来；

(2)利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域，并求取其外接矩形；

(3)运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，根据相似三角形原理计算出中心点的三维坐标及障碍物的宽度和距离信息。

具体而言，所述步骤(1)具体是通过提取图像的色彩饱和度信息，根据图像亮度信息确定权重并归一化，利用该权重把阴影消除后图像与色彩饱和度图像进行融合，自适应的消除阴影和增强地面与障碍物灰度差，利于后续障碍物检测。

具体而言，所述步骤(2)具体是利用视野底端一般不存在障碍物的先验知识，在图像最后一行中间位置逐一向两端选取种子点进行地面填充，直到填充区域 大小满足阈值要求，然后通过阈值分割、形态学操作获得闭合后的地面联通区域，并与填充后地面区域相减获得疑似障碍物区域，通过阈值筛选出最终障碍物区域。

具体而言，所述步骤(3)具体是首先采用张正友平面标定算法对双目视觉系统进行标定，获得左右相机的内参数和两相机之间的外参数；接着运用标定数据，对输入的左右相机图像进行立体校正；最后将左相机得到的障碍物轮廓区域作为模板，在右相机图像的并列行中进行匹配计算视差，加快匹配速度，并根据相似三角形原理获得障碍物宽度和距离信息。

简言之，本实施例首先通过双目标定数据对左右图像进行立体校正，对左相机图像进行光照自适应地面阴影消除，并提取障碍物轮廓；接着将障碍物区域图像作为模板，在右相机图像的并列行中进行快速匹配，计算障碍物视差；最后，利用相似三角形原理得到障碍物的宽度和距离信息。

图2是本实施例的地面阴影消除流程图，提取左相机校正图像的明亮度图像V(x,y)、色彩饱和度图像S(x,y)和灰度图像。对灰度图像利用单尺度Retinex算法消除阴影，获得阴影消除后图像R(x,y)。计算V(x,y)的均值来估计环境的亮度信息，利用亮度信息自适应的调节R(x,y)和S(x,y)的融合权重，获得融合后图像I(x,y)，在消除阴影的同时增强地面与障碍物的灰度差。

图3是本实施例的SSR算法与S通道融合效果图，图3(a)是R(x,y)和S(x,y)按权重的融合图像，权重可以根据环境光照变化，较好的消除了阴影和增强灰度差。图3(b)中对地面进行种子填充获得了完整的地面区域，把场景分割为背景、障碍物和地面。经过阈值分割、形态学操作等图像处理获得图3(c)障碍物图像。同时获得图3(d)地面可通行区域图像。

通过障碍物检测步骤获得三个障碍物，分别以这三个障碍物为模板在右相机图像同行区域进行匹配，获得快速匹配的结果。

图4本实施例的是障碍物区域外接矩形宽度测量原理图，通过相机的标定获得左右相机的内外参数以及两相机的空间几何关系后，根据这些参数计算出重投影矩阵：

其中f表示焦距，c_x和c_y分别表示主点(主光线与像平面的交点)在左图像上的x和y坐标，T_x为两相机的水平位移，c′_x为主点在右图像上的x坐标，因为相机平行放置，主光线在无穷远处相交所以c_x＝c′_x。利用矩阵Q可以把2维平面(图像平面)上的点投影到3维空间中的点：

利用此方法即可求出图像中点(x,y)对应的三维空间坐标(X′,Y′,Z′)，其中X′,Y′,Z′、W表达式如下：

其中f代表焦距，d表示视差。对于图4中像平面上障碍物外接矩形区域的中心点P_c，通过式(3)可求出其对应的三维点坐标P′_c(X′_c,Y′_c,Z′_c)。运用相似三角形原理，根据图4中的关系可以得到下式：

其中dist表示障碍物与相机的距离，Z_c′是点P_c′的Z坐标，width表示图像中障碍物区域外接矩形宽度，width′表示障碍物区域的实际宽度，f是相机焦距。

实施例二

一种基于双目视觉的室内阴影环境下障碍物检测装置，采用双目视觉系统，包括：

阴影消除模块，用于通过单尺度Retinex算法消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差，将障碍物区分出来；

障碍物检测模块，用于利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域，并求取其外接矩形；

障碍物测量模块，用于运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，根据相似三角形原理计算出中心点的三维坐标及障碍物的宽度和距离信息。

本发明是一种快速有效的室内阴影环境下障碍物检测方法及装置，能够在室内阴影环境下自适应调节和增强阴影消除效果，对障碍物测量相对误差较小且具有较好的实时性，满足了移动机器人避障导航对实时性和精度的要求。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于双目视觉的室内阴影环境下障碍物检测方法，采用双目视觉系统，其特征在于，包括步骤：

（1）将左相机图像通过单尺度Retinex算法消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差，将障碍物区分出来；

（2）利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域，并求取其外接矩形；

（3）运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，根据相似三角形原理计算出中心点的三维坐标及障碍物的宽度和距离信息；

所述步骤(1)具体是通过提取图像的色彩饱和度信息，根据图像亮度信息确定权重并归一化，利用该权重把阴影消除后图像与色彩饱和度图像进行融合，自适应的消除阴影和增强地面与障碍物灰度差，利于后续障碍物检测，所述权重通过α=mean[V(x,y)]/255获得，其中V(x,y)为左相机校正图像的明亮度图像。

2.根据权利要求1所述基于双目视觉的室内阴影环境下障碍物检测方法，其特征在于：所述步骤(2)具体是利用视野底端一般不存在障碍物的先验知识，在图像最后一行中间位置逐一向两端选取种子点进行地面填充，直到填充区域大小满足阈值要求，然后通过阈值分割、形态学操作获得闭合后的地面联通区域，并与填充后地面区域相减获得疑似障碍物区域，通过阈值筛选出最终障碍物区域。

3.根据权利要求1所述基于双目视觉的室内阴影环境下障碍物检测方法，其特征在于：所述步骤(3)具体是首先采用张正友平面标定算法对双目视觉系统进行标定，获得左右相机的内参数和两相机之间的外参数；接着运用标定数据，对输入的左右相机图像进行立体校正；最后将左相机得到的障碍物轮廓区域作为模板，在右相机图像的并列行中进行匹配计算视差，加快匹配速度，并根据相似三角形原理获得障碍物宽度和距离信息。

4.一种基于双目视觉的室内阴影环境下障碍物检测装置，采用双目视觉系统，其特征在于，包括：

阴影消除模块，用于将左相机图像通过单尺度Retinex算法消除阴影，提取原图像色彩饱和度,与消除阴影的图像信息相融合，通过环境亮度信息自适应地调节和增强地面与障碍物的灰度差，将障碍物区分出来，具体是通过提取图像的色彩饱和度信息，根据图像亮度信息确定权重并归一化，利用该权重把阴影消除后图像与色彩饱和度图像进行融合，自适应的消除阴影和增强地面与障碍物灰度差，利于后续障碍物检测，所述权重通过α=mean[V(x,y)]/255获得，其中V(x,y)为左相机校正图像的明亮度图像；

障碍物检测模块，用于利用种子填充算法对融合图像的地面区域进行填充，再通过阈值分割、腐蚀、膨胀操作获得障碍物区域，并求取其外接矩形；

障碍物测量模块，用于运用双目视觉系统，以获得的障碍物区域为模板在右相机图像中进行匹配计算中心点视差，根据相似三角形原理计算出中心点的三维坐标及障碍物的宽度和距离信息。

Images