CN104166400B

CN104166400B - 基于多传感器融合的视觉导引agv系统

Info

Publication number: CN104166400B
Application number: CN201410330432.9A
Authority: CN
Inventors: 林志赟; 张雪菁
Original assignee: HANGZHOU KINGER DISPLAY CO Ltd
Current assignee: Zhejiang titanium robot Limited by Share Ltd
Priority date: 2014-07-11
Filing date: 2014-07-11
Publication date: 2017-02-22
Anticipated expiration: 2034-07-11
Also published as: CN104166400A

Abstract

基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二，阶段一是自适应学习阶段，阶段二是路面检测和路径规划阶段。本发明的优点：无需人工铺设导引标识，应用灵活，通用性强，能有效地降低AGV系统的整体构建成本；适用与多种复杂路况，以及各种天气条件；其自适应学习算法能有效的克服光照、阴影、车道线等因素对道路识别的影响。

Description

基于多传感器融合的视觉导引AGV系统

技术领域

本发明涉及自动控制领域，特别是一种基于多传感器融合的视觉导引AGV系统。

背景技术

自AGV诞生60多年以来，已经发展成为现代化生产物流系统中不可缺少的重要组成部分，并出现产业化发展的趋势。同时，AGV系统的应用范围已经从车间内的物料搬运扩展到各种应用领域，包括室外长距离的物料运输(如港口的物料运输和装卸，厂区内车间之间的物料运输等)，物流自动化仓库，服务机器人的自动导航(展馆，会场等)，以及智能汽车等。

相对于室内的AGV系统，室外AGV导引技术发展仍然相对滞后。受到室外环境因素的影响，传统的导引技术无法扩展到室外。以电磁导引为例，如将电磁导引所需要的轨道铺设于室外环境，不仅带来高昂的构建、维护和扩展成本，同时系统极易受到天气条件的影响。基于色带的导引同样无法扩展至室外环境。

发明内容

本发明提供了一种适应多种复杂路况和各种天气条件的适用于室外的基于多传感器融合的视觉导引AGV系统。

本发明采用的技术方案是：

基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，其特征在于：所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二；

阶段一是自适应学习阶段，其具体步骤如下：

步骤[11]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；

步骤[12]：边缘检测，获取道路图像中的边缘轮廓信息；

步骤[13]：道路样本自动选择，在边缘检测获得的边缘轮廓信息的基础上提取道路主体部分的左右道路边界，即近端近似直线部分，将左右道路边界交叉点下方的边界内部分的像素点确定为样本区域；

步骤[14]：聚类分析，从确定的样本区域获得表征当前路面颜色和纹理特征的聚类中心点；

阶段二是路面检测和路径规划阶段，其具体步骤如下：

步骤[21]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；

步骤[22]：像素分类，对采集的道路图像进行逐像素处理，提取每个像素点的特征向量，和聚类分析中得到的聚类中心点进行比较，将像素点归为道路区域或者非道路区域，道路区域的像素点为黑色，非道路区域的像素点为灰色；

步骤[23]：形态学处理，消除道路区域和可能存在的误判区域之间的细微连接；

步骤[24]：从图像底部道路区域内选择若干种子点进行区域生长算法，获得道路的完整形状，置为白色路面；

步骤[25]：道路的模式判断和道路中心线提取，根据白色路面的整体分布情况，判断当前所处道路模式是直线道路、转弯道路、十字路口或三岔路口，AGV的路径规划模块根据道路的形状和模式，针对岔路口和非岔路口选用不同的策略进行路径规划，提取相应的行进参考曲线；

对于非岔路，使用高次曲线拟合白色路面的左右边界，将代表左右边界的高次曲线的参数进行加权平均获得AGV的行进参考曲线；

对于岔路口，根据白色路面的整体形状和道路交叉位置，以及AGV当前位置和目标位置的相对关系，使用恰当的模板对部分路面进行屏蔽，将岔路口处的路径规划问题转换为非岔路情况下的路径规划；

步骤[26]：行进策略的制定，上位机结合提取好的行进参考曲线的偏移和曲率半径，计算出合理的行进速度值和转弯半径值，通过串口通讯的方式，将命令发送给底层的驱动模块。

进一步，阶段一触发的设定条件为距离上一次运行时间间隔超过设定的阈值T_max或是路面检测过程持续获得无效的检测结果。

进一步，步骤[11]和步骤[21]中的图像预处理包括图像滤波、白平衡处理，图像滤波采用均值滤波去除由图像采集设备以及路面纹理引入的细微噪点，白平衡处理采用如下公式进行处理：

式中，R′，G′，B′为白平衡处理后的R，G，B值，R_avg，G_avg，B_avg是RGB各通道的灰度均值。

进一步，步骤[12]的边缘检测需要将R，G，B三通道图像转换成灰度图像，利用Canny算子提取出道路图像中的边缘轮廓信息，边缘检测过程输出二值图像，白色像素指示边缘区域，黑色像素指示非轮廓区域。

进一步，步骤[13]中采用远距离超声波检测模块验证样本区域的有效性。

进一步，步骤[14]将采集的样本区域中每个像素点转换到6维的向量空间中：

式中，R_nor，G_nor，B_nor是归一化的R，G，B均值，Contrast、Energy、Correlation是从以当前像素为中心，16×16模板的灰度共生矩阵提出的纹理特征，分别是：对比度，能量以及协方差，采用K均值聚类分析算法。

进一步，在步骤[25]完成行进参考曲线的提取后，对参考曲线的参数进行卡尔曼滤波环节，步骤[25]中的白色路面的左右边界经过多次曲线拟合。

进一步，步骤[26]中通过行进参考曲线上所有点的一阶导数平均值，判断道路的转向，将右转道路的平均曲率半径设置为负数，左转道路平均曲率半径设置为正数，根据曲率半径和偏移的不同，将当前路况分为四种方式进行处理，并分别调整AGV的速度值和转半径值，AGV的速度和转弯半径计算如下式所示：

式中，是行进参考曲线的平均曲率半径，c₁和c₂是常数因子，R_max是实际运行过程中作为转弯半径无穷大的常量值，offset是参考线的偏移值，R_real和V分别是计算得出的AGV需要的转弯半径值和速度值。

进一步，步骤[26]的驱动模块在行驶时通过近距离超声波测距模块检测视觉盲区，辅助AGV的转弯过程以及紧急避障。

进一步，所述远距离超声波测距模块和图像采集设备安装在车体前端的同一垂线上，所述远距离超声波测距模块位于图像采集设备的下方。

本发明的优点：无需人工铺设导引标识，应用灵活，通用性强，能有效地降低AGV系统的整体构建成本；适用与多种复杂路况(包括结构化道路和非结构化道路)以及各种天气条件；其自适应学习算法能有效的克服光照、阴影、车道线等因素对道路识别的影响，同时极大的减少了系统运行过程中的人工操作，通常，基于学习算法的道路识别系统需要大量的人工操作应用于样本的选择和训练。

附图说明

图1是本发明的车体结构示意图。

图2是本发明的远距离超声波测距模块的探测距离和角度示意图。

图3是本发明的近距离超声波测距仪安装位置以及探测距离角度示意图。

图4是本发明的AGV视觉导引方法的步骤流程图。

图5是本发明阶段一的边缘检测和样本选择的示意图。

图6是本发明的聚类分析的结果示意图。

图7是本发明阶段二的路面检测示意图。

图8是本发明的行进参考曲线示意图。

图9是本发明的行进参考曲线的偏移和曲率半径计算示意图。

图10是本发明的曲率半径和偏移的四种情况示意图。

具体实施方式

下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。

参照图1-10，基于多传感器融合的视觉导引AGV系统，其硬件部件包括车体1，所述车体1的前侧安装有远距离超声波测距模块和图像采集设备2，所述车体1的两侧均布有近距离超声波测距模块2，所述车体1上安装有GPS定位模块和上位机4、电源模块和电机驱动模块5。

本实施例车体1前部采用轮毂式电机以差动方式进行驱动，后部以单个万向轮6作为支撑，所述远距离超声波测距模块和图像采集设备2安装在车体前端的同一垂线上，所述远距离超声波测距模块位于图像采集设备的下方，图像采集设备采用单目摄像头，用于捕获车体前方的道路图像，远距离超声波测距模块用于辅助视觉系统进行道路特征的提取，其探测距离为20米，探测角度为20度，见图2。在车体1下端左右两侧，均匀分布4个探测距离为0.4米至4米，角度约为15度的近距离超声波测距模块3，见图3，用于检测AGV系统的视觉盲区，辅助AGV转弯以及紧急避障。电源模块和电机驱动模块5安装于车体1底部，GPS定位模块和上位机4安装于车体1后部上方，见图1。

所述车体1的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二。

阶段一在系统初始化时运行一次，在AGV系统的运行过程中，如果触发一定的条件，阶段一将自动运行一次，运行完毕后，等待下一次触发。

作为一种优选实施方案，将触发条件设置为：距离上一次运行时间间隔超过设定的阈值T_max。目的在于确保AGV系统获得最接近于当前道路的路面特征。

作为另一种优选实施方案，将触发条件设置为：路面检测过程持续获得无效的检测结果。产生该条件的原因是系统中保存的路面特征与当前道路的特征存在显著差异，此时需要利用学习算法更新系统中保存的路面特征。

阶段一是自适应学习阶段，其具体步骤如下：

步骤[11]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；图像预处理包括图像滤波、白平衡处理，图像滤波采用均值滤波去除由图像采集设备以及路面纹理引入的细微噪点，白平衡处理采用如下公式进行处理：

步骤[12]：边缘检测，获取道路图像中的边缘轮廓信息；边缘检测需要将R，G，B三通道图像转换成灰度图像，利用Canny算子提取出道路图像中的边缘轮廓信息，边缘检测过程输出二值图像，白色像素指示边缘区域，黑色像素指示非轮廓区域。

步骤[13]：道路样本自动选择，在边缘检测获得的边缘轮廓信息的基础上提取道路主体部分的左右道路边界，即近端近似直线部分，将左右道路边界交叉点下方的边界内部分的像素点确定为样本区域；算法在可行空间内搜索最符合条件的左右边界直线，搜索过程基于如下事实：在道路图像的背景部分，边缘线表现为方向随机分布的短线段，其分布密度显著地高于路面部分；在道路的真实边界附近，通常具有最高的边缘线分布密度，边界外部和内部存在着较大的边缘线密度差，图5中的(b)、(d)显示了边缘检测的结果以及道路主体部分边界检测的结果。

在本实施例中，为了保证样本区域选择的有效性，需要利用安装在车体前方的远距离超声波检测模块验证区域的有效性，保证前方一定距离的扇形区域内，没有影响运行的障碍物存在。

步骤[14]：聚类分析，从确定的样本区域获得表征当前路面颜色和纹理特征的聚类中心点；步骤[14]将采集的样本区域中每个像素点转换到6维的向量空间中：

本实施例设置了10个类别，经过验证，增加聚类中心数量有助于提升识别效果，但是当类别超过10时，类别数量的提升对识别效果的提升不在有显著的效果。

本实施例的样色空间使用R，G，B空间。作为另一种优选方案，颜色空间可以采用H，S，V空间。由于亮度不能作为路面判断的依据，该方案将使用5个维度的特征向量进行聚类分析。

灰度共生矩阵提供了考察图像纹理的多个指标，作为另一种优选方案，可以选择其他纹理特征组合。

图6所示是本实施例中采用的聚类分析算法获得的聚类中心，显示了R_nor、G_nor、B_nor三个分量。

阶段二是路面检测和路径规划阶段，其具体步骤如下：

步骤[21]：图像预处理，通过图像采集设备采集道路图像，减低所采集道路图像的噪声，纠正图像色偏；其具体操作过程如步骤[11]。

步骤[22]：像素分类，对采集的道路图像进行逐像素处理，提取每个像素点的特征向量，和聚类分析中得到的聚类中心点进行比较，将像素点归为道路区域或者非道路区域，道路区域的像素点为黑色，非道路区域的像素点为灰色；其具体的操作是提取每个像素的特征向量，如式2，判断其与10个聚类中心的欧式距离，如果和每个中心的距离均大于设定的阈值D_max，将该像素点置为黑色(灰度值0)，否则置为灰色(灰度值127)。

步骤[23]：形态学处理，消除道路区域和可能存在的误判区域之间的细微连接，见图7(b)；其中误判区域指和道路区域相连的背景区域，被误识别为道路。

步骤[24]：从图像底部道路区域内选择若干种子点进行区域生长算法，获得道路的完整形状，置为白色路面，见图7(c)；

在本实施例中，行进参考曲线使用左右边界曲线的平均参数，见图8。如希望AGV系统使用靠右(左)行进策略，则需要对右(左)边界曲线的参数设置较大的权重，相应地减小左(右)边界参数的权重。

在步骤[25]完成行进参考曲线的提取后，对参考曲线的参数进行卡尔曼滤波环节，防止在运行过程中参考线的剧烈抖动。

本实施例对曲线各个参数均使用如下运动模型进行卡尔曼滤波(将各个曲线参数作为独立变量看待)：

式中，是行进参考曲线的平均曲率半径，c₁和c₂是常数因子，R_max是实际运行过程中作为转弯半径无穷大的常量值，V_max是AGV的最大运行速度，offset是参考线的偏移值，R_real和V分别是计算得出的AGV需要的转弯半径值和速度值。

步骤[25]中的白色路面的左右边界经过多次曲线拟合。本实施例采用3次曲线拟合拟合道路边界线，实验表明，3次曲线满足实际道路的导航需求。

步骤[26]：行进策略的制定，上位机结合提取好的行进参考线的偏移和曲率半径，计算出合理的行进速度值和转弯半径值，通过串口通讯的方式，将命令发送给底层的驱动模块。该驱动模块接受左右驱动轮的速度指令，向上位机返回当前的速度信息。

本实施例的行进参考曲线的偏移和曲率半径计算如图9所示，其中曲率半径由曲线上所有点的曲率半径通过加权平均的方式获得。步骤[26]中通过行进参考曲线上所有点的一阶导数平均值，判断道路的转向，将右转道路的平均曲率半径设置为负数，左转道路平均曲率半径设置为正数，根据曲率半径和偏移的不同，将当前路况分为四种方式进行处理，并分别调整AGV的速度值和转半径值，AGV的速度和转弯半径计算如下式所示：

式中，是行进参考线的平均曲率半径，c₁和c₂是常数因子，R_max是实际运行过程中作为转弯半径无穷大的常量值，offset是参考线的偏移值，Rreal和V分别是计算得出的AGV需要的转弯半径值和速度值。

本实施例步骤[26]的驱动模块在行驶时通过近距离超声波测距模块检测视觉盲区，辅助AGV的转弯过程以及紧急避障。

在本实施例的实验中，受限于采用的图像获取装置以及上位机的处理速度AGV可以正常行驶的最大速度是1.0米/秒。如采用处理速度更为快速的图像获取装置以及上位机系统，理论上能提升AGV系统的最大运行速度。

Claims

1.基于多传感器融合的视觉导引AGV系统，包括车体，所述车体的前侧安装有远距离超声波测距模块和图像采集设备，所述车体的两侧均布有近距离超声波测距模块，所述车体上安装有GPS定位模块、电源模块、电机驱动模块和上位机，其特征在于：所述车体的AGV视觉导引方法包括在系统初始化期间执行一次或者系统触发了设定条件后执行的阶段一和在系统运行期间连续执行的阶段二；

阶段一是自适应学习阶段，其具体步骤如下：

步骤[12]：边缘检测，获取道路图像中的边缘轮廓信息；

阶段二是路面检测和路径规划阶段，其具体步骤如下：

步骤[23]：形态学处理，消除道路区域和可能存在的误判区域之间的连接；

步骤[26]：行进策略的制定，上位机结合提取好的行进参考曲线的偏移和曲率半径，计算出合理的行进速度值和转弯半径值，通过串口通讯的方式，将命令发送给底层的电机驱动模块。

2.根据权利要求1所述的基于多传感器融合的视觉导引AGV系统，其特征在于：阶段一触发的设定条件为距离上一次运行时间间隔超过设定的阈值T_max或是路面检测过程持续获得无效的检测结果。

3.根据权利要求1或2所述的基于多传感器融合的视觉导引AGV系统，其特征在于：步骤[11]和步骤[21]中的图像预处理包括图像滤波、白平衡处理，图像滤波采用均值滤波去除由图像采集设备以及路面纹理引入的噪点，白平衡处理采用如下公式进行处理：

式中，R＇、G＇、B＇分别为白平衡处理后的R、G、B值，R_avg、G_avg、B_avg是RGB各通道的灰度均值。

4.根据权利要求3所述的基于多传感器融合的视觉导引AGV系统，其特征在于：步骤[12]的边缘检测需要将R、G、B三通道图像转换成灰度图像，利用Canny算子提取出道路图像中的边缘轮廓信息，边缘检测过程输出二值图像，白色像素指示边缘区域，黑色像素指示非轮廓区域。

5.根据权利要求4所述的基于多传感器融合的视觉导引AGV系统，其特征在于：步骤[13]中采用远距离超声波检测模块验证样本区域的有效性。

6.根据权利要求5所述的基于多传感器融合的视觉导引AGV系统，其特征在于：步骤[14]将采集的样本区域中每个像素点转换到6维的向量空间中：

V＝{Rnor,Gnor,Bnor,Contrast,Energy,Correlation} (2)

式中，R_nor、G_nor、B_nor分别是归一化的R、G、B值，Contrast、Energy、Correlation是从以当前像素为中心，16×16模板的灰度共生矩阵提出的纹理特征，分别是：对比度，能量以及协方差，采用K均值聚类分析算法。

7.根据权利要求6所述的基于多传感器融合的视觉导引AGV系统，其特征在于：在步骤[25]完成行进参考曲线的提取后，对行进参考曲线的参数进行卡尔曼滤波，步骤[25]中的白色路面的左右边界经过多次曲线拟合。

8.根据权利要求7所述的基于多传感器融合的视觉导引AGV系统，其特征在于：步骤[26]中通过行进参考曲线上所有点的一阶导数平均值，判断道路的转向，将右转道路的平均曲率半径设置为负数，左转道路平均曲率半径设置为正数，根据曲率半径和偏移的不同，将当前路况分为四种方式进行处理，并分别调整AGV的速度值和转弯半径值，AGV的速度值和转弯半径值计算如下式所示：

式中，是行进参考曲线的平均曲率半径，c₁和c₂是常数因子，R_max是实际运行过程中作为转弯半径值最大值，V_max是AGV的最大运行速度，offset是行进参考曲线的偏移值，R_real和V分别是计算得出的AGV需要的转弯半径值和速度值。

9.根据权利要求8所述的基于多传感器融合的视觉导引AGV系统，其特征在于：步骤[26]的电机驱动模块在行驶时通过近距离超声波测距模块检测视觉盲区，辅助AGV的转弯过程以及紧急避障。

10.根据权利要求9所述的基于多传感器融合的视觉导引AGV系统，其特征在于：所述远距离超声波测距模块和图像采集设备安装在车体前端的同一垂线上，所述远距离超声波测距模块位于图像采集设备的下方。