CN1438138A - 自动引导车的视觉引导方法及其自动引导电动车 - Google Patents

Abstract

本发明涉及一种用于物流系统的智能型工业搬运车辆的自动引导方法及采用该自动引导方法的电动车。由计算机控制的自动引导车的视觉引导方法，是通过设置在自动引导车上的摄像机摄取在地面敷设的运行路径标线、工位地址编码标识符和运行状态控制标识符，与摄像机相联的计算机，通过图像智能化识别，获得车体与运行路径标线的位置偏差和方向偏差参数、工位地址及运行状态控制信息，据此，发出相应的控制信号给车轮驱动机构控制器，以实现对自动引导车按设定的路径、工位地址及加速、减速、停车的运行状态进行相应的控制。采用上述视觉引导方法的装有摄像机的自动引导电动车。其路径设置方法简单，系统柔性程度高，提高了车辆工作的灵活性、可靠性。

Description

说明书 自动引导车的视觉引导方法及其自动引导电动车

技术领域

本发明涉及一种用于物流系统的智能型工业搬运车辆的自动引导方法及采用该自动引导方法的智能型电动车。

背景技术

目前，用于物流系统的自动引导电动车(简称AGV)所采用的引导技术主要有埋线电磁感应式、激光反射式、超声反射式、光学反射式以及航迹推断等。但是，上述各种AGV引导技术在路径设置方法和成本、环境空间条件和尺寸、引导控制精度和柔性以及信息采集容量和内容等方面，与基于视觉图像识别引导方法相比都存在着很大的差别。其中，埋线电磁感应式引导方式的引导路径设置复杂、成本较高、路径变更柔性较差；激光反射式引导方法虽然反射板的设置简单、路径的变更柔性好，但是对空间的无障性要求较高；航迹推断引导方式的定位停车精度较低。

发明内容

本发明目的是为了克服现有的自动引导电动车在引导路径设置上的复杂性、对环境无障碍性和清洁性要求较高及定位停车精度较低的缺点，提供一种视觉引导方法，及采用该方法的智能型自动引导电动车，使其更具运动的灵活性和准确性。

本发明自动引导车的视觉引导方法是通过设置在自动引导车上的CCD摄像机摄取在地面敷设的运行路径标线、工位地址编码标识符和加速、减速、停车转向的运行状态控制标识符，与摄像机相联的计算机根据摄取的图像信息，通过图像识别算法程序对其进行智能化识别，获得车体与运行路径标线的位置偏差和方向偏差参数、工位地址及运行状态控制信息，据此，计算机发出相应的控制信号给与车轮驱动机构相联接的控制器，以实现对自动引导车按设定的路径、工位地址及加速、减速、停车的运行状态进行相应的控制。

采用本发明视觉引导方法的装有CCD摄像机的自动引导电动车是在车体中部两侧设置分别受计算机控制的左、右车轮驱动机构，即左车轮通过与其连接的左驱动电机、左电机控制器与计算机控制联接，右车轮通过与其连接的右驱动电机、右电机控制器与计算机控制联接，设置在左、右驱动电机轴上的光电编码器与计算机相联接；在车体的四角分别设置有弹性可压缩机构的万向角轮。

本发明智能型电动车的自动引导方法，其引导路径设置简单、系统柔性程度高，视觉图象识别运行路径、工位地址和运行控制状态的信息容量大，定位停车精度高和多路径运行选择灵活；本发明自动引导电动车在其结构上的改进，提高了车辆工作的灵活性、可靠性和运行的安全性。

附图说明

图1是本发明智能型自动引导车的主视示意图。

图2是本发明智能型自动引导车的府视示意图。

图3是车轮驱动机构示意图。

图4是CCD摄像机支架结构示意图。

图5是电源系统电路原理图。

图6是控制系统硬件电路原理图。

图7是路径标线设置方法示意图。

图8是工位地址编码标志示意图。

图9是状态控制标识符设置方法图。

图10是自动引导方法的图像信息标识系统示意图。

图11是图像信息类型判别程序流程图。

图12是二维图像路径标线参数图。

图13是路径标线图像识别程序流程图。

图14是野点剔除算法原理图。

图15是加速、减速和停车标识符特征识别示意图。

图16是直角转弯标识符特征识别示意图。

图17是工位地址编码标示符特征识别示意图。

图18是工位地址编码标示符识别程序流程图。

图19是自动上线程序流程图。

具体实施方式

下面结合附图实施例，对本发明做进一步说明。

参照图1至图5，图中：1.车体 2.警示灯 3.载货平台 4.CCD摄像机 5.摄像照明灯6.总电源开关与充电接头 7.转向灯 8.故障诊断接头 9.计算机电源钥匙开关 10.控制方式选择开关 11.控制键盘 12.显示器 13.计算机电源控制开关 14.驱动系统电源控制开关15.蓄电池 16.左车轮驱动机构 17.蓄电池 18.状态监视指示灯 19.起/停控制按钮 20.前面板 21.避障传感器 22.弹性万向角轮 23.蓄电池 24.控制箱 25.遥控接收器 26.右车轮驱动机构 27.数传电台 28.计算机 29.蓄电池 30.后面板。31光电编码器 32.电磁制动器 33.驱动电机 34.驱动轮支架 35.车轮 36.减速器 37.CCD支架 38.T型导轨39.滑槽 40.支架固定螺钉 41.导轨固定螺钉 42.CCD支架上支板，43.CCD支架下支板。

车体1是由角钢或方型管焊接成的矩形框架。在车体1中部左右两侧同轴线、并行设置分别受计算机28控制的左车轮驱动机构16和右车轮驱动机构26。车轮驱动机构是由驱动电机33、电磁制动器32、光电编码器31.减速器36及车轮35组成，即左侧轮通过与其连接的左驱动电机、左电机控制器与计算机28控制联接，由车轮与其连接的右驱动电机、右电机控制器28控制联接。以定位联接方式与车体1固定。在车体1的四角装有4个具有弹性机构的弹性万向脚轮22。

以车体1的纵向对称平面和车体1的横向对称平面的交线为基准，在接近载货平台3的下方，使CCD摄像机4的光轴处在车体1的纵向对称平面内，并使其或与以上两平面的交线平行，或成一定角度安装CCD摄像机4。CCD摄像机4安装在CCD支架上支板42下面，摄像照明灯5安装在CCD支架下支板43下面。CCD支架37的左右两侧固定板上设有圆弧形滑道39，可以调节CCD摄像机4的倾斜角度；同时，通过安装在车体1上的两个纵向导轨38，可调节CCD摄像机4的前后位置。

在车体1的中部留有一定面积的摄像视野空间；在车体1的后部中间位置安装有计算机28，与计算机28平行的左右两侧安装有电池组15和29；在车体1的前部中间位置安装有控制箱24，与控制箱24平行的左右两侧安装有电池组17和23；前面板箱体20、后面板箱体30与车体1通过定位销和锁紧装置与车体1连接，并可与车体1分离。在车体1的左侧或右侧装有电池组的充电插头6。

前面板箱体20和后面板箱体30的下部装有碰撞缓冲器。前面板箱体20的中部装有避障传感器21；左、右两侧设有4个转向指示灯7。在前面板箱体9的仪表板面上设有一组车辆运行状态监测指示灯18，主要包括摄像照明灯状态指示灯、蓄电池电压状态指示灯、控制箱温度状态指示灯、车辆遇障报警指示灯、工作状态指示灯等。在后面板箱体30的仪表板面上设有控制键盘11、显示器12、计算机电源控制开关13、驱动系统电源控制开关14、故障诊断接头8、带锁的计算机电源钥匙开关8和控制方式选择开关10。在前、后面板箱体20、30的两侧分别设有4组起停控制按钮19。

蓄电池15和17串联，通过总电源开关6，分别与控制箱24中的左电机控制器、右电机控制器的电源输入端相联接；蓄电池23和29串联，分别与计算机及输出电压为24V、12V和5V的直流电源的输入端相联接。

蓄电池组15和17串联后作为驱动系统电源，与左电机控制器、右电机控制器的工作电压输入端之间串联有电源控制继电器；在左电机控制器、右电机控制器工作电压输出端，分别与左或右驱动电机33之间串联有分流器；在分流器两端分别并联引出两个左、右驱动电机工作电流的测试端子。

参照图6，所有输入到计算机28的信号联接方法为：

CCD摄像机4通过图像采集卡与计算机28相联；数字通讯电台接收中央集中控制中心发出的控制信息或发射车辆运行状态信息，通过串行通讯口与计算机28相联；与左或右驱动电机33同轴安装的光电编码器31所产生的脉冲信号通过计数卡与计算机28相联；遥控接收器接收遥控器的发射信号，通过I/O卡与计算机28相联；探测障碍物的避障传感器21所产生的脉冲信号，通过I/O卡与计算机28相联；起/停按钮19的触点一端接5V直流电源的输出端，另一端通过I/O卡与计算机28相联；监测摄像照明灯工作状态的光敏二极管所产生的光感脉冲信号，通过I/O卡与计算机28相联；控制方式转换开关10的触点一端接5V直流电源的输出端，另一端通过I/O卡与计算机28相联。蓄电池组的工作电压通过并联在蓄电池组正、负极两端的分压电阻，将正常电压值转换为5V，通过A/D卡与计算机28相联；控制箱24的温度检测传感器的输出电压信号通过A/D卡与计算机28相联。

参照图6，所有由计算机28输出的信号联接为：

计算机28通过I/O卡的2个端口，分别与蓄电池组与左电机控制器、右电机控制器工作电压输入端之间串联的电源控制固态继电器的控制端子相联；计算机28通过I/O卡的2个端口分别与左、右电机控制器的使能端子相联，控制左或右驱动电机33的起/停；计算机28通过D/A卡的2个端口分别与左或右电机控制器的速度控制端子相联，控制左或右驱动电机33的转速和转向；计算机28通过I/O卡的2个端口分别与左或右转向指示灯的控制继电器的控制端子相联；计算机28通过I/O卡的多个端口分别与摄像照明灯状态指示灯、蓄电池电压状态指示灯、控制箱温度状态指示灯、计算机机箱温度状态指示灯、车辆脱线报警指示灯、工作状态指示灯等相联；计算机28通过I/O卡的1个端口与声音报警器相联；计算机28通过I/O卡的1个端口与摄像照明灯控制继电器的控制端相联。

参照图7，路径标线的设置方法为：

以识别图像形状特征为条件，在规定的车辆运行路线上，设置与路面有灰度差别、宽度小的连续型单线a或间断型单线b；或以识别图像颜色特征为条件，在规定的车辆运行路线上，设置与路面有灰度差别、宽度大的车辆运行通道颜色标示区c。

参照图8，工位地址标志编码的设置方法为：

在规定的车辆运行路线上，设置与路面有灰度差别、以七段数码的编排方式、用阿拉伯数字0-9组成的2位或多位数码。

参照图9，状态控制标识符的设置方法为：

在规定的车辆运行路线上，设置与路面有灰度差别的三角形、圆形、直角形、方形或组合图形。

参照图10，由上述三大类图形构成了自动引导车辆基于机器视觉图像识别引导方法的信息标识系统，目的是为车辆运行提供更多的控制信息，增加车辆控制的简便性、融合性和多重性、。

以上述硬件配置和标识信息方法为基础，智能型自动引导车在行驶过程中，首先，采集图像信息；然后，判断当前图像信息中出现的标识信息类型；再者，选择合适的算法对图像信息进一步识别。

参照图11，图像信息类型的判别程序流程，判别方法如下：

对图像进行预处理后，首先间隔抽取图像中的M行，对其进行水平扫描，并记录每行水平扫描得到的交点个数S。如果M行水平扫描遇到的交点的行数少于N行，则认为车辆已经掉线，启动自动上线程序。

当对图像进行水平扫描时，若累计得到的每行交点个数大于等于p的行数大于q行，并且在图像的前、后连续出现几行没有交点，则可以判断此图像为工位地址编码数字标识图像，如图8中的数字编码。

结合M行水平扫描的结果，可判断图像上部是否无路径标线。如果属于此种情况，则进入转向判断。即对图像从左垂直扫描，判断有无从左端开始的水平直线；若存在，则为直角左转向图像，如图9中的直角形g状态控制标识符。  同理，可判断是否为直角右转图像，如图9中的直角形h状态控制标识符。此外，若扫描判断的结果为规定的方形，则进入分支路径判断处理过程。

当排除了无标识符图像、数字标识图像、直角左转向和直角右转图像之后，应判断图像上、下端是否为路径标线。若不是路径标线，且图像M行水平扫描结果中有连续多行宽线段，则进入加速、减速和停车标识符的识别，如图9中的三角形d或e、圆形f状态控制标识符。

在排除上述情形后，则认为出现了路径标线图像，如图7中的连续直线a形的路径标线。

在进入直角转向，加、减速，停车，数字编码符图像处理子程序之前，均要判断这些图像中的标识符是否完整，否则，不进入相应子程序并放弃对图像的处理。当标识符图像不完整时，一律按直线进行处理。

选取几行进行水平线扫描、采取动态阈值选取和野点剔除等人工智能算法，可达到提高识别的实时性与可靠性的目的。

参照图12，智能型自动引导电动车由CCD摄像机4摄取二维路径标线图像，通过计算机28的识别，可以同时获取车辆相对于路径标线的横向偏差Le和方向偏差α两个参数。采用双偏差输入方法设计路径跟踪最优控制器或模糊控制器。

参照图13，路径标线的识别流程，其实质是通过对路标图像处理得到拟合直线模型的两个参数：即横向偏差Le和方向偏差α。识别过程为：

首先，在路径标线图像中抽取几行象素，对每行象素进行灰度值分类处理，以合适的阈值将每行象素分成两部分，即路径标线部分和其它部分。根据每行的阈值计算出每行的标线位置，最后通过各行中标线位置回归出直线。

参照图14，经过上述步骤得到的M个水平扫描行标线中点的坐标，由于一些特殊情况会出现野点，即不是标线中点的点被误认为是标线上的点，这必将影响导航直线的回归效果，为此必须进行野点剔除。剔除野点采用等斜率方法，即依据同一条直线上的相邻点的斜率应大致相等的概念，而在野点处的斜率将有较大变化的特点进行判别。具体方法是：

经过对抽取的M行(本例M＝16)进行水平扫描，找到与直线的交点为S个(本例S＝16)，共得到16组交点坐标，记做(x_i，y_i)；

由于当路径标线垂直时，相邻两点之间的斜率为无穷大，故用相邻两点斜率的倒数作参考。定义点a_i与a_i+1间斜率为k_i，令k_i＝(X_i+1-x_i)/(y_i+1-y_i)

求得S-1个斜率之后，再求斜率绝对值的最大值，记做k_max，将斜率绝对值从[0，k_max]分成间隔很小的区间。由于直线上大部分相邻点之间的斜率的倒数相差很小，因此，在算法中如果在某个区间中斜率倒数值落在该区间中个数很多。那么，可以认为形成这些斜率倒数所对应的点即为直线上的点，给予确认记录。若k_i有效，就认为a_i点是直线上的点。否则，将视为野点被剔除。

参照图15，加、减速(三角形)，停车(圆形)标识符具有以下两个特点：

(1)图像上下方都有路径标线。

(2)采取水平扫描，扫描线被标识符边缘截取的线段长度变化规律不同。

具体识别算法如下：

第一步：判断标识符前后均有直线出现。

采取水平抽行扫描的方法，间隔m行抽取一行，得到一个关于扫描线截得的线段宽度的数组。如果前n行中的s行水平扫描中和后n行的s行水平扫描中，都有k行找到路径标线，则表明图像上方和下方都找到了路径标线。

第二步：将线段宽度的数组分组。

将线段宽度的数组中大于两倍线宽的宽度值重新排成一个数组，设个数为j个，记做数组Lw(j)令ave1＝(Lw(3)+Lw(4)+Lw(5))/3

ave2＝(Lw(j/2)+Lw(j/2+1)+Lw(j/2+2))/3

ave3＝(Lw(j-5)+Lw(j-4)+Lw(j-3))/3

ave1代表标识符前部平均宽度；ave2代表标识符中部平均宽度；ave3代表标识符后部平均宽度。

第三步：从线段宽度的变化规律来，判断为何种标识符。

加速标识符变化规律为：大＞中＞小；

减速标识符变化规律为：小＞中＞大；

停车标识符变化规律为：小＞大＞小。

观察ave1，ave2，ave3哪一个是最大值，如果ave1是最大值，标识符为减速符；如果ave2是最大值，标识符为停车符；如果ave3是最大值，标识符为加速符。判断完毕后，控制器向左右驱动轮输出合适的D/A值或进行继电器控制操作，使车辆实现预定速度行驶或停车。

参照图16，直角转弯标识符具有以下特点：

(1)图像上方空缺，没有路径标线。

(2)从两侧起，垂直多行扫描能找到许多个等线宽的线段。

(3)从两侧起，垂直多行扫描能找到的线段的中点回归的直线大致水平。

根据直角转弯标识符的特点，识别算法分三步：

第一步：水平抽行扫描，判断是否图像上方是否存在路径标线。

第二步：分别从图像的两侧，纵向抽行扫描寻找路径标线上的直线段。

第三步：将直线段的中点回归，确认回归之后是否为水平线。具体的识别算法如下：

首先，水平抽行扫描，间隔m行抽一行，如果对前n行中的s行水平扫描中，有t行没找到路径标线，则表明图像上方没有路径标线。

其次，从图像左侧开始，每隔r列抽取一列垂直扫描，共抽取z列。对图像垂直扫描寻，寻找满足i倍线宽的线段。如果发现在从左侧开始的z列中，有x列以上是i倍线宽的线段，则对直线段的中点进行回归。回归后判断是否水平，如果是水平，就表明出现了直角左转弯标识符。

若左侧扫描未发现上述情况后，则从图像右侧开始扫描。每隔r列抽取一列，共抽取z列。其后处理方法类似左转标识符识别。

当识别出直角左转或直角右转标识符后，启动直角转向车辆控制程序。

同理，对于分支路径标识符(方形)可以根据垂直和水平扫描宽度等的特点进行判别，并通过与控制中心之间的信息通讯来决定车辆的行驶方向。

参照图17，工位地址编码(如图8所示)的标识是采用沿车辆行驶方向设置两位长方形数字的方式。工位数字符的图像有以下特点：

(1)图像上端和下端有路径标线。

(2)路径标线与数字之间均存在空缺。

(3)数字大小一定，则两个空缺之间间隔的行距一定。

(4)路径标在两个工位数字的中央。

(5)采用水平扫描方法扫描图像的不同部位，获得的交点数目个数不同。

根据上述特点，数字工位识别算法的步骤是：

首先，采集图像，进行平滑处理。

其次，判断该幅图像中是否有完整的数字；如果存在，则将根据先验知识，如图像的大致大小比例，提取数字工位符。如果不存在数字，则进入其他图像识别子程序。

再者，利用路径标线是两个数字的对称线的特征，将数字分割。

最后，对单个分割数字进行识别并合并。

参照图18，工位地址编码的识别算法程序流程如图所示。

参照图19，自动上线程序流程如图所示。自动上线过程主要包括两个步骤：

第一步：车辆在直线前进或直线后退过程中找到路径标线，而且侧向偏差小于50mm时停车。

第二步：启动车辆原地转向，车辆动态寻找直线。当直线与车辆的对称轴的夹角小于3°时，车辆停止运动。此时，车辆已经转正车身，自动上线过程完毕。车辆进入正常运行状态。

在路径标线附近起车时，AGV应能自动找到路径标线并摆正，然后，自动运行。当车辆因故掉线后，将自动停车，操作人员按下启动键后，它也应能自动上线。初次起车或在车辆掉线状态下，若在操作方式为自动方式时，按下起动按钮，自动上线程序启动。

在上述图像信息识别的基础上，对自动引导车辆的控制如下：

计算机28控制图像采集系统摄取运行路径标线图像，通过相应的图像识别算法程序对图像信息进行处理，可获得AGV与运行路径标线之间的位置偏差和方向偏差参数。计算机28通过I/O和A/D卡发出相应的信号给控制器，以分别调节左、右两驱动车轮的旋转速度，实现对路径标线的跟踪。

根据图像采集系统摄取的工位地址编码标示符或运行状态控制标识符，通过相应的图像识别算法程序对图像信息进行处理，由计算机28对车辆的加速、减速或停车进行相应的控制。

根据图像采集系统摄取的转向控制信息，如直角转弯、分支路径标示符，通过相应的图像识别算法程序对图像信息进行处理，计算机28通过车轮驱动控制器，可控制两驱动车轮以不同速度相同方向旋转，能实现车辆的不同转动方向、转向角度及转动半径的曲线运动；而且，当控制两驱动车轮以相同速度、不同方向旋转时，可以达到原地转向的目的。

通过在车辆内部设置数字通讯收、发电台27，实现控制中心与车载计算机5之间的信息交换，对车辆运行的分支路径、目的工位和运行状态进行远程集中调度管理。

通过在车辆内部设置的遥控信号接受器25，对车辆进行遥控。

在车辆的前端安装有避障传感器21，在前面板20、后面板30下部装有碰撞停车开关。避障传感器用于探测车辆运行前方的障碍物，它为车辆提供安全运行的控制信息。而碰撞停车开关主要用于车辆发生碰撞时自动控制停车，以减少碰撞所造成的损失。

在车辆的前面板上设有多各车辆技术状态指示灯5，由计算机根据检测到的信息进行逻辑判断的结果，控制指示灯的亮灭。后面板上设置有显示器11、键盘12和各种控制开关或按钮8、9、10、13和14，可以输入各种控制指令，实现人机对话。在车辆的四角分别设有起停控制按钮19，其目的是提高车辆控制操作的方便性。

在车辆四角、车架底部分别安装4个有弹性可压缩机构的万向脚轮。它们除了具有承重作用外，还可以在重力的作用下调节由于地面不平造成的车辆前后两端与地面之间的相对距离，以保持驱动轮与地面的接触，使驱动轮与地面之间获得足够的附着力。

Claims (5)

1、一种由计算机控制的自动引导车的视觉引导方法，其特征在于是通过设置在自动引导车上的CCD摄像机摄取在地面敷设的运行路径标线、工位地址编码标识符和加速、减速、停车、转向的运行状态控制标识符，与摄像机相联的计算机根据摄取的图像信息，通过图像识别算法程序对其进行智能化识别，获得车体与运行路径标线位置偏差和方向偏差参数、工位地址及运行状态控制信息，据此，计算机发出相应的控制信号给与车轮驱动机构相联接的控制器，以实现对自动引导车按设定的路径、工位地址及加速、减速、停车的运行状态进行相应的控制。

2、根据权利要求1所述的一种自动引导车的视觉引导方法，其特征在于所述的运行路径标线是在规定的车辆运行路线上设置与路面有灰度差别、宽度小的连续型单线(a)或间断型单线(b)，或以识别图像颜色特征为条件，设置与路面有灰度差别、宽度大的车辆运行通道颜色标示区(c)；所述的工位地址编码是由与路面有灰度差别、以七段数码的编排方式、用阿拉伯数字组成的两位或多位数码；所述的运行状态控制标识符是由与路面有灰度差别的三角形(d、e)、圆形(f)、直角形(g、h)、方形(j)而组成。

3、根据权利要求1所述的一种自动引导车的视觉引导方法，其特征在于在自动引导车上还设置有数传电台与计算机相联或设置遥控接收装置与计算机相联，以实现远程无线调度或手动遥控。

4、一种采用权利要求1所述的视觉引导方法的装有CCD摄像机的自动引导电动车，其特征在于在车体(1)中部两侧设置分别受计算机(28)控制的左、右车轮驱动机构(16)、(26)，即左车轮通过与其连接的左驱动电机、左电机控制器与计算机(28)控制联接，右车轮通过与其连接的右驱动电机、右电机控制器与计算机(28)控制联接，设置在左、右驱动电机轴上的光电编码器与计算机(28)相联接；在车体(1)的四角分别设置有弹性可压缩机构的万向角轮(22)。

5、根据权利要求4所述的一种自动引导电动车，其特征在于所述的CCD摄像机设置在车体纵向对称剖面内的中心线上。

Images