CN104483966B

CN104483966B - 一种用于潜伏式agv的双目视觉导航控制方法

Info

Publication number: CN104483966B
Application number: CN201410648968.5A
Authority: CN
Inventors: 范良志
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-11-17
Filing date: 2014-11-17
Publication date: 2018-04-06
Anticipated expiration: 2034-11-17
Also published as: CN104483966A

Abstract

本发明提供一种用于潜伏式AGV的双目视觉导航控制方法，包括利用双目信息融合方式处理光源污染问题；在地面导航标志线出现局部强光源污染或者损毁，导致机器视觉暂时失效，或者导引线条出现双目视觉同一局部画面损坏时，参照电子地图数据采取局部地域应急运行方式，通过无法识别局部，直到双目发现正确位置与路线；本发明提供的一种用于潜伏式AGV的双目视觉导航控制方法，能够有效处理潜伏式AGV视觉导航控制面临的强反光致盲、强光影干扰、强环境光污染等难题，提高视觉导航的可靠性。

Description

一种用于潜伏式AGV的双目视觉导航控制方法

技术领域

本发明涉及AGV导航控制技术领域，尤其涉及一种用于潜伏式AGV的双目视觉导航控制方法。

背景技术

AGV(Automatic Guided Vehicle，自动导引车)是一种按设定的线路或设定的地图，在物流调度系统或人工指令的控制下，自动行驶或者自动牵引物料箱，完成物料转运与装卸的无人驾驶物料输送设备。

目前工业界中已经出现的AGV导航控制系统主要有地磁感应导引、光耦跟踪导引、激光反射导引、视觉跟踪导引、惯性导引、超声波导引等。其中，视觉跟踪导引由于其包含的信息量大，即使出现大量的环境污染或信息损失，依然能很好地实现线路跟踪与导航控制；另外，视觉导引控制还同时具备有建设使用成本低，引导线条的设置与维护简单等突出优点。但是，基于现有的视觉跟踪导引控制方法，特别是应用环境中存在不易处理的图像污染问题时，例如地面镜反射、光污染、地面不平整带来的随机光影变化和道路污渍、导引线断裂、模糊等，常常出现AGV跑偏或者线路丢失等故障，可靠性低。这一现象对潜伏式AGV表现得格外突出，是最主要的应用难点。潜伏式AGV全车身高在170～210mm之间，摄像头安装高度大多不超过200mm，视线斜向前方，视野极其狭窄，路径信息很少仅限于景深近场，同时面临强大的环境光污染，地面不平整带来的局部光影高频随机变化，地平大面积强反光等难题，画面中的路径信息绝大多数时候都处于不完整和变化之中。

发明内容

针对现有技术的上述缺陷，本发明提供一种用于潜伏式AGV的双目视觉导航控制方法，包括位于AGV车体正前方的两侧的两只摄像头沿AGV车体中轴线呈对称分布，所述摄像头的安装方向倾斜向下，两只摄像头视线的交视线交点位于AGV车体前方地面的中轴线上，其特征在于用于潜伏式AGV的双目视觉导航控制方法，包括如下步骤：

所述导航控制方法利用地面网格标记与线性插值相结合的方式，对两个摄像头共同范围内的图像数据对应起来，选择灰度值较小的像素值，构造出与实际地面道路相一致的虚拟合成画面区域ROI；

所述导航控制方法利用霍夫变换提取ROI中的地面道路导引线条，完成AGV的位置定位与线路跟踪导航控制。

所述导航控制方法利用光流算法分别计算两只摄像头画面中心位置预设范围内的画面帧间位移量，所述预设范围为经验值，取潜伏式AGV帧间位移为两摄像头帧间位移的平均值，在地面道路方向上的投影作为潜伏式AGV当前沿道路方向的实际位移量。

如上所述的导航控制方法，优选地，当地面导航线条出现局部强污染或者损毁时，即无论由于光污染或者随机光影，或者是真实的线条发生了破坏，所述导航控制方法均及时查找电子地图提供的地面导引线条长度、航向角度参考信息，以及潜伏式AGV当前沿道路方向的实际位移量，判断当前潜伏式AGV的实际可能位置，以局部盲导方式控制AGV运行。

如上所述的导航控制方法，优选地，所述地面道路导引线条采用直线或直线段拟合的曲线表示，最短直线段长度值为200mm。

本发明提供的AGV导航控制方法由于摄像头位于AGV车体正前方的两侧，沿AGV车体前面的中轴线呈对称分布，且摄像头的安装方向倾斜向下，两只摄像头视线的交视线交点位于AGV车体前方地面的中轴线上，因此摄像头视野范围大，能够充分利用道路环境中的导引线条分布信息，两只摄像头画面中的反光和光影变化可以互相弥补，不容易为小面积局部污染所影响，可靠性高。进一步的，当应用环境中存在地面大范围镜反射和道路污渍、导引线断裂、模糊等问题时，及时调用电子地图提供的地面导引线条长度、航向角度，以及潜伏式AGV当前沿道路方向的实际位移量，以局部盲导方式控制潜伏式AGV运行。因此，本发明提供的潜伏式AGV双目导航控制方法，可以应用于存在不易处理的图像污染的复杂应用环境中，提高了潜伏式AGV视觉导航控制的可靠性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的导航控制方法应用场景的俯视图；

图2为本发明实施例提供的双目视觉导航控制方法控制潜伏式AGV运行的流程图；

图3a为图1中摄像头3范围内的ROI示意图；

图3b为图1中摄像头1范围内的ROI示意图；

图4a为图1中摄像头3范围内的ROI的网格标定示意图；

图4b为图1中摄像头1范围内的ROI的网格标定示意图；

图4c为图1中摄像头1和摄像头3共同范围内的ROI的网格标定示意图；

图5为图1中摄像头1和摄像头3共同范围内的ROI像素对应表的处理流程图；

图6为本发明实施例提供的导航视频处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的导航控制方法应用场景的俯视图。如图1所示，潜伏式AGV车体2宽度为380mm，导航控制系统的偏航方向角度误差不大于2°，最大运行速度不超过45米/分钟。最大运行速度主要取决于潜伏式AGV运行线路的最小转弯半径、摄像头前方视野大小和导航控制器的最高计算速度。导引线条7a、7b、7c可以采用普通亮色的宽度为45mm-50mm的胶带粘贴于地面，或者直接刷亮色油漆而成；地面背景为绿色或灰色。潜伏式AGV运行线路中的导引线条7a、7b、7c为直线与弧线的组合，弧线由若干首尾相接的直线段拟合，拟合直线段的最短长度为200mm。潜伏式AGV导引线条允许存在不超过200mm长度的的断裂。

摄像头1和摄像头3规格一致，倾斜向下安装于潜伏式AGV车体2的正前方两侧，高度为300mm；摄像头1和摄像头3视线交错，视线交点4位于车体正前方中轴线9上1000mm位置。摄像头帧率为30帧/秒，画面光栅分辨率640*480，水平视角为30°。

优选地，本发明提供的一种用于潜伏式AGV的双目导航控制方法，特别适用于场地为标准化厂房环境或者类似在深色涂漆的平整地面场合中的基于机器视觉的线条导航，地面通常为绿色漆面，导引线条为普通50mm标准胶带，或者涂漆划线；主要处理的问题为视觉导航中由地面反光污染，局部污渍等导致的局部视觉失效问题。

图2为本发明实施例提供的导航控制器控制方法通过摄像头双目视觉控制AGV运行的方法流程图。如图2所示，本实施例的导航控制器控制方法通过双目视觉摄像头控制AGV运行的方法可以包括以下内容。

S301、接收摄像头摄取的图像数据。

S302、利用地面网格标记与线性插值相结合的方式，对两个摄像头共同范围内的图像数据对应起来，选择灰度值较小的像素值，构造出与实际地面道路相一致的虚拟合成画面区域ROI。

S303、利用霍夫变换提取ROI中的地面道路导引线条，完成AGV的位置定位与线路跟踪导航控制。

参考图3a和图3b，两只摄像头中看到的视野范围与景物并不完全相同，但都包含有部分共同的景物5R和5L，对应于图1中的同一ROI区域5。

参考图4a、图4b、和图4c，ROI区域在两只摄像头视频画面中的具体范围，运用地面网格标定法确定。地面网格可以是专门绘制的330*330mm正方形网格，也可以直接利用330*330mm地砖伸缩缝等等类似规整网格，间距测量精度为±5mm。手工或者用程序扫描两个摄像头画面网格中的所有节点，基于透视原理计算标定网格的消失点(10L、10R)以及所有网格节点的真实位置，提高网格标定精度；按照真实的纵横向地面距离，分别标记网格节点(x_i，y_j)在两个视频画面中的像素坐标和其中i和j分别为标定网格节点分别在横轴和纵轴方向上的序号；相邻标定网格节点之间，按线性插值原理进行插值：

对右摄像头画面：其中(x_R，y_R)为右摄像头画面中的地面真实位置，即网格节点间的插值点位置；

对左摄像头画面：其中(x_L，y_L)为左摄像头画面中的地面真实位置，即网格节点间的插值点位置；

参考图4c，两幅视频画面合成为一副虚拟ROI区域局部画面5，对应于图1中的实际地面道路画面。ROI的多边形边界在标定的过程之中手工标记，双摄像头的视频图像处理仅针对该多边形区域对应的两幅画面内容进行。合成虚拟ROI中网格节点间的插值点(x，y)所对应的左摄像头像素位置(L_x，L_y)和右摄像头像素位置(R_x，R_y)由上述公式计算。

参考图5，两只摄像头画面各自的ROI区域均首先进行灰度直方图均衡化处理，按像素位置对应关系，令合成虚拟ROI画面中的点(x，y)位置灰度值或颜色值I_x，y为左摄像头画面中(L_x，L_y)位置像素颜色值和右摄像头画面中(R_x，R_y)位置像素颜色值中较小的一个，构造出合成虚拟ROI中的实际景物画面，即：

在合成虚拟ROI区域5中，以导引线条宽度的一半，即25*25mm，作为滑动滤波窗口尺寸进行滑动滤波；采用直线霍夫变换算法，取直线宽度为45mm，提取合成虚拟ROI区域中的全部直线段序列。在理想情形下，无论是否存在道路分岔路口，所有这些直线段序列都保持着首尾相接的连续性。

如上所述的系统，确定潜伏式AGV当前沿道路方向的实际位移量的方法包括：

利用光流算法分别计算两只摄像头画面中心位置预设范围内的画面帧间位移量，所述预设范围为经验值，取潜伏式AGV帧间位移为两摄像头帧间位移的平均值，在地面道路方向上的投影作为潜伏式AGV当前沿道路方向的实际位移量。

潜伏式AGV车体相对于导引线条的位置偏移量与方向角，依据提取出来的ROI画面底部直线段相对于潜伏式AGV车体中轴线的夹角和最小距离确定。

如上所述的双目导航控制方法，优选地，当地面导航标志出现局部强污染或者损毁时，利用电子地图提供的地面导引线条长度、航向角度，以及潜伏式AGV当前沿道路方向的实际位移量，以局部盲导方式控制潜伏式AGV运行。其中，所述地面道路导引线条采用直线或直线段拟合的曲线表示，最短直线段长度值为200mm。

当强烈光源污染存在的时候，左右摄像头所拍摄的画面中出现的地面强烈反光区域会掩盖部分导引线条的图像，但是合成的导引线条图像会依然保持完整。在导引线条本身破损、断裂、污渍污染或线条模糊等情形下，合成虚拟ROI画面中的导引线条则会继续保持破损、断裂或模糊状态等。

强光源较大面积的污染会同时使得某部分地面区域内，左右两只摄像头同时被局部致盲，等价于导引线条出现了局部断裂。

在前述两类情形下，本应首尾相接连续的导引线条将不再保持连续，在这类局部地域中，需要电子地图的支持以判明潜伏式AGV车体所处的当前位置和线路走向趋势，执行相应的运行动作。

电子地图的数据结构为无向图，采用邻接矩阵形式作为无向图的存储结构。图中的每一个节点对应于潜伏式AGV运行线路中的每一个曲线节点、转弯点与道路分岔口，全部节点按依次编成一个节点数组，数组中的节点数据为连续的曲线节点、拐弯点或道路分岔路口的数字标记，表明该节点所对应的直线段的端点性质。

邻接矩阵元素为两节点之间的导引线条长度l与航向角θ构成的二维向量，即地面道路距离及其相对前一线条之间的夹角。邻接矩阵为主对角线对称阵，主对角线为零向量，矩阵下标为节点数组中的序号。

节点数组：

序号

1

2

……

i

……

j

……

N

标记

曲线节点

……

拐弯点

……

分岔路口

……

邻接矩阵的形式为：

参考图6，潜伏式AGV每次开机均从固定的初始位置出发。潜伏式AGV在运行的过程之中，导航控制器不断检查潜伏式AGV的位置处于哪两个节点之间，查询潜伏式AGV所在路线段首末节点所在的节点数组标记，结合视频图像ROI区域处理所得到的直线段信息，实现对地面导引线条图像的持续跟踪与位置定位。

采用经典的光流算法，在左右两个摄像头画面的中央位置16*16像素区域12L和12R内，即对应于附图1中两只摄像头视线的交点4的位置，分别独立计算两帧连续画面之间的地面移动位移量ΔL_L和ΔL_R，取潜伏式AGV车体在两帧画面之间的移动距离为潜伏式AGV导航控制器对每帧画面的位移量ΔL进行累加，作为潜伏式AGV在相邻节点之间的位移，即每一个段导引线条直线段之间的位移L＝L+ΔL。

比较潜伏式AGV在相邻节点i和j之间的AGV位移量L与邻接矩阵对应元素(l_ij，θ_ij)中节点距离分量l_ij的大小；根据合成虚拟ROI中直线段的个数，判别AGV前方是否即将通过导引线条的节点位置。若ROI中直线段的个数仅有1个，则检查L-l_ij的大小，是否满足200mm的粗略定位误差条件，若L-l_ij在200mm以内表明潜伏式AGV即将通过前方节点，否则处于直线段运行过程之中。若ROI中直线段个数大于1，表明地面道路或者存在着污染与断裂，或者存在着转弯点、分岔路口。

当潜伏式AGV车体正处于当前导引线直线段的中间时，需要持续对AGV实际位移量L进行累加。其中，200mm为潜伏式AGV车体运动过程之中的定位误差，可以按潜伏式AGV导航控制实际精度要求进行调整。

当潜伏式AGV车体正处于当前导引线段的首末端点附近时，对潜伏式AGV位移量L进行清零操作，以消除位移累加过程中的累计误差影响。当潜伏式AGV已进入到下一导引直线段时，开始重新进行车体位移量L的累加。按照邻接矩阵θ_ij参数，相对于当前车体运行方向完成θ_ij角度转向。

计算虚拟潜伏式AGV车体与ROI底部直线段之间的交点，分别对应于潜伏式AGV航向偏角和潜伏式AGV车体位置偏移，实时调整潜伏式AGV车体的运行方向，确保AGV车体中轴线9与ROI底部直线段夹角在2°以内，潜伏式AGV车体2与ROI底部直线交点距离潜伏式AGV车体中轴线9在±20mm以内，实现横向定位与航向角纠偏。

若ROI区域内有多条直线段，则表明潜伏式AGV应减速以适应导引线条转弯半径；持续进行横向定位和航向角纠偏操作，按照潜伏式AGV导航控制器所获得的指令，走向特定的某个分岔路线，或完成单纯的拐弯动作，其中的转弯角度按邻接矩阵中相应元素的航向角θ_ij调整。

在导引线条出现有局部断裂或污损等情形下，ROI区域中会在该地域失去导引线条的有效图像，即在合成虚拟ROI区域的底部位置没有导引线条。在大面积强光污染造成的双摄像头在各自画面中央同一位置致盲的情形下，会覆盖掉该位置本来应当存在的导引线条图像，使画面局部失效。

在这些情形出现时，对潜伏式AGV的位置判断采取依电子地图简单持续前进原则，保持最后一次有效ΔL增量数值和实际运行速度，按恒定的30帧/秒视频帧率对位移量L进行持续累加，继续运行直到抵达当前导引线条直线段的终点；在当前线段终点位置，对位移量L清零，潜伏式AGV直接按照邻接矩阵中对应节点元素航向角参数转向，继续下一直线段的运行。持续对合成虚拟ROI区域进行扫描，直到再次重新捕获有效的导引线条数据，即ΔL_L和ΔL_R中至少有一个不为零，且潜伏式AGV车体与ROI区域底部直线有交点，执行前述实时定位纠偏操作。

本发明提供的潜伏式AGV导航控制方法利用双目信息融合方式处理光源污染问题，能够充分利用道路环境中的导引线条分布信息，不容易为小面积局部污染所影响，可靠性高。进一步的，当应用环境中存在地面镜反射、光影干扰、环境污染和道路污渍、导引线断裂、模糊等问题时，导航控制器可以通过获取潜伏式AGV运行线路的电子地图，利用电子地图提供的地面导引线条长度、航向角度，以及潜伏式AGV当前沿道路方向的实际位移量，以局部盲导方式控制潜伏式AGV运行。因此，本发明提供的潜伏式AGV应急双目视觉导航控制方法，可以应用于存在不易处理的图像污染的复杂应用环境中能够有效处理潜伏式AGV视觉导航控制面临的强反光致盲、强光影干扰、强环境光污染等难题，提高了潜伏式AGV视觉导航控制的可靠性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种用于潜伏式AGV的双目视觉导航控制方法，包括位于AGV车体正前方的两侧的摄像头，摄像头的安装方向倾斜向下，两只摄像头视线的交视线交点位于AGV车体前方地面的中轴线上；其特征在于用于潜伏式AGV的双目视觉导航控制方法，包括如下步骤：

所述导航控制方法首先利用地面标定网格标记，依据透视原理分别计算两只摄像头中标定网格消失点和网格节点；然后按照真实的纵横向地面距离，记录标定网格各节点位置坐标(x_i，y_j)分别在两个摄像头视频画面中对应的像素坐标和其中i和j分别为标定网格节点分别在横轴和纵轴方向上的序号，在相邻网格节点之间，按线性插值原理计算网格节点间任意像素对应的地面真实位置，将地面真实位置分别注册到左右摄像头画面中的各像素位置之上：

之后，在两幅画面中的共同区域ROI中进行灰度直方图均衡化处理，分别扫描ROI对应左摄像头画面中的位置像素灰度和右摄像头画面位置像素灰度选择灰度值较小的位置像素灰度作为ROI区域的有效灰度，即构造出与实际地面道路相一致的虚拟合成画面区域ROI，实现双目信息的像素融合。

2.根据权利要求1所述的双目视觉导航控制方法，其特征在于，当地面导航标志出现局部强污染或者损毁时，即无论由于光污染或者随机光影，或者是真实的线条发生了破坏，均及时查找电子地图提供的地面导引线条长度、航向角度参考信息，以及潜伏式AGV当前沿道路方向的实际位移量，判断当前潜伏式AGV的实际可能位置，以局部盲导方式辅助控制AGV运行，直到重新在ROI中提取到地面导航标志信息。