CN108571971A - 一种agv视觉定位系统及方法 - Google Patents

Abstract

本发明涉及一种AGV视觉定位系统及方法，系统由地面上的编码点和AGV车体上的相机、光源、工控机构成。其中，地面每个编码点不仅能提供唯一的编码识别信息，同时也提供多个特征角点全局坐标信息，该全局坐标通过近景摄影测量技术获得，并用于建立行驶场地电子地图，从而为AGV视觉定位提供依据；通过标定相机坐标系与AGV坐标系之间的位姿关系，即可在行驶过程中，基于视场中编码点的特征信息和单目视觉定位技术实现AGV坐标系在全局坐标系下位姿的精确解算。本发明提供的AGV视觉定位系统及方法具有灵活性强、精度高、实时性好、鲁棒性强等特点。

Description

一种AGV视觉定位系统及方法

技术领域

本发明涉及机器人定位领域，特别涉及AGV视觉定位系统及方法。

背景技术

AGV(Automated Guided Vehicle，AGV)作为一种无人操纵的自动化运输设备，它能承载一定的质量沿着规划的路径自主运行，到达指定地点，完成一系列既定任务，其在自动化物流运输系统、柔性生产组织系统中已经得到了广泛应用。

目前，国内外AGV产品所采用的导航方法主要有电磁导航、激光导航、惯性导航、视觉导航等。其中，电磁导航方法的应用比例最高，其次为激光导航。基于电磁感应原理的电磁导航方式是最早成功应用于AGV的导航，该方法需要在AGV规划路线下面埋设专门电缆线，由AGV上的传感器依靠电磁感应跟踪该线，实现导航。该方法可靠性高，经济实用，主要缺点在于无法为AGV提供准确的坐标信息，且路径修改困难。基于激光扫描测距与测角原理的激光导航方式是在AGV行驶空间的特定位置处布置一批激光光束反射镜，AGV在行驶过程中，车顶激光扫描仪向360°方向按一定频率发射激光，不断接收到已知位置反射来的激光束，利用得到的数个反射角来计算AGV的绝对位置坐标，实现导航。激光定位的精度较高，但是由于AGV在工作的过程中至少要同时能够接收到3个反射镜的反射光束，因此激光导航方式需要提供足够多反射镜面和宽阔的扫描空间，并局限于室内，但不适用于狭小的空间，且成本较高。

视觉传感器获得的信息远远高于其他传感器，因此基于视觉定位的导航方法是上世纪90年代以来智能自主移动机器人导航的一个主要研究方向。目前视觉定位主要分为局部视觉和全局视觉两种方式。全局视觉定位是将相机安装在天花板或者墙上，以整个工作环境为目标，对包括AGV、导航路径、障碍物等进行对象识别，对各个相机获取的图像进行基于特征的图像融合，得到全局地图。在生成的全局地图中，每个AGV单元，导航线路，障碍物的绝对坐标都能够实时获取。全局视觉定位方法需要根据不同的现场环境，按照视野不被遮挡并覆盖整个工作空间的原则，决定相机的数目、安装位姿，因此这种全局视觉方法仅仅适用于室内且空间较大的场合，且定位精度较低。局部视觉定位是将单车看作一个智能体，在车上安装相机和图像处理系统完成自主定位，其主要有基于自然场景和结构化场景两种定位方式。基于自然场景的定位方式通过运行路径周围环境的图像信息与环境图像数据库中的信息进行比较，从而确定当前位置。这种方法不要求设置任何物理路径，在理论上具有最佳的柔性，但三维图像处理的实时性差和环境图像数据库的难以建立，限制了它的实际应用。相对而言，目前国内外AGV视觉定位领域研究较多的是基于结构化场景的定位方式，该方式一般是在地面粘贴或铺设一些特殊形状或颜色的人工标识，由视觉系统识别预定义的人工标识实现定位。如钱晓明等在专利号为201610286380.9的发明专利“基于多窗口实时测距的单目视觉AGV的精确定位方法及系统”中提出利用远端窗口、中间窗口和近端窗口中圆形标志点的几何特征实现AGV的精确定位，该方法采用的圆形标志点由于缺少编码信息，因此无法保证AGV在移动过程中获得连续的位姿信息。胡斌等在专利号为201710748607.1的发明专利“利用二维码地标定位AGV工作点位置的方法及系统”中提出了利用二维码地标实现AGV的视觉定位，该方法通过提取二维码三个角落上最外围正方形的质心点分析出二维码中心点相对图像中心点的位置，同时计算得到二维码的旋转角度，由于缺少相机坐标系和AGV坐标系的标定，因此只能给出偏航角和AGV与二维码的像素偏差，无法给出AGV全局坐标；刘征在专利号为201210186563.5的发明专利“基于二维码的室内移动机器人定位系统和方法”中提出通过标定得到空间点在图像坐标系和小车坐标系的转换关系R，再提取二维码中心点与图像中心点的偏差实现机器人的定位，该方法将相机视为理想中心投影模型，缺少相机光心偏离、镜头畸变等分析，难以实现高精度的机器人定位。

综上所述，现阶段AGV视觉定位还未获得广泛应用，其主要难点在于视觉系统的灵活性、实时性、鲁棒性和测量精度等尚不能满足工程实践需要。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种AGV视觉定位系统及方法，能够实现大场地AGV连续的视觉定位，且系统具有使用灵活、实时性好、鲁棒性强、测量精度高等特点。

为达到上述目的，本发明的技术方案是这样实现的：

一种AGV视觉定位系统，该系统包括地面上的编码点和AGV车体上的相机、光源和工控机；其中，地面每个编码点提供唯一的编码识别信息，同时也提供多个特征角点全局坐标信息，该全局坐标信息通过近景摄影测量技术获得，并用于建立行驶场地电子地图，从而为AGV视觉定位提供依据；通过标定相机坐标系与AGV坐标系之间的位姿关系，即可在行驶过程中，基于视场中编码点的特征信息和单目视觉定位技术实现AGV坐标系在全局坐标系下位姿的精确解算；光源为图像采集过程补光，可有效缩短相机曝光时间，减小拖影现象；工控机负责完成图像采集控制、编码点信息提取和位姿解算等任务。

AGV视觉定位方法具体包括以下步骤：

a、采用不干胶贴纸打印、粘贴编码点，或瓷砖丝网印刷编码点方式在行驶场地地面上布置编码点，并基于近景摄影测量技术实现所有特征角点全局坐标的测量，建立行驶场地电子地图；

b、安装相机，并借助外部测量设备(如激光跟踪仪、经纬仪等)确定AGV坐标系，然后在相机视场内摆放3D立体靶标，实现相机内参和外参的标定，其中相机的外参为AGV坐标系到相机坐标系的旋转矩阵R_A-C和平移矢量T_A-C；

c、AGV行驶过程中，控制相机连续采集图像，并提取图像中编码点的编码信息和特征角点的图像坐标信息；

d、基于步骤c得到的编码点编码信息，在步骤a建立的行驶场地电子地图中查找对应特征角点的全局坐标信息，同时结合特征角点图像坐标信息，即可基于单目视觉定位技术实现相机坐标系到全局坐标系旋转矩阵R_C-G和平移矢量T_C-G的求解；

e、结合步骤b标定得到的(R_A-C,T_A-C)和步骤d得到的(R_C-G,T_C-G)，最终求解得到AGV坐标系到全局坐标系的旋转矩阵R_A-G和平移矢量T_A-G，即实现AGV的视觉定位，其中：

(R_A-G,T_A-G)＝(R_C-GR_A-C,R_C-GT_A-C+T_C-G)。

所述步骤a编码点特征角点全局坐标的测量采用近景摄影测量技术，即采用高清单反相机对地面所有编码点顺序拍照，且相邻测站的视场有数个公共编码点，然后基于光束法平差(Bundle Adjustment，BA)优化算法实现所有特征角点坐标的全局优化，对m个测站，N个特征角点的BA目标函数如下：

其中：表示第i个测站图像中提取的第j个特征角点图像二维坐标；R_i,T_i表示第i个测站与第1个测站相机坐标系之间的旋转矩阵和平移向量；X_j表示第j个特征角点的三维坐标；π表示相机内参决定的中心投影函数；另外，θ_ij的取值如下：

所述步骤c行驶过程中，需采用光源为编码点图像采集过程补光，同时尽量缩短相机的曝光时间，从而减小拖影现象对编码点信息提取的影响。

所述步骤d采用的单目视觉定位技术为透视n点定位算法，即输入图像中编码点特征角点的图像坐标值和对应全局坐标值，即可求解相机坐标系与全局坐标系的转换关系(R_C-G,T_C-G)。

所采用的编码点为具有7×7位编码信息的AprilTag编码点，编码容量达10万以上，每个编码点对应有唯一的ID号码，同时，编码点最外层黑色识别框提供4个特征角点。

对于采集到的照片首先进行轮廓检测，然后根据面积、长宽比等先验知识对轮廓进行筛选，对于符合要求的轮廓进行感兴趣区域(Region of Interest，ROI)裁剪，再对ROI进行AprilTag编码信息和特征角点图像坐标信息提取，缩短了编码点检测和信息提取的时间，提高了AGV视觉定位的实时性。

提取特征角点图像坐标后，再将所述图像坐标带入Brown畸变模型，以消除镜头畸变造成的坐标偏移，提高AGV视觉定位的精度。

用于相机标定的3D立体靶标特征点通过粘贴圆形非编码标志点获得，所述标志点图案由内部白色圆形和外部黑色圆环嵌套而成，其中心坐标为白色圆形的圆心。

编码点粘贴密度需保证AGV行驶至任意位置，相机视场内至少有一个编码点，通过在AGV上布置多个相机，达到减少地面编码点的目的，另外通过增加相机视场并集中编码点数量，达到提高系统鲁棒性的目的。

本发明提供的AGV视觉定位方法，包括AGV运行前的测量准备阶段和AGV行驶过程中的实时测量阶段。在测量准备阶段，首先需要完成编码点的布置和近景摄影测量，从而建立行驶场地的电子地图，然后借助外部设备确定AGV坐标系，并基于3D立体靶标实现相机内参和外参的标定；在实时测量阶段，控制相机连续采集图像，并提取图像中编码点的编码信息和特征角点图像坐标信息，然后基于单目视觉定位技术完成相机坐标系与全局坐标系转换关系的求解，最后结合标定得到的相机坐标系与AGV坐标系的转换关系，实现AGV的视觉定位。

本发明与现有技术相比的优点在于：本发明采用的7×7位AprilTag编码点容量达10万以上，能够满足大场地视觉定位对编码点数量的需求；特征角点全局坐标的测量采用近景摄影测量技术实现，保证了编码点布置的灵活性；充分利用了编码点图像面积和长宽比等先验信息对图像中的编码点区域进行ROI裁剪，然后仅对该ROI区域进行编码点信息提取，保证了AGV视觉定位的实时性；结合Brown畸变模型和透视n点定位算法实现AGV位姿结算，保证了AGV视觉定位的精度；采用多个单目相机组合定位的形式，一方面有利于减少编码点布置密度，另一方面有利于提高系统的鲁棒性。

附图说明

图1为本发明系统的总体实现流程图；

图2为本发明采用的7×7位AprilTag编码点之一；

图3为粘贴编码点后的场地局部区域；

图4为编码点近景摄影测量后得到的行驶场地电子地图；

图5为两个相机和两个光源在AGV车体上安装位置示意图；

图6为AGV视觉定位系统样机方框图。

具体实施方式

以下结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明AGV视觉定位系统及方法的总体实现流程图，具体包括以下步骤：

步骤11：在行驶场地地面上布置编码点，并基于近景摄影测量技术实现所有特征角点全局坐标的测量，从而建立行驶场地电子地图。

本发明采用7×7位AprilTag编码点，图2所示为编码点之一。该编码点由黑白相间的方块构成二维编码信息，不同的二维编码代表了不同的ID。编码点最外层黑色识别框保证了编码点的快速、准确检测，同时也提供了4个特征角点，编码点的中心坐标由4个特征角点进一步计算得到。

采用不干胶贴纸打印、粘贴的方式实现AprilTag编码点的布置，打印编码点尺寸为30mm×30mm，地面编码点粘贴密度大约为每200mm×200mm粘贴一个，编码点的位置和角度允许一定的误差，图3所示为人工粘贴编码点后的场地局部区域。粘贴结束后，采用高清单反相机对地面所有编码点顺序拍照，且相邻测站的视场有1/3左右的公共区域，然后基于BA优化算法实现所有特征角点坐标的全局优化。最终，建立的行驶场地电子地图如图4所示。

步骤12：确定AGV坐标系，然后在相机视场内摆放3D立体靶标，实现相机内参和外参的标定。

通过激光跟踪仪测量AGV四个车轮的外端面可确定宽度方向的中心线(即AGV坐标系的x轴方向)；测量并拟合四个车轮的圆柱面，进而得到前后车轮的轴线，可确定长度方向的中心线(即AGV坐标系的y轴方向)；进一步测量AGV车体的上表面，可确定AGV坐标系的原点位置；最终基于右手坐标系可建立AGV坐标系。

确定AGV坐标系后，在车体中间区域安装两个相机和两个光源，其安装位置如图5所示。其中两个相机的安装位置尽量靠近车体的中心位置，两个相机的间隔约为200mm。

相机和光源安装固定后，在相机视场内摆放一个三维物体，并在其表面粘贴一些非编码标志点，形成3D立体靶标，同时也用非编码标志点标识出AGV坐标系，然后基于近景摄影测量技术完成3D立体靶标特征点三维坐标的测量，该三维坐标位于AGV坐标系下。最后控制两个相机拍摄立体靶标，并进一步完成相机内参和外参的标定，其中相机的外参为AGV坐标系和相机坐标系之间的转换关系(R_A-C,T_A-C)。

步骤13：AGV行驶过程中，控制相机连续采集图像，并提取图像中编码点的编码信息和特征角点的图像坐标信息。

AGV行驶过程中，以20Hz的频率控制两个相机采集图像。然后根据编码点轮廓面积、长宽比等先验知识，对符合要求的轮廓进行ROI裁剪，并仅对ROI进行AprilTag信息提取，该方式极大提高了编码点检测和信息提取的速度，保证了AGV定位对实时性的要求。

步骤14：结合编码特征角点图像坐标和对应全局坐标，从而基于单目视觉定位技术求解相机坐标系与全局坐标系转换关系。

由于相机镜头一般都存在不同程度的畸变(主要为径向畸变和切向畸变)，而非理想小孔成像模型。因此，首先将步骤13的到的编码点特征角点图像坐标带入Brown畸变模型，得到更为精确的特征角点图像坐标，然后再基于透视n点定位算法，即输入畸变矫正后的特征角点图像坐标值和对应全局坐标值，即可求解相机坐标系到全局坐标系的转换关系(R_C-G,T_C-G)。Brown畸变模型如下所示：

其中： 为提取畸变特征点归一化图像坐标；(x,y)为无畸变的归一化图像坐标；(k₁,k₂,p₁,p₂)为畸变参数。

步骤15：进一步结合标定得到的相机坐标系与AGV坐标系的转换关系，实现AGV坐标系在全局坐标系下位姿的精确解算。

结合步骤12标定得到的(R_A-C,T_A-C)和步骤14得到的(R_C-G,T_C-G)，可最终求解得到AGV坐标系与全局坐标系之间的转换关系(R_A-G,T_A-G)，从而实现AGV的定位，其中：

(R_A-G,T_A-G)＝(R_C-GR_A-C,R_C-GT_A-C+T_C-G)。

综上所述，本发明提供了一种AGV视觉定位系统及方法，包括：基于AprilTag和近景摄影测量技术实现大场地电子地图的建立、相机内外参数的标定、AGV运行过程中的位姿实时结算等内容。图6所示为采用本发明制作的AGV样机方框图，其中，地面编码点用于为AGV视觉定位提供依据；AGV车体上固定两个相机、两个光源和一台工控机，工控机完成两个相机的采集控制，同时也实现采集图像的编码点信息提取和AGV位姿解算；两个光源用于相机采图过程的补光。该样机在x，y方向定位精度为5mm，偏航角测量精度为0.5°，实验结果表明本发明具有灵活性强、实时性好、精度高、鲁棒性强等优点。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。

Claims (10)

1.一种AGV视觉定位系统，其特征在于：包括地面上的编码点和AGV车体上的相机、光源和工控机；其中，地面每个编码点提供唯一的编码识别信息，同时也提供多个特征角点全局坐标信息，该全局坐标信息通过近景摄影测量技术获得，并用于建立行驶场地电子地图，从而为AGV视觉定位提供依据；通过标定相机坐标系与AGV坐标系之间的位姿关系，即可在行驶过程中，基于视场中编码点的特征信息和单目视觉定位技术实现AGV坐标系在全局坐标系下位姿的精确解算；光源为图像采集过程补光，可有效缩短相机曝光时间，减小拖影现象；工控机负责完成图像采集控制、编码点信息提取和位姿解算任务。

2.一种AGV视觉定位方法，其特征在于：包括以下步骤：

a、采用不干胶贴纸打印、粘贴编码点，或瓷砖丝网印刷编码点方式在行驶场地地面上布置编码点，并基于近景摄影测量技术实现所有特征角点全局坐标的测量，建立行驶场地电子地图；

b、安装相机，并借助外部测量设备(如激光跟踪仪、经纬仪等)确定AGV坐标系，然后在相机视场内摆放3D立体靶标，实现相机内参和外参的标定，其中相机的外参为AGV坐标系到相机坐标系的旋转矩阵R_A-C和平移矢量T_A-C；

c、AGV行驶过程中，控制相机连续采集图像，并提取图像中编码点的编码信息和特征角点的图像坐标信息；

d、基于步骤c得到的编码点编码信息，在步骤a建立的行驶场地电子地图中查找对应特征角点的全局坐标信息，同时结合特征角点图像坐标信息，即可基于单目视觉定位技术实现相机坐标系到全局坐标系旋转矩阵R_C-G和平移矢量T_C-G的求解；

e、结合步骤b标定得到的(R_A-C,T_A-C)和步骤d得到的(R_C-G,T_C-G)，最终求解得到AGV坐标系到全局坐标系的旋转矩阵R_A-G和平移矢量T_A-G，即实现AGV的视觉定位，其中：

(R_A-G,T_A-G)＝(R_C-GR_A-C,R_C-GT_A-C+T_C-G)。

3.根据权利要求2所述的方法，其特征在于：所述步骤a编码点特征角点全局坐标的测量采用近景摄影测量技术，即采用高清单反相机对地面所有编码点顺序拍照，且相邻测站的视场有数个公共编码点，然后基于光束法平差(Bundle Adjustment，BA)优化算法实现所有特征角点坐标的全局优化，对m个测站，N个特征角点的BA目标函数如下：

其中：表示第i个测站图像中提取的第j个特征角点图像二维坐标；R_i,T_i表示第i个测站与第1个测站相机坐标系之间的旋转矩阵和平移向量；X_j表示第j个特征角点的三维坐标；π表示相机内参决定的中心投影函数；另外，θ_ij的取值如下：

4.根据权利要求2所述的方法，其特征在于：所述步骤c行驶过程中，需采用光源为编码点图像采集过程补光，同时尽量缩短相机的曝光时间，从而减小拖影现象对编码点信息提取的影响。

5.根据权利要求2所述的方法，其特征在于：所述步骤d采用的单目视觉定位技术为透视n点定位算法，即输入图像中编码点特征角点的图像坐标值和对应全局坐标值，即可求解相机坐标系与全局坐标系的转换关系(R_C-G,T_C-G)。

6.根据权利要求2或3所述的方法，其特征在于：所采用的编码点为具有7×7位编码信息的AprilTag编码点，编码容量达10万以上，每个编码点对应有唯一的ID号码，同时，编码点最外层黑色识别框提供4个特征角点。

7.根据权利要求2所述的方法，其特征在于：对于采集到的照片首先进行轮廓检测，然后根据面积、长宽比等先验知识对轮廓进行筛选，对于符合要求的轮廓进行感兴趣区域(Region of Interest，ROI)裁剪，再对ROI进行AprilTag编码信息和特征角点图像坐标信息提取，缩短了编码点检测和信息提取的时间，提高了AGV视觉定位的实时性。

8.根据权利要求7所述的方法，其特征在于：提取特征角点图像坐标后，再将所述图像坐标带入Brown畸变模型，以消除镜头畸变造成的坐标偏移，提高AGV视觉定位的精度。

9.根据权利要求2所述的方法，其特征在于：用于相机标定的3D立体靶标特征点通过粘贴圆形非编码标志点获得，所述标志点图案由内部白色圆形和外部黑色圆环嵌套而成，其中心坐标为白色圆形的圆心。

10.根据权利要求2所述的方法，其特征在于：编码点粘贴密度需保证AGV行驶至任意位置，相机视场内至少有一个编码点，通过在AGV上布置多个相机，达到减少地面编码点的目的，另外通过增加相机视场并集中编码点数量，达到提高系统鲁棒性的目的。