CN113267180A - 一种基于3d深度视觉的agv叉车托盘定位及叉取方法 - Google Patents

Abstract

本发明公开了一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，首先结合法向量平面与信号强度灰度分割，并采用托盘形态学模板进行迭代比较计算，提取托盘孔位识别托盘类型；然后依据托盘形态约束条件通过卷积掩码检测器计算叉齿外边缘直线方程；最后计算托盘边界点到叉齿延长线的垂直与水平空间欧式距离，从而得到叉齿相对托盘的绝对位姿，判断是否能够安全工作。本方法有效解决了复杂作业场景下托盘孔位识别与其相对叉齿的实时位姿准确测量，且系统不会受到颜色、尺寸、光照等物理因素的影响，具有很高的适用性。

Description

一种基于3D深度视觉的AGV叉车托盘定位及叉取方法

技术领域

本发明涉及智能仓储物流及机器人视觉技术领域，特别是涉及一种基于3D深度视觉的AGV叉车托盘定位及叉取方法。

背景技术

近年来随着智能物流和无人仓库的兴起，由AGV无人叉车按照程序执行来实现货物的自动搬运与整理技术成为研究与应用热点。目前国内工业叉车的无人化改造主要采用激光雷达、红外传感等方案，叉车叉取托盘的过程中因为震动、定位随机误差、激光传感器覆盖率不足等因素，无法确保叉车叉齿对准托盘孔位，存在安全隐患。因此亟待开发高准确性的物流叉车托盘智能检测与定位方法。随着三维深度视觉技术的发展，3D深度视觉传感器可以实时采集场景深度信息，能够在满足工业现场对系统控制实时性与准确性要求的同时采集更多的深度数据信息，因此在智能机器人基于视觉的物体检测、定位方面更有优势和应用前景。

目前针对托盘识别定位的技术及方法主要有基于RFID电子标签、基于激光雷达密度聚类、基于深度相机计算投影面积，基于单目相机与单线激光雷达等方法。这些方法可以在一定范围内实现托盘的识别定位，但在方法实施难度、计算复杂度与精确度、成本控制、特别是叉车叉齿与托盘的实时空间定位上，还存在着明显的不足。如RFID标签技术需要在每个托盘上布置相应标签，具有较高的维护成本。基于激光雷达的技术受限于传感器有效检测面积，难以解决误检或漏检的问题。基于多传感器融合的方式，在安装部署上缺乏灵活性与普适性。因此，上述一系列技术缺陷无法满足生产环境对于AGV叉车安全性和作业准确性等方面的严格要求。

发明内容

本发明的目的在于通过获取、处理、分析深度视觉传感器的深度数据、点云数据、红外反射光照强度数据，并通过二维、三维的处理算法，从而确定托盘孔位相对于叉车叉齿的真实位置及姿态，实现叉车的叉齿精准插入托盘插槽。

为实现上述目的，本发明提供了如下方案：

一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，包括以下步骤：

S1、在AGV叉车上方固定深度视觉传感器，采集并处理深度数据、点云数据、红外反射光照强度数据，进行处理计算；当所述AGV叉车抵达指定位置后，所述深度视觉传感器处于托盘检测模式并启动深度视觉托盘检测算法，对待检测三维空间区域进行点云计算，判断是否可以执行取货或上货任务；

S2、若所述深度视觉传感器定位到了托盘目标，则提取托盘空位，识别托盘类型，通过计算得到叉齿相对托盘的绝对位姿，在满足限定的精度阈值下，判断是否能够叉取货物，若无法插取，则计算误差偏移量；

S3、基于所述深度视觉传感器的总线通信接口，给所述AGV叉车控制器反馈计算结果与位置偏移量，通过反馈值，所述AGV叉车能够实现自主托盘取货、放货操作。

优选地，S1中，所述深度视觉传感器根据叉车实际安装条件选定不同的位置进行安装，用于采集图像场景的深度信息，安装方法为所述深度视觉传感器能够跟随叉齿上下、左右、俯仰移动，叉齿末端在深度图像中位置处于约下三分之一处，镜头光轴与叉齿平面夹角小于30度。

优选地，通过计算反射光波的相位差来计算所采取图像场景的深度信息，并采用多元误差插补法校正了基于误差查找表的信号强度误差和温度误差补偿算法。

优选地，所述查找表采用实际测试方法获得原始数据，通过非线性建模，形成误差补偿模型，最后在实时计算中，提取不同分辨率的查询表，用来进行误差补偿计算。

优选地，当所述AGV叉车抵达指定位置后，叉车控制器的通讯接口向所述深度视觉传感器发出视觉检测启动命令，此时所述深度视觉传感器处于托盘检测模式并启动深度视觉托盘检测算法。

优选地，将深度数据从极坐标系转变为点云世界坐标系，生成实时点云数据，并进行坐标系变换，生成以叉车叉齿安装轴中心点为基准的正交坐标系下点云数据。

优选地，S2中，针对反射光强度数据的分割阈值评价迭代算法，获得最小误差精度阈值，得到完整的托盘孔位内轮廓位置及像素点。

优选地，根据所述托盘孔位的内轮廓像素点，计算托盘孔位在世界坐标系下的空间位置信息；根据叉齿类型的不同采用不同的方法计算叉车叉齿外边缘直线方程，对于叉齿与所述深度视觉传感器的相对位置固定情况，通过设定好的卷积掩码检测器针对特定角度快速得出左右叉齿的二维直线方程，进行坐标系变换，转换到三维空间；对于配备活动叉齿的AGV，通过霍夫变换的算法进行叉齿外边缘的直线检测，同样转换到三维空间坐标系，用于后续定位使用；针对叉车叉齿特殊表面、不规整的特殊情况，通过上位机三维可视化调试软件，进行叉齿外边缘直线的手动校准，然后分别计算所述叉齿与所述托盘孔位相对的垂直位置和水平位置，用于识别托盘内孔轮廓边界点到叉齿延长线的垂直与水平空间欧式距离。

优选地，水平空间欧氏距离计算方法为：

δ_l＝(lc_x-LH_lx)/f_x×d

δ_r＝(RH_rx-rc_x)/f_x×d

式中，lc_x、rc_x为叉齿延长线与托盘孔位下边缘的交点，LH_lx、RH_rx为托盘孔位左右边界点，δ_l、δ_r为水平误差；

垂直空间欧式距离计算方法为：

δ_t＝C_t-C_z

式中，δ_t为垂直误差，C_t为托盘上边界中心点垂直高度，C_z为叉车叉齿水平面中心点垂直高度，diff为系统容许误差。

优选地，所述S3具体包括：

S3.1、通过所述最小误差精度阈值，判定叉车叉齿是否对准所述托盘孔位，是否可进行下一步作业，同时给出实时误差偏移量，至少包括三维空间的X、Y、Z轴偏差，以及由上述步骤计算的欧氏距离变换后得到的俯仰、偏转、翻滚角；

S3.2、通过所述深度视觉传感器集成的光耦I/O接口输出逻辑电平信号，并使用所述通信接口，给所述AGV叉车控制器反馈误差偏移数值，用于AGV进行自动的姿态调整。

本发明的有益效果为：

本发明提出了一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，解决了现有技术中托盘定位不准确、效率低下、实施困难等技术难题，并提出了一种可以有效计算托盘孔位与叉车叉齿准确空间位置关系与实时反馈误差的技术方法。通过本发明方法，AGV叉车可以独立自主的实现对托盘孔位的识别定位与叉取，当叉车叉齿与托盘孔存在位置偏差时，叉车控制器可以获取位置修正偏移量，实现自动姿态调整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图；

图2为本发明深度视觉传感器安装示意图；

图3为本发明实施例在地面托盘叉取场景中的应用示意图；

图4为本发明实施例在货架托盘叉取场景中的应用示意图；

图5为本发明实施例托盘识别、定位与叉取三维空间示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，如附图1所示，具体包括：

S1、本发明采用高度集成的3D深度数据采样方案，可以根据叉车实际安装条件选定不同的位置，如图2所示。3D深度视觉传感器在接收相应命令后，可以进行连续数据采集与预处理，具体包括：

S11，传感器发射特定频率的红外线，通过计算反射光波的相位差来计算场景的深度信息。深度计算的公式为：

红外反射光强度计算公式为：

其中，DCS0～3为3D深度视觉传感器CMOS四象限光子积累值，c为光速常量。

S12，由于实际场景的复杂多样性，不同材质对红外线的反射能力不同，在强度差异过大时，3D深度视觉传感器会引入不可避免的误差。同时，由于温度对光电子半导体性能的影响，传感器及工作环境的温度变化也带来一定的误差。针对这些情况，本发明采用多元误差插补校正设计了基于误差查找表的信号强度误差和温度误差补偿算法。查询表的生成采用实际测试方法获得原始数据，然后通过非线性建模，如最小二乘法、高次多项式、神经网络等，形成误差补偿模型，最后在实时计算中根据实时性要求，提取不同分辨率的查询表，用来进行误差补偿计算。基本误差补偿计算公式如下：

其中，M_x,y为实际光强值，M_a,x,y为查找表中比M_x,y小但最接近的光强值，M_b,x,y为表中比M_x,y大但最接近的光强值，S_a,x,y为M_a,x,y对应的实际准确深度值，S_b,x,y为M_b,x,y对应的实际准确深度值，σ_temp为温度补偿系数，O_zero为绝对值偏移量。

S13，由于环境光照射带来的图像信号强度偏移量引起的误差，可以通过该像素点测量到的环境光灰度进行补偿，补偿方法公式如下：

其中，DCS0/1为需要补偿的传感器像素原始测量值，k为环境光全局偏移系数，BG为该像素环境光灰度数值。

S14，为便于进一步3D数据处理，将深度值从极坐标系转变为点云世界坐标系，生成实时点云数据，系统根据3D深度视觉传感器的内参和外参数据，实时进行坐标系变换，生成以叉车叉齿安装轴中心点为基准的正交坐标系下点云数据，计算方法采用如下公式：

x＝z×(u-u₀)/f_x+x₀

y＝z×(v-v₀)/f_y+y₀

其中，u、v为对应深度图像中的像素坐标，u₀、v₀为深度图像中心点，d_ori为原始深度数据，d_cali,x,y为基本误差补偿值，f_x、f_y为3D深度视觉传感器内参系数。x、y、z为转换后的以叉车为基准的点云世界坐标系坐标，x₀、y₀、z₀为3D深度视觉传感器相对于叉车叉齿安装轴中心点坐标。

S2、所述为视觉检测算法的启动与预处理阶段，主要解决托盘区域的数据分割问题。包括如下步骤：

S21，在AGV叉车抵达货位点后，叉车控制器(上位机)通过光耦I/O控制线或以太网、CAN总线等通讯接口向3D深度视觉传感器发出视觉检测启动命令。

S22，如附图3所示托盘在地面上的情况，地面与托盘连接处的区域可能包含了许多无用的干扰噪声，系统将计算出叉车叉齿所在水平面方程，平面方程描述为：

ax+by+cz+d＝0

根据欧氏距离阈值，剔除感兴趣区域以外的无用数据，计算平面方程采用基于点云数据的RANSAC分割算法，将转换后的点云数据作为输入，求取参数a，b，c和d的值，在三维空间直角坐标系中，点到平面的距离D可以表示为：

根据叉车叉齿所在平面，平面上下有效感兴趣区域空间将被有效的分割出来。分割公式为：

式中P_x,y,z为坐标为(x,y,z)的点，H_MAX为高度上限。

如附图4中托盘在高位货架的情况，由于托盘下缘的边界比较清晰，通过简单的预处理即可排除干扰因素，减少误检率。

在精度要求不苛刻的情况下，叉齿所在平面的计算可以离线完成。实际托盘检测过程中，通过读取预先计算好的平面数据，可以大幅提高运算效率。

S23，系统根据配套调试软件，预先设置好托盘感兴趣区域，经过S22的分割步骤，本步骤通过统计感兴趣区域的有效点数量，判断货位点有无托盘，以便接下来的步骤。

图5展示了步骤S3的算法效果图，具体阐述为以下步骤：

S31，本发明根据步骤S1获取的红外光照强度数据，经过形态学处理、边缘计算、轮廓检测等方法、并设计了针对反射光强度数据的分割阈值评价迭代算法，获取最佳分割阈值，得到完整的托盘孔位内轮廓位置。此外，原始深度图像数据也可以用以辅助托盘孔位的分割计算。

S32，根据托盘孔位的内轮廓像素点，计算托盘孔位在世界坐标系下的空间位置信息。

S33，计算叉车叉齿外边缘直线方程，若叉齿与3D深度视觉传感器的相对位置固定，可以通过设定好的卷积掩码检测器针对特定角度快速得出左右叉齿的二维直线方程，通过坐标系变换，转换到三维空间。而对于某些配备活动叉齿的AGV(如三向AGV叉车)，则可以通过霍夫变换的算法进行叉齿外边缘的直线检测，同样转换到三维空间坐标系，以便后续定位使用。

实际工况中，针对叉车叉齿特殊表面、不规整等导致难以检测叉齿直线的情况。本方法通过上位机三维可视化调试软件，用户可以根据实际情况进行叉齿外边缘直线的手动校准。

S34，分别计算叉齿与托盘孔位相对的垂直位置和水平位置，参照基准以准确识别的托盘内孔轮廓边界点到叉齿延长线的垂直与水平空间欧式距离。

左右水平距离计算方法为：

δ_l＝(lc_x-LH_lx)/f_x×d

δ_r＝(RH_rx-rc_x)/f_x×d

式中，lc_x、rc_x为叉齿延长线与托盘孔位下边缘的交点，LH_lx、RH_rx为托盘孔位左右边界点。δ_l、δ_r为水平误差。

垂直距离计算方法为：

δ_t＝C_t-C_z

式中，δ_t为垂直误差，C_t为托盘上边界中心点垂直高度，C_z为叉车叉齿水平面中心点垂直高度，diff为系统容许误差。

S4、所述为上述检测算法计算获得叉车叉齿与托盘的相对位置后，将计算结果输出反馈到叉车控制器的方式，包括如下步骤：

S41，经过上述步骤，通过给定的最小误差精度阈值，判定叉车叉齿是否对准托盘孔位，是否可进行下一步作业，同时可以给出实时误差偏移量，包括三维空间的X、Y、Z轴偏差，以及由上述步骤计算的欧氏距离变换后得到的俯仰、偏转、翻滚角。

S42，计算结果的反馈，将通过集成的光耦I/O输出逻辑电平信号，满足基本的判断需求。此外，可以使用以太网接口或CAN总线等通信接口，给AGV叉车控制器或车载PC反馈误差偏移数值，以便AGV进行自动的姿态调整。

本发明提出了一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，解决了现有技术中托盘定位不准确、效率低下、实施困难等技术难题，并提出了一种可以有效计算托盘孔位与叉车叉齿准确空间位置关系与实时反馈误差的技术方法。通过本发明方法，AGV叉车可以独立自主的实现对托盘孔位的识别定位与叉取，当叉车叉齿与托盘孔存在位置偏差时，叉车控制器可以获取位置修正偏移量，实现自动姿态调整。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，包括以下步骤：

S1、在AGV叉车上方固定深度视觉传感器，采集并处理深度数据、点云数据、红外反射光照强度数据，进行处理计算；当所述AGV叉车抵达指定位置后，所述深度视觉传感器处于托盘检测模式并启动深度视觉托盘检测算法，对待检测三维空间区域进行点云计算，判断是否可以执行取货或上货任务；

S2、若所述深度视觉传感器定位到了托盘目标，则提取托盘空位，识别托盘类型，通过计算得到叉齿相对托盘的绝对位姿，在满足限定的精度阈值下，判断是否能够叉取货物，若无法插取，则计算误差偏移量；

S3、基于所述深度视觉传感器的总线通信接口，给所述AGV叉车控制器反馈计算结果与位置偏移量，通过反馈值，所述AGV叉车能够实现自主托盘取货、放货操作。

2.根据权利要求1所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，S1中，所述深度视觉传感器根据叉车实际安装条件选定不同的位置进行安装，用于采集图像场景的深度信息，安装方法为所述深度视觉传感器能够跟随叉齿上下、左右、俯仰移动，叉齿末端在深度图像中位置处于约下三分之一处，镜头光轴与叉齿平面夹角小于30度。

3.根据权利要求2所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，通过计算反射光波的相位差来计算所采取图像场景的深度信息，并采用多元误差插补法校正了基于误差查找表的信号强度误差和温度误差补偿算法。

4.根据权利要求3所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，所述查找表采用实际测试方法获得原始数据，通过非线性建模，形成误差补偿模型，最后在实时计算中，提取不同分辨率的查询表，用来进行误差补偿计算。

5.根据权利要求1所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，当所述AGV叉车抵达指定位置后，叉车控制器的通讯接口向所述深度视觉传感器发出视觉检测启动命令，此时所述深度视觉传感器处于托盘检测模式并启动深度视觉托盘检测算法。

6.根据权利要求5所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，将深度数据从极坐标系转变为点云世界坐标系，生成实时点云数据，并进行坐标系变换，生成以叉车叉齿安装轴中心点为基准的正交坐标系下点云数据。

7.根据权利要求1所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，S2中，针对反射光强度数据的分割阈值评价迭代算法，获得最小误差精度阈值，得到完整的托盘孔位内轮廓位置及像素点。

8.根据权利要求7所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，根据所述托盘孔位的内轮廓像素点，计算托盘孔位在世界坐标系下的空间位置信息；根据叉齿类型的不同采用不同的方法计算叉车叉齿外边缘直线方程，对于叉齿与所述深度视觉传感器的相对位置固定情况，通过设定好的卷积掩码检测器针对特定角度快速得出左右叉齿的二维直线方程，进行坐标系变换，转换到三维空间；对于配备活动叉齿的AGV，通过霍夫变换的算法进行叉齿外边缘的直线检测，同样转换到三维空间坐标系，用于后续定位使用；针对叉车叉齿特殊表面、不规整的特殊情况，通过上位机三维可视化调试软件，进行叉齿外边缘直线的手动校准，然后分别计算所述叉齿与所述托盘孔位相对的垂直位置和水平位置，用于识别托盘内孔轮廓边界点到叉齿延长线的垂直与水平空间欧式距离。

9.根据权利要求8所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，水平空间欧氏距离计算方法为：

δ_l＝(lc_x-LH_lx)/f_x×d

δ_r＝(RH_rx-rc_x)/f_x×d

式中，lc_x、rc_x为叉齿延长线与托盘孔位下边缘的交点，LH_lx、RH_rx为托盘孔位左右边界点，δ_l、δ_r为水平误差；

垂直空间欧式距离计算方法为：

δ_t＝C_t-C_z

式中，δ_t为垂直误差，C_t为托盘上边界中心点垂直高度，C_z为叉车叉齿水平面中心点垂直高度，diff为系统容许误差。

10.根据权利要求1所述的基于3D深度视觉的AGV叉车托盘定位及叉取方法，其特征在于，所述S3具体包括：

S3.1、通过所述最小误差精度阈值，判定叉车叉齿是否对准所述托盘孔位，是否可进行下一步作业，同时给出实时误差偏移量，至少包括三维空间的X、Y、Z轴偏差，以及由上述步骤计算的欧氏距离变换后得到的俯仰、偏转、翻滚角；

S3.2、通过所述深度视觉传感器集成的光耦I/O接口输出逻辑电平信号，并使用所述通信接口，给所述AGV叉车控制器反馈误差偏移数值，用于AGV进行自动的姿态调整。

Images