CN109160452B - 基于激光定位和立体视觉的无人转运叉车及导航方法 - Google Patents

基于激光定位和立体视觉的无人转运叉车及导航方法 Download PDF

Info

Publication number
CN109160452B
CN109160452B CN201811237209.4A CN201811237209A CN109160452B CN 109160452 B CN109160452 B CN 109160452B CN 201811237209 A CN201811237209 A CN 201811237209A CN 109160452 B CN109160452 B CN 109160452B
Authority
CN
China
Prior art keywords
forklift
forklift body
obstacle
personal computer
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811237209.4A
Other languages
English (en)
Other versions
CN109160452A (zh
Inventor
王永旺
赵晓进
吴易明
于龙飞
王汉晨
张尚玉
张保军
郭帅亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Original Assignee
Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Zhongke Photoelectric Precision Engineering Co ltd filed Critical Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Priority to CN201811237209.4A priority Critical patent/CN109160452B/zh
Publication of CN109160452A publication Critical patent/CN109160452A/zh
Application granted granted Critical
Publication of CN109160452B publication Critical patent/CN109160452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar

Abstract

本发明公开了一种基于激光定位和立体视觉的无人转运叉车及导航方法，包括设在叉车本体工作场境中若干个反射靶标和托盘靶标；叉车本体包括设于其前部的控制机构和其后部的多插齿推出器；通过激光雷达和双目视觉组件扫描反射靶标获取叉车本体与反射靶标的距离信号，并输出至工控机处理模块，工控机处理模块控制叉车本体行进、避障；通过激光雷达和双目视觉组件扫描托盘靶标获取叉车本体与托盘上货物的距离和位置信息，并输出至工控机处理模块，工控机处理模块控制叉车本体多插齿推出器作业。本发明通过激光定位和立体视觉导航，能够精准探测的导航死角，提高导航准确性，并能够准确壁障、叉取货物，从而实现无人驾驶转运取放货物。

Description

基于激光定位和立体视觉的无人转运叉车及导航方法
技术领域
本发明属于叉车技术领域，涉及一种基于激光定位和立体视觉的无人驾驶转运叉车系统及导航壁障方法。
背景技术
随着自动化技术的不断发展，为了降低人力劳动成本，提高工作效率，越来越多的工厂车间、仓库等地方使用自动叉车进行搬运货物、装货、卸货等作业。目前市面上出现多种类型的自动叉车，特别是智能叉车，大部分采用磁轨导航、RFID定位技术和激光定位技术进行自主运送货物，导航性能的稳定性和精确性都不高，无法探测的死角导航准确性差。一般情况下，自动叉车都是按照预先设定的路线搬运货物，但是应对突发障碍物的处理是急停，还没有自主绕行功能。对于多插齿的托盘，对叉车的取货位置及姿态要求较高，容易发生插偏、插倒货物，而无法完成取货。对于软包装货物，在装货环节，仍需要借助人工实现托盘和货物分离以及人工回收托盘，存在需要大量人力、效率低下等问题。
发明内容
为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种基于激光定位和立体视觉的无人驾驶转运叉车及导航方法，本发明通过激光定位和立体视觉导航，能够精准探测的导航死角，提高导航准确性，并能够准确避障、叉取货物，从而实现无人驾驶转运取放货物。
本发明是通过下述技术方案来实现的。
一种基于激光定位和立体视觉的无人转运叉车，包括叉车本体和设在叉车本体工作场境中若干个反射靶标和托盘靶标；
所述叉车本体包括设于其前部的控制机构和其后部的多插齿推出器；
所述控制机构包括工控机处理模块和电池，工控机处理模块分别连接无线通信模块、车体控制器、激光雷达、双目视觉组件和工业三色灯；其中，车体控制器分别连接行走控制伺服系统和转弯控制伺服系统，双目视觉组件包括双目相机和MEMS传感器；
通过激光雷达和双目视觉组件扫描反射靶标获取叉车本体与反射靶标的距离信号，并输出至工控机处理模块，工控机处理模块控制叉车本体行进、避障；通过激光雷达和双目视觉组件扫描托盘靶标获取叉车本体与托盘上货物的距离和位置信息，并输出至工控机处理模块，工控机处理模块控制叉车本体多插齿推出器作业。
优选的，所述激光雷达和双目视觉组件通过桅杆安装在叉车本体的顶部。
优选的，所述反射靶标的位置提前标定好，当激光雷达同时扫描到三个或以上的反射靶标，即可解算出叉车车体的位置及姿态角信息。
本发明进而给出了一种基于激光定位和立体视觉的无人转运叉车的导航方法，包括如下步骤：
步骤1，根据现场环境，在叉车本体工作场景中布置与激光雷达相对应的若干反射靶标；
步骤2，叉车本体通过无线通信模块接收控制中心系统发送的任务,解析目标位置；
步骤3，在工控机处理模块中预先标定叉车本体的参数，双目视觉组件实时采集工作场景现场图像，工控机处理模块根据激光雷达扫描反射靶标获取的叉车本体与靶标的距离信号,与预先标定构建的3D地图参数对叉车本体的位置及姿态进行解算，进行数据融合处理，获得叉车本体当前的位置；
步骤4，叉车本体根据目标位置规划行进路线；
步骤5，叉车本体根据预先标定到下一个特征位置的距离及偏角，沿规划的行进路线向目标位置行进，并通过双目视觉组件进行实时障碍物检测，若叉车本体在行进中未遇到障碍物，执行步骤6；否则，通过分析障碍物的运动状态、尺寸大小、障碍物与叉车本体的距离信息，通过智能避障策略进行避障处理，如果可通过，叉车本体绕过障碍物；如果不能安全通过，叉车本体停止工作，工业三色灯发出报警信号,直至障碍物被移除；
步骤6，叉车本体行驶到目标位置后，如果需要插取货物，则通过双目视觉组件对托盘靶标进行识别和定位，工控机处理模块解算叉车本体与货物的距离和位置信息，并计算出叉车本体的控制量，通过车体控制器调整叉车本体姿态，引导叉车本体插取货物；如果是装车，执行步骤8；
步骤7，多插齿推出器插入货物托盘，举起货物，完成取货；
步骤8，利用装车的基准位置，工控机处理模块调整叉车本体装车姿态，叉车本体将货物推出，完成装车。
进一步，所述步骤3中，在工控机处理模块中预先标定叉车本体的参数，包括如下步骤：
31)在工控机处理模块中预设叉车本体行进路线；
32)控制中心通过工控机处理模块控制车体控制器控制叉车本体按指定的路线行进，工控机处理模块实时获取激光雷到达反射靶标的距离数据；同时双目视觉组件实时采集叉车本体行进中工作环境的图像信息，并通过双目立体视觉图像处理算法获得工作场景的三维点云数据信息；
33)工控机处理模块通过视觉SLAM算法，结合MEMS传感器解析出叉车本体的姿态信息，生成叉车工作环境的3D地图；
34)工控机处理模块通过激光雷达数据处理算法完成激光雷达定位算法的参数标定；
35)通过数据融合算法生成叉车本体组合定位导航的数据包；
36)对组合定位导航的数据包进行精度验证；如果满足要求，结束标定；如果不满足设计要求，重新标定，直到满足要求为止。
进一步，所述步骤35)中，数据融合算法，包括下述步骤：
35-1)利用特征提取算法提取图像中的角点信息；
35-2)利用激光雷达数据进行相邻多帧图像进行立体匹配和加速匹配；
35-3)采用RANSAC算法结合最小二乘法求解匹配点集的最优运动；
35-4)进行多帧特征点跟踪，利用局部光束平差法优化，使误差最小；
35-5)利用激光雷达数据对视觉里程计数据进行补偿修正。
进一步，所述步骤5中，通过分析障碍物的运动状态、尺寸大小、障碍物与叉车本体的距离信息，通过下述方法得到：
51)双目视觉组件实时采集叉车工作环境的图像信息，采样周期为T；
52)对左右图像进行畸变校正，并对左右图像进行立体匹配，获取视差；
53)利用视差图生成工作场景的三维点云数据；
54)根据检测阈值，对图像信息进行二值化，分离出障碍物和背景信息，利用连通域处理，判断障碍物是否存在；
55)如果障碍物不存在，继续检测，如果存在，计算障碍物的尺寸，并执行步骤56)；
56)根据障碍物在T时刻和T+T0与叉车本体的位置关系，判断障碍物运动的状态，速度、方向信息；T0为在不同位置的相隔时间；
57)根据障碍物的类型进行智能避障处理。
进一步，所述步骤57)中，智能避障处理算法，具体如下：
57-1)判断障碍物的运动状态，如果障碍物是静止的，进行步骤57-2)，如果障碍物是运动的，进行步骤57-3)；
57-2)计算叉车安全躲避障碍物的运动方向，控制叉车本体沿着该方向运动躲避障碍物；
57-3)计算障碍物的运动速度及运动方向，预估障碍物通过叉车行进路线的时间t1，计算叉车运行到交会点的时间为t2；
57-4)如果t2＞t1，那么叉车正常行驶，如果t2＜t1，那么叉车减速行驶，可避过障碍物。
进一步，所述步骤7中，多插齿推出器插入货物托盘步骤如下：
71)双目视觉组件采集托盘的图像信息；
72)识别出托盘上合作靶标在图像中的坐标，利用三角交会原理计算出托盘靶标的三维坐标；
73)计算托盘与叉车本体之间的位置关系；
74)根据托盘的位置，计算叉车对准托盘的运动控制量；
75)将控制量发送给叉车的行走伺服控制器和转弯伺服控制器，调整车体姿态。
本发明由于采取以上技术方案，其具有以下有益效果：
1、本发明采用激光定位和视觉定位组合定位导航方式，具有探测范围广，稳定性好、定位精度高的特点；
2、本发明采用智能视觉障碍物实时检测技术，可以获得障碍物的尺寸大小、距离、方位、运动状态等信息，并根据该信息利用智能避障策略自动避障处理，对障碍物进行绕行；
3、本发明采用双目视觉技术，能够对托盘上的合作靶标进行定位识别，解析出叉车与托盘之间的相对关系，能够引导叉车准确插进托盘插孔，避免叉车插偏取不到货物或插倒货物；
4、本发明采用多插齿的推出器装置取放货物，可以在装货环节时整托盘装车，避免搬运中出现破损包装袋的情况发生，并且提高了装货效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：
图1是本发明所述叉车组成示意图；
图2是本发明所述叉车激光雷达定位原理示意图；
图3是本发明所述叉车系统组成结构示意图；
图4是本发明所述叉车工作流程框图；
图5是本发明所述叉车定位导航参数标定流程框图；
图6是叉车定位当前位置流程图；
图7是数据融合处理流程图；
图8是本发明视觉避障工作流程框图；
图9是本发明所述视觉引导叉车工作流程框图；
图10是双目立体视觉原理图；
图中，1.叉车本体，2.无线通信模块，3.工控机处理模块，4.激光雷达，5.双目视觉组件，6.工业三色灯，7.多插齿推出器，8.反射靶标。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
如图1、图2所示,本发明的一种基于激光定位和立体视觉的无人转运叉车，包括叉车本体1和设在叉车本体工作场境中若干个反射靶标8(激光反射靶标和托盘靶标)。叉车本体包括设于其前部的控制机构和其后部的多插齿推出器7。
如图3所示,控制机构包括工控机处理模块3和电池，工控机处理模块分别连接有无线通信模块2、车体控制器、激光雷达4、双目视觉组件5和工业三色灯6；其中，车体控制器分别连接行走控制伺服系统和转弯控制伺服系统，双目视觉组件包括双目相机和MEMS传感器。通过激光雷达和双目视觉组件扫描反射靶标获取叉车本体与反射靶标的距离信号，并输出至工控机处理模块，工控机处理模块控制叉车本体行进、避障；通过激光雷达和双目视觉组件扫描托盘靶标获取叉车本体与托盘上货物的距离和位置信息，并输出至工控机处理模块，工控机处理模块控制叉车本体多插齿推出器作业。
其中，激光雷达和双目视觉组件通过桅杆安装在叉车本体的顶部。反射靶标的位置提前标定好，当激光雷达同时扫描到三个或以上的反射靶标，即可得到叉车车体的位置及姿态角信息。
如图4所示,本发明给出了一种所述基于激光定位和立体视觉的无人转运叉车的导航方法，包括如下步骤：
步骤1，根据现场环境，在叉车本体工作场景中布置与激光雷达相对应的若干反射靶标；
步骤2，叉车本体通过无线通信模块接收控制中心系统发送的任务,解析目标位置；
步骤3，在工控机处理模块中预先标定叉车本体的参数，双目视觉组件实时采集工作场景现场图像，工控机处理模块根据激光雷达扫描反射靶标获取的叉车本体与靶标的距离信号,与预先标定构建的3D地图参数对叉车本体的位置及姿态进行解算，进行数据进行融合处理，获得叉车本体当前的位置；
步骤4，叉车本体根据目标位置规划行进路线；
步骤5，叉车本体通过视觉SLAM导航算法沿规划的行进路线向目标位置行进，并通过双目视觉组件进行实时障碍物检测，若叉车本体在行进中未遇到障碍物，执行步骤6；否则，通过分析障碍物的运动状态、尺寸大小、障碍物与叉车本体的距离信息，判断障碍物是否在安全区域内，如果可行，叉车本体绕过障碍物；如果不可行，叉车本体停止工作，工业三色灯发出报警信号,直至障碍物被移除；
步骤6，叉车本体行驶到目标位置后，如果需要插取货物，则通过双目视觉组件对托盘靶标进行识别和定位，工控机处理模块解算叉车本体与货物的距离和位置信息，并计算出叉车本体的控制量，通过车体控制器调整叉车本体姿态，引导叉车本体插取货物(步骤7)；如果是装车，执行步骤8；
步骤7，多插齿推出器插入货物托盘，举起货物，完成取货；
步骤8，利用装车的基准位置，工控机处理模块调整叉车本体装车姿态，叉车本体将货物推出，完成装车。
如图5所示，其中，无人转运叉车的参数标定方法如下：
步骤31，在工控机处理模块中预设叉车本体行进路线；
步骤32，控制中心通过工控机处理模块控制车体控制器控制叉车本体按指定的路线行进；行进过程中，工控机处理模块实时获取激光雷到达反射靶标的距离数据；同时双目视觉组件实时采集叉车本体行进中工作环境的图像信息，并通过双目立体图像处理算法获得工作场景的三维点云数据信息；
步骤33，工控机处理模块通过视觉SLAM算法，结合MEMS传感器解析出叉车本体的姿态信息，生成叉车工作环境的3D地图；
步骤34，工控机处理模块通过激光雷达数据处理算法完成激光雷达定位算法的参数标定；
步骤35，通过数据融合算法生成叉车本体组合定位导航的数据包；
如图6、7所示，其中，无人转运叉车的数据融合处理方法如下：
步骤35-1，利用特征提取算法(sift、surf)提取图像中的角点信息；
步骤35-2，利用激光雷达数据进行相邻多帧图像进行立体匹配，加速匹配；
步骤35-3，采用RANSAC算法结合最小二乘法求解匹配点集的最优运动；
步骤35-4，进行多帧特征点跟踪，利用局部光束平差法优化，使误差最小；
步骤35-5，利用激光雷达数据对视觉里程计数据进行补偿修正。
步骤36，对组合定位导航的数据包进行精度验证；如果满足要求，结束标定；如果不满足设计要求，重新标定，直到满足要求为止。
如图8所示，其中，无人转运叉车的避障方法如下：
步骤51，双目视觉组件实时采集叉车工作环境的图像信息，采样周期为T；
步骤52，对左右图像进行畸变校正，并对左右图像进行立体匹配，获取视差图；
步骤53，利用视差图生成工作场景的三维点云数据；
步骤54，根据检测阈值，对图像信息进行二值化，分离出障碍物和背景等信息，利用连通域处理，判断障碍物是否存在；
步骤55，如果障碍物不存在，继续检测，如果存在，计算障碍物的尺寸，并执行步骤56；
步骤56，根据障碍物在T时刻和T+T0与叉车本体的位置关系，判断障碍物运动的状态，速度、方向等信息；
步骤57，根据障碍物的类型进行智能避障处理，具体方法如下：
57-1)判断障碍物的运动状态，如果障碍物是静止的，进行步骤57-2)，如果障碍物是运动的，进行步骤57-3)；
57-2)计算叉车安全躲避障碍物的运动方向，控制叉车本体沿着该方向运动躲避障碍物；
57-3)计算障碍物的运动速度及运动方向，预估障碍物通过叉车行进路线的时间t1，计算叉车运行到交会点的时间为t2；
57-4)如果t2＞t1，那么叉车正常行驶，如果t2＜t1，那么叉车减速行驶，可避过障碍物。
如图9，本发明给出了一种所述基于激光定位和立体视觉的无人转运叉车的引用视觉引导叉车对准托盘的方法，包括如下步骤：
步骤71，双目视觉组件采集托盘的图像信息；
步骤72，识别出托盘上合作靶标在图像中的坐标，利用三角交会原理计算出托盘靶标的三维坐标；
步骤73，计算托盘与叉车本体之间的位置关系；
步骤74，根据托盘的位置，计算叉车对准托盘的运动控制量；
步骤75，将控制量发送给叉车的行走伺服控制器和转弯伺服控制器，调整车体姿态。
下面给出双目立体视觉组件的测量原理和方法。
1)双目立体视觉的测量原理：
双目立体视觉通过视差原理获取待测物的三维信息，通过两个视点观察同一待测物，来获得在不同视角下同一物体的图像信息，通过三角测量原理计算图像像素间的视差来获取待测物的三维信息。如图10所示，Cl和Cr是左右相机的光心，物点P0在左相机投影面上的投影点为Pl，在右相机投影面上的投影点为Pr，Pl和Pr在像素坐标系的坐标为(ul,vl)，(ur,vr)，视场记做d，那么d＝ul-ur，相机的主点为(u0,v0)，相机中心的连线距离为基线，记做b，两相机的焦距记做f，那么物点P0的三维坐标为：
Figure BDA0001838478520000111
计算出左右两幅图所有匹配点的视差值后就可以生成视差图，利用视差图，并且知道相机的内参及基线距离即可计算目标物体的深度图，同时可以获得工作场景的三维点云数据。
2)双目立体视觉的相机标定
相机的标定是基于双目立体视觉测量的重要步骤，标定的精度之间影响着最终的测量精度，相机标定主要标定两个相机之间的旋转平移位置关系。三维空间任一点P，其在世界坐标系的坐标为Pw，在左相机坐标系中的坐标为Pl，在右相机坐标系中的坐标为Pr，那么有：
Figure BDA0001838478520000112
将上式消去Pw，可得
Figure BDA0001838478520000121
设左右相机的旋转矩阵R和平移矩阵T，则：
Figure BDA0001838478520000122
左右相机的基线距为：
Figure BDA0001838478520000123
利用棋盘格标定板对双目立体视觉相机的标定过程如下：
a、从不同角度拍摄若干张(大于25张)棋盘格的图像；
b、检测出图像中的棋盘格特征点；
c、标定各相机的内、外参数；
d、求出相机的畸变系数；
e、利用两相机的外参求解两相机的相对位置关系。
3)基于双目立体视觉的障碍物检测算法
本发明的基于双目立体视觉的障碍物检测算法能够检测出障碍物的位置、尺寸，同时可以判断障碍物的类型(运动或静止)，根据障碍物的运动状态采取相应的策略。
双目相机采集工作场景的图像，对左右图像进行畸变校正，然后对图像进行立体匹配，计算视差图，根据视差图可以计算出工作场景的三维坐标，生成点云数据。
利用深度信息进行障碍物检测：设置检测距离阈值，根据深度值对左相机的图像进行二值化处理，如果是障碍物，则在图像上会形成连通域，对图像滤波处理，根据连通域的特点判断是否是障碍物，以及障碍物的尺寸等信息。
如果是障碍物，开始进行障碍物运动状态检测：如果障碍物是静止的，障碍物长度是不变的，并且叉车本体与障碍物的初始化距离的不变。利用T时刻和T+T0的状态确定障碍物的运动状态是静止还是运动的。如果障碍物是运动的，可以根据障碍物在t时刻和t+T0与叉车本体的位置关系，计算障碍物运动的状态，速度、方向等信息。其中，T0为在不同位置的相隔时间。
4)智能避障策略
静态障碍物避障策略：当遇到静态障碍物时，叉车会根据障碍物的尺寸以及位置减速进行躲避，如果障碍物的长度为L，距离为d，与叉车的夹角为
Figure BDA0001838478520000131
叉车的宽度l，那么叉车躲过障碍物安全距离为X，那么叉车运行的方向为：
Figure BDA0001838478520000132
按此方向可以躲过障碍物，然后再回到规划的路线上行驶，如果障碍物尺寸较大，叉车无法躲避时，停止前进，通过工业三色灯报警提示工作人员移除障碍物。
运动的障碍物避障策略：根据已知的叉车速度及相隔时间T0内的两次叉车与障碍物的距离可以求出叉车相对障碍物的行驶速度以及障碍物的运动方向和行驶速度，计算出障碍物通过叉车行进路线的时间t1，距离为d，相对速度为v相对，则
Figure BDA0001838478520000133
叉车运行到交会点的时间为t2，与障碍物的夹角为θ，则
Figure BDA0001838478520000134
如果t2＞t1，那么叉车正常行驶，如果t2＜t1，那么叉车减速行驶，即可避过障碍物。
5)数据融合处理
视觉SLAM基于双目立体视觉技术进行定位，一般分为4个步骤：①图像特征点提取，常用的特征算子有sift、surf、harris等；②相邻两帧图像进行立体匹配；③采用RANSAC算法结合最小二乘法求解匹配点集的最优运动；④多帧特征点跟踪，利用局部光束平差法优化是误差最小。
在全局世界坐标系中，车体位置和姿态发生变化可以通过六个参数(Δx,Δy,Δz,Δα,Δβ,Δγ)表示，前三个参数代表位置的变化，后三个代表姿态的变化，当位置发生变化时相当于产生了平移向量T，姿态发生变化时相当于产生了维数3×3旋转矩阵R，即
Figure BDA0001838478520000141
其中，
Figure BDA0001838478520000142
双目相机利用三角交会原理可以得到物点的三维坐标，利用图像配准算法找出两帧图像中的对应特征点，利用立体视觉计算出该特征点前后的三维坐标，当获得4个特征点就可计算出旋转矩阵R和平移矩阵T，如果特征点较多时，可获得(R,T)最优解。
基于图搜索的路径规划会得到一系列路径交叉点，这构成了叉车可通行的最短路径，搜索原始的多条关键帧位置序列，将相邻交叉点的关键帧取出可构成一条向量，这条向量给出了叉车的方向信息。
激光雷达可提供叉车的位置信息(x,y,θ)，双目视觉在图像处理中可利用该定位信息加速图像配准速度、提高匹配的准确度。视觉里程计会存在积累误差，可利用激光雷达的数据进行补偿提高定位精度。
本发明无人驾驶转运叉车系统的主要性能指标如下：
定位精度：±5mm；
车体姿态角精度：0.01°；
避障范围：0.5-50m；
最大车速：0.7m/s；
续航时间：5h；
载重：1t；
举升高度：2.2m；
推出器推出距离：1.4m。
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (6)

1.一种基于激光定位和立体视觉的无人转运叉车的导航方法，其特征在于，所述方法采用的无人转运叉车，包括：
叉车本体和设在叉车本体工作场境中若干个反射靶标和托盘靶标；
所述叉车本体包括设于其前部的控制机构和其后部的多插齿推出器；
所述控制机构包括工控机处理模块和电池，工控机处理模块分别连接无线通信模块、车体控制器、激光雷达、双目视觉组件和工业三色灯；其中，车体控制器分别连接行走控制伺服系统和转弯控制伺服系统，双目视觉组件包括双目相机和MEMS传感器；
通过激光雷达和双目视觉组件扫描反射靶标获取叉车本体与反射靶标的距离信号，并输出至工控机处理模块，工控机处理模块控制叉车本体行进、避障；通过激光雷达和双目视觉组件扫描托盘靶标获取叉车本体与托盘上货物的距离和位置信息，并输出至工控机处理模块，工控机处理模块控制叉车本体多插齿推出器作业；
所述激光雷达和双目视觉组件通过桅杆安装在叉车本体的顶部；
所述反射靶标的位置提前标定好，当激光雷达同时扫描到三个或以上的反射靶标，即可解算出叉车车体的位置及姿态角信息；
所述的导航方法，包括如下步骤：
步骤1，根据现场环境，在叉车本体工作场景中布置与激光雷达相对应的若干反射靶标；
步骤2，叉车本体通过无线通信模块接收控制中心系统发送的任务, 解析目标位置；
步骤3，在工控机处理模块中预先标定叉车本体的参数，双目视觉组件实时采集工作场景现场图像，工控机处理模块根据激光雷达扫描反射靶标获取的叉车本体与靶标的距离信号,与预先标定构建的3D地图参数对叉车本体的位置及姿态进行解算，进行数据融合处理，获得叉车本体当前的位置；
步骤4，叉车本体根据目标位置规划行进路线；
步骤5，叉车本体根据预先标定到下一个特征位置的距离及偏角，沿规划的行进路线向目标位置行进，并通过双目视觉组件进行实时障碍物检测，若叉车本体在行进中未遇到障碍物，执行步骤6；否则，通过分析障碍物的运动状态、尺寸大小、障碍物与叉车本体的距离信息，通过智能避障策略进行避障处理，如果可通过，叉车本体绕过障碍物；如果不能安全通过，叉车本体停止工作，工业三色灯发出报警信号,直至障碍物被移除；
步骤6，叉车本体行驶到目标位置后，如果需要插取货物，则通过双目视觉组件对托盘靶标进行识别和定位，工控机处理模块解算叉车本体与货物的距离和位置信息，并计算出叉车本体的控制量，通过车体控制器调整叉车本体姿态，引导叉车本体插取货物；如果是装车，执行步骤8；
步骤7，多插齿推出器插入货物托盘，举起货物，完成取货；
步骤8，利用装车的基准位置，工控机处理模块调整叉车本体装车姿态，叉车本体将货物推出，完成装车。
2.根据权利要求1所述的基于激光定位和立体视觉的无人转运叉车的导航方法，其特征在于，所述步骤3中，在工控机处理模块中预先标定叉车本体的参数，包括如下步骤：
31）在工控机处理模块中预设叉车本体行进路线；
32）控制中心通过工控机处理模块控制车体控制器控制叉车本体按指定的路线行进，工控机处理模块实时获取激光雷到达反射靶标的距离数据；同时双目视觉组件实时采集叉车本体行进中工作环境的图像信息，并通过双目立体视觉图像处理算法获得工作场景的三维点云数据信息；
33）工控机处理模块通过视觉SLAM算法，结合MEMS传感器解析出叉车本体的姿态信息，生成叉车工作环境的3D地图；
34）工控机处理模块通过激光雷达数据处理算法完成激光雷达定位算法的参数标定；
35）通过数据融合算法生成叉车本体组合定位导航的数据包；
36）对组合定位导航的数据包进行精度验证；如果满足要求，结束标定；如果不满足设计要求，重新标定，直到满足要求为止。
3.根据权利要求2所述的导航方法，其特征在于，所述步骤35）中，数据融合算法，包括下述步骤：
35-1）利用特征提取算法提取图像中的角点信息；
35-2）利用激光雷达数据进行相邻多帧图像进行立体匹配和加速匹配；
35-3）采用RANSAC算法结合最小二乘法求解匹配点集的最优运动；
35-4）进行多帧特征点跟踪，利用局部光束平差法优化，使误差最小；
35-5）利用激光雷达数据对视觉里程计数据进行补偿修正。
4.根据权利要求1所述的导航方法，其特征在于，所述步骤5中，通过分析障碍物的运动状态、尺寸大小、障碍物与叉车本体的距离信息，通过下述方法得到：
51）双目视觉组件实时采集叉车工作环境的图像信息，采样周期为T；
52）对左右图像进行畸变校正，并对左右图像进行立体匹配，获取视差图；
53）利用视差图生成工作场景的三维点云数据；
54）根据检测阈值，对图像信息进行二值化，分离出障碍物和背景信息，利用连通域处理，判断障碍物是否存在；
55）如果障碍物不存在，继续检测，如果存在，计算障碍物的尺寸，并执行步骤56）；
56）根据障碍物在T时刻和
Figure QLYQS_1
与叉车本体的位置关系，判断障碍物运动的状态，速度、方向信息；/>
Figure QLYQS_2
为在不同位置的相隔时间；
57）根据障碍物的类型进行智能避障处理。
5.根据权利要求4所述的导航方法，其特征在于，所述步骤57）中，智能避障处理算法，具体如下：
57-1）判断障碍物的运动状态，如果障碍物是静止的，进行步骤57-2），如果障碍物是运动的，进行步骤57-3）；
57-2）计算叉车安全躲避障碍物的运动方向，控制叉车本体沿着该方向运动躲避障碍物；
57-3）计算障碍物的运动速度及运动方向，预估障碍物通过叉车行进路线的时间
Figure QLYQS_3
， 计算叉车运行到交会点的时间为/>
Figure QLYQS_4
；
57-4）如果
Figure QLYQS_5
，那么叉车正常行驶，如果/>
Figure QLYQS_6
，那么叉车减速行驶，可避过障碍物。
6.根据权利要求1所述的导航方法，其特征在于，所述步骤7中，多插齿推出器插入货物托盘步骤如下：
71）双目视觉组件采集托盘的图像信息；
72）识别出托盘上合作靶标在图像中的坐标，利用三角交会原理计算出托盘靶标的三维坐标；
73）计算托盘与叉车本体之间的位置关系；
74）根据托盘的位置，计算叉车对准托盘的运动控制量；
75）将控制量发送给叉车的行走伺服控制器和转弯伺服控制器，调整车体姿态。
CN201811237209.4A 2018-10-23 2018-10-23 基于激光定位和立体视觉的无人转运叉车及导航方法 Active CN109160452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811237209.4A CN109160452B (zh) 2018-10-23 2018-10-23 基于激光定位和立体视觉的无人转运叉车及导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811237209.4A CN109160452B (zh) 2018-10-23 2018-10-23 基于激光定位和立体视觉的无人转运叉车及导航方法

Publications (2)

Publication Number Publication Date
CN109160452A CN109160452A (zh) 2019-01-08
CN109160452B true CN109160452B (zh) 2023-06-20

Family

ID=64878791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811237209.4A Active CN109160452B (zh) 2018-10-23 2018-10-23 基于激光定位和立体视觉的无人转运叉车及导航方法

Country Status (1)

Country Link
CN (1) CN109160452B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110054116B (zh) * 2019-03-15 2021-01-08 广州蓝胖子机器人有限公司 应用于叉车的货叉导航方法、系统及无人叉车
CN110001661A (zh) * 2019-04-15 2019-07-12 安徽意欧斯物流机器人有限公司 一种双目视觉导航叉车式agv控制系统和方法
CN110147106A (zh) * 2019-05-29 2019-08-20 福建（泉州）哈工大工程技术研究院 具激光和视觉融合避障系统的智能移动服务机器人
CN110162066A (zh) * 2019-06-27 2019-08-23 广东利元亨智能装备股份有限公司 智能巡航车控制系统
CN110406378A (zh) * 2019-07-04 2019-11-05 苏州法艾姆物流设备有限公司 一种叉车行驶速度控制系统
CN110852180B (zh) * 2019-10-17 2022-08-02 上海快仓智能科技有限公司 用于自动引导车的tof相机标定方法及自动引导车
CN110597272A (zh) * 2019-10-23 2019-12-20 安徽理工大学 一种基于视觉导航的智能无人叉车系统及方法
CN111142517A (zh) * 2019-12-12 2020-05-12 南京理工大学 智能agv叉车入叉辅助方法和装置
CN111115511B (zh) * 2019-12-31 2022-02-15 广东电网有限责任公司 一种基于智能导航叉车的卸货及装货方法
JP7369626B2 (ja) * 2020-01-10 2023-10-26 三菱重工業株式会社 ビークルの制御システム、ビークルの制御方法及びプログラム
KR102117046B1 (ko) * 2020-01-16 2020-06-01 박철훈 지게차 충돌 예방 시스템
CN111170210B (zh) * 2020-03-05 2022-04-01 安徽宇锋仓储设备有限公司 一种用于叉车货叉货物检测装置系统
JP7370288B2 (ja) * 2020-03-19 2023-10-27 三菱重工業株式会社 演算装置、車両、荷役システム、演算方法及びプログラム
CN111620014A (zh) * 2020-04-30 2020-09-04 南京理工大学 一种仓储搬运agv多层货盘识别及避障装置和方法
CN111717581B (zh) * 2020-05-08 2021-08-31 广州大学 一种子母装卸车系统
CN111606250A (zh) * 2020-05-28 2020-09-01 广东博智林机器人有限公司 一种搬运装置、转场控制方法、电子设备及存储介质
CN111982104A (zh) * 2020-08-19 2020-11-24 湖州中科星眼科技有限公司 一种应用于智能叉车的视觉导航方法、存储介质及终端
CN111947647A (zh) * 2020-08-26 2020-11-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN111879184A (zh) * 2020-08-27 2020-11-03 航天科工智能机器人有限责任公司 移动靶车系统
CN112070759B (zh) * 2020-09-16 2023-10-24 浙江光珀智能科技有限公司 一种叉车托盘检测与定位方法及系统
CN112125224B (zh) * 2020-09-16 2022-06-10 中建材创新科技研究院有限公司 一种激光导航叉车的导航系统及方法
CN112141956B (zh) * 2020-09-16 2022-02-11 中建材创新科技研究院有限公司 一种激光导航叉车的定位系统及方法
CN112125226B (zh) * 2020-09-16 2022-01-11 中建材创新科技研究院有限公司 一种激光导航叉车的视觉检测系统及方法
CN112327320A (zh) * 2020-10-19 2021-02-05 未来机器人（深圳）有限公司 料笼插孔位姿检测方法及料笼搬运堆叠方法
CN112299334A (zh) * 2020-10-29 2021-02-02 红点定位(北京)科技有限公司 叉车防撞方法、装置、计算机设备和存储介质
CN112631289B (zh) * 2020-12-10 2024-03-26 中建材创新科技研究院有限公司 一种激光导航叉车的自动安全避障系统及方法
CN112581451B (zh) * 2020-12-21 2024-02-23 北京科技大学 一种基于激光雷达的仓库线卷位置检测系统及方法
CN113093729A (zh) * 2021-03-10 2021-07-09 上海工程技术大学 一种基于视觉与激光雷达的智能购物小车及控制方法
CN113086892B (zh) * 2021-04-02 2022-05-17 上海大学 一种无线遥控叉车系统
CN112947349A (zh) * 2021-04-06 2021-06-11 南京航空航天大学苏州研究院 基于双目视觉的自动化产线中agv与工位的二次定位装置与方法
CN113104768A (zh) * 2021-05-07 2021-07-13 安徽宇锋仓储设备有限公司 一种前移式叉车agv
CN113848910B (zh) * 2021-09-27 2022-08-02 东风本田发动机有限公司 导航系统、导航控制方法及装置、控制器、agv小车
CN113998626A (zh) * 2021-09-27 2022-02-01 诺力智能装备股份有限公司 一种应用于托盘识别/定位的调整agv姿态方法
CN114137966A (zh) * 2021-11-22 2022-03-04 北京云迹科技有限公司 一种移动装置的控制方法、装置、系统及存储介质
CN114148959B (zh) * 2021-12-13 2023-04-07 哈尔滨工业大学芜湖机器人产业技术研究院 一种激光叉车路径搜索方法
CN114873526B (zh) * 2022-07-12 2022-09-16 太原理工大学 一种自动挂接卸货装置及其双目识别卸货方法
CN115676698B (zh) * 2022-10-14 2023-05-09 哈尔滨科锐同创机模制造有限公司 基于移动终端设备的托盘定位方法、系统、装置和介质
CN116774213B (zh) * 2023-08-24 2023-10-13 成都艾视特信息技术有限公司 一种无轨道运动机构导航方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003073093A (ja) * 2001-09-06 2003-03-12 Nippon Yusoki Co Ltd 無人フォークリフト
WO2012048420A1 (en) * 2010-10-15 2012-04-19 Silonex Inc. Optical positioning system and method
CN105607635A (zh) * 2016-01-05 2016-05-25 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车
CN205527598U (zh) * 2016-03-29 2016-08-31 杭州瓦瑞科技有限公司 基于视觉导航的智能叉车式agv控制系统
JP2017019596A (ja) * 2015-07-08 2017-01-26 株式会社豊田自動織機 無人フォークリフトにおける荷取り時の走行制御方法及び荷取り時の走行制御装置
CN106556825A (zh) * 2015-09-29 2017-04-05 北京自动化控制设备研究所 一种全景视觉成像系统的联合标定方法
CN107131885A (zh) * 2017-06-07 2017-09-05 西安中科光电精密工程有限公司 一种室内红外3d定位测量系统及定位测量方法
CN108147322A (zh) * 2017-12-25 2018-06-12 湖南思控智能科技有限公司 一种激光导航式叉车

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6492024B2 (ja) * 2016-03-30 2019-03-27 株式会社豊田中央研究所 移動体
US10346797B2 (en) * 2016-09-26 2019-07-09 Cybernet Systems, Inc. Path and load localization and operations supporting automated warehousing using robotic forklifts or other material handling vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003073093A (ja) * 2001-09-06 2003-03-12 Nippon Yusoki Co Ltd 無人フォークリフト
WO2012048420A1 (en) * 2010-10-15 2012-04-19 Silonex Inc. Optical positioning system and method
JP2017019596A (ja) * 2015-07-08 2017-01-26 株式会社豊田自動織機 無人フォークリフトにおける荷取り時の走行制御方法及び荷取り時の走行制御装置
CN106556825A (zh) * 2015-09-29 2017-04-05 北京自动化控制设备研究所 一种全景视觉成像系统的联合标定方法
CN105607635A (zh) * 2016-01-05 2016-05-25 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车
CN205527598U (zh) * 2016-03-29 2016-08-31 杭州瓦瑞科技有限公司 基于视觉导航的智能叉车式agv控制系统
CN107131885A (zh) * 2017-06-07 2017-09-05 西安中科光电精密工程有限公司 一种室内红外3d定位测量系统及定位测量方法
CN108147322A (zh) * 2017-12-25 2018-06-12 湖南思控智能科技有限公司 一种激光导航式叉车

Also Published As

Publication number Publication date
CN109160452A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109160452B (zh) 基于激光定位和立体视觉的无人转运叉车及导航方法
EP3497672B1 (en) Pallet localization systems and methods
WO2020258721A1 (zh) 智能巡航车导航方法及系统
CN110054116B (zh) 应用于叉车的货叉导航方法、系统及无人叉车
CN111201879B (zh) 基于图像识别的粮食收割、运输一体化装载装置/方法
JP6211734B1 (ja) ステレオ処理及び構造化光処理の組み合わせ
CN110837814B (zh) 车辆导航方法、装置及计算机可读存储介质
CN105607635A (zh) 自动导引车全景光学视觉导航控制系统及全向自动导引车
US20210101747A1 (en) Positioning apparatus capable of measuring position of moving body using image capturing apparatus
US20210318122A1 (en) Positioning apparatus capable of measuring position of moving body using image capturing apparatus
JP7252581B2 (ja) 物品検出装置、物品検出方法、及び産業車両
CN111638530B (zh) 一种叉车定位的方法、叉车及计算机可读存储介质
US20230137089A1 (en) Method for Controlling an Automatic Guided Vehicle and Control System Adapted to Execute the Method
US20220366596A1 (en) Positioning system for measuring position of moving body using image capturing apparatus
US20220366599A1 (en) Positioning system and moving body for measuring position of moving body using image capturing apparatus
CN112214012A (zh) 一种导航方法、移动载体及导航系统
US20210312661A1 (en) Positioning apparatus capable of measuring position of moving body using image capturing apparatus
CN109857122A (zh) 仓库运输车辆的路径控制方法、装置和仓库运输系统
CN117115249A (zh) 一种集装箱锁孔自动识别定位系统及方法
KR102249485B1 (ko) 로봇 자율주행 시스템 및 방법
KR20180066668A (ko) 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법
US20220355474A1 (en) Method and computing system for performing robot motion planning and repository detection
CN115289966A (zh) 基于tof相机的货架检测定位系统及方法
CN117897348A (zh) 货架定位方法、货架对接方法以及装置、设备、介质
JP2021160931A (ja) 荷役システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant