CN114862301A - 基于二维码辅助定位的托盘叉车agv自动装载方法 - Google Patents

基于二维码辅助定位的托盘叉车agv自动装载方法 Download PDF

Info

Publication number
CN114862301A
CN114862301A CN202210343657.2A CN202210343657A CN114862301A CN 114862301 A CN114862301 A CN 114862301A CN 202210343657 A CN202210343657 A CN 202210343657A CN 114862301 A CN114862301 A CN 114862301A
Authority
CN
China
Prior art keywords
tray
pose
agv
dimensional code
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210343657.2A
Other languages
English (en)
Inventor
王明俊
魏璇
施盛华
罗江勇
王洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Cotek Robot Co ltd
Original Assignee
Zhejiang Cotek Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cotek Robot Co ltd filed Critical Zhejiang Cotek Robot Co ltd
Priority to CN202210343657.2A priority Critical patent/CN114862301A/zh
Publication of CN114862301A publication Critical patent/CN114862301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明公开了一种基于二维码辅助定位的托盘叉车AGV自动装载方法,该方法利用相机获取布设有二维码标签的仓储托盘图像,对图像进行二维码标签检测;基于PnP方法解算标签中心在相机坐标系下的位姿,通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿;根据仓储托盘局部位姿和托盘叉车AGV全局位姿计算仓储托盘全局位姿;进一步获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径;控制托盘叉车AGV跟踪取货路径,实现托盘叉车AGV对仓储托盘的全自动精准装载。本发明不需要指定托盘颜色和尺寸,与传统技术相比,具有位姿估计准确性高、路径跟踪效果好的特点,显著提高了托盘自动装载成功率,在保证自动搬运安全可靠的前提下,有效提升搬运效率。

Description

基于二维码辅助定位的托盘叉车AGV自动装载方法
技术领域
本发明涉及移动机器人自主导航控制,仓储托盘检测技术领域,尤其涉及一种基于二维码辅助定位的托盘叉车AGV自动装载方法。
背景技术
互联网经济的发展,推动着传统物流配送模式不断变革升级,如何提高物流效率、降低物流成本已经成为焦点问题。自智慧物流概念被首次全方位提起以来,物流在多个环节正在日益实现自动化、智能化,一些重复度高、强度大的工作逐步被智能机器人完成。同时,人口老龄化加剧使得高度自动化的智能仓储成为迫切需求,以托盘叉车AGV为代表自主移动机器人自动搬运在物流业的应用越来越广泛,智慧物流也已经变成行业的风向标。智慧物流能够在装载、搬运、分拣等环节上提升效率并降低失误率,提高社会生产力水平。
在实际应用中,物流仓储环境复杂多变,存在静态特征物稀疏、光照强度不均、全局导航累计误差等影响因素,托盘叉车AGV依靠自主定位导航能力到达库位点附近准备取货,由于缺乏对装载目标的自动识别与定位能力,托盘叉车AGV无法获取仓储托盘的局部位姿信息,装载时极易发生碰撞、叉取不充分甚至损坏货物等问题,存在很大的安全隐患。为防止事故发生,需要人工监督和调整,虽然一定程度上减少了人工负担,但无法最大化发挥托盘叉车AGV搬运效率高、载重量大的特点。可见,仓储托盘检测与自适应位姿镇定功能是托盘叉车AGV不可或缺的关键技术,是实现物流仓储无人化作业至关重要的环节。
研究仓储托盘检测与位姿估计算法,以及自适应位姿镇定算法,对于提升托盘叉车AGV智能化水平,在物流装载、搬运、分拣等环节上降低出错率、提高效率,最终实现全自动搬运具有重大意义,也是智慧物流研究的核心问题之一。
发明内容
本发明的目的在于克服实现叉车自动搬运存在的种种困难以及现有仓储托盘检测方法的不足,提供一种基于二维码辅助定位的托盘叉车AGV自动装载方法,该方法涉及仓储托盘检测和移动机器人自适应位姿镇定:首先检测出托盘上的二维码标签;然后基于PnP方法解算标签中心的位姿,实现对托盘的位姿估计,并结合托盘叉车AGV的全局位姿计算并更新托盘状态。AGV自动装载部分首先使用局部路径规划算法制定最优取货路径并使用贝塞尔曲线平滑处理;然后提出用于路径跟踪的核心导航控制算法;最后在托盘叉车AGV实验平台上算法实现。
本发明的目的是通过以下技术方案实现的:一种基于二维码辅助定位的托盘叉车AGV自动装载方法,该方法包括以下步骤:
步骤1、利用安装在托盘叉车AGV的相机获取布设有二维码标签的仓储托盘的原始RGB图像;
步骤2、对仓储托盘原始RGB图像进行二维码标签区域检测,若未检测到二维码标签区域,则继续获取下一帧图像;
步骤3、基于PnP方法解算二维码标签中心在相机坐标系下的六自由度位姿,通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿,实现对仓储托盘的局部位姿估计;
步骤4、根据步骤3得到的仓储托盘局部位姿和托盘叉车AGV全局位姿,计算仓储托盘全局位姿;
步骤5、根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿,获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径;
步骤6、控制托盘叉车AGV跟踪取货路径,实现托盘叉车AGV对仓储托盘的全自动精准装载。
进一步地,所述二维码标签布设在仓储托盘取货侧中心立柱的外侧面,将仓储托盘上与二维码标签中心对称的点作为仓储托盘参考点。
进一步地,所述步骤2中,对于仓储托盘原始RGB图像,通过图像灰度化、自适应阈值处理、连续边界分割、四边形拟合、解码匹配,检测出布设在仓储托盘上的二维码标签。
进一步地,所述连续边界分割具体为:基于自适应阈值处理得到的二值图的黑色和白色像素信息分割边缘;使用联合查找算法对明暗像素的连接像素簇进行分割,并用唯一的ID代表每个像素簇。
进一步地,所述四边形拟合具体为:先找到少量角点,然后遍历角点的所有组合方式来计算近似分组,输出一组或多组候选四边形;
所述解码匹配具体为:将四边形包含的四个方向的码值分别与标签簇中的每个标签代码进行异或比较,过滤错误的候选四边形。
进一步地,所述步骤3具体为:
3-1、通过步骤2检测到的目标二维码标签,结合相机内参矩阵、二维码标签物理尺寸和相机单应矩阵,求解二维码标签中心在相机坐标系下的六自由度位姿信息,即相机坐标系下三个方向的坐标:Xc、Zc、Yc和欧拉角:偏航角
Figure BDA0003575815490000021
俯仰角和横滚角;
3-2、将二维码标签中心点在相机坐标系下的位姿表示为O:
Figure BDA0003575815490000022
坐标转换之后,得到仓储托盘参考点在相机坐标系下的位姿P:
Figure BDA0003575815490000031
其参考点与标签中心存在横向和纵向偏差,托盘边长假设为a,则托盘参考点的位姿表示为:
Figure BDA0003575815490000032
进一步地,所述步骤4中,计算仓储托盘全局位姿具体为:
相机光心到托盘叉车AGV参考点存在位姿偏差,假设纵向偏差为xc、横向偏差为yc、角度偏差为θ;由相机坐标系到叉车AGV坐标系,旋转矩阵R表示为:
Figure BDA0003575815490000033
令托盘叉车AGV在世界坐标系下的位姿为(Xw,Yw,α),仓储托盘在相机坐标系下的位姿为
Figure BDA0003575815490000034
则仓储托盘在世界坐标系下的位姿计算公式为:
Figure BDA0003575815490000035
其中(Xwp,Ywp)是仓储托盘在世界坐标系下的全局坐标,φ是仓储托盘在世界坐标系下的全局偏航角;仓储托盘参考点在全局坐标系下的状态表示为:(Xwp,Ywp,φ)。
进一步地,所述步骤5中,根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿,获得从托盘叉车AGV当前点到仓储托盘参考点的最优取货路径,并使用贝塞尔曲线平滑处理,取货路径F(t)的表达式为:
F(t)=(1-t)3P1+3t(1-t)2P2+3t2(1-t)P3+t3P4 t∈[0,1]
上式为三阶贝塞尔曲线参数方程,比例系数t取值为0到1;P1为起点,即托盘叉车AGV的当前位姿,P4为终点,即仓储托盘参考点,P2和P3为控制点,人为设定;通过人为选取两个控制点进行路径拟合,拟合之后取货路径更加平滑。
进一步地,控制点P2和P3分别设定为从托盘叉车AGV当前世界坐标到二维码标签中心世界坐标连线的中点,以及二维码标签中心世界坐标到仓储托盘参考点连线的中点。
进一步地,所述步骤6中,通过计算角速度和速度下发给叉车底盘,控制其运动,实现托盘叉车AGV跟踪取货路径,具体为:
6-1、角速度计算公式表示为:
ω=K1Δy+K2β+K3γ
其中Δy为当前位姿点到取货路径上目标点的切线的距离,β表示叉车当前位姿的偏航角,γ表示叉车当前位姿点与目标点之间的角度偏差;输入参数K1,K2,K3为固定参数,三个参数的选择会影响路径跟踪效果,输出结果为角速度ω;
6-2、线速度的计算具体为:
计算当前点到目标点的距离d:
Figure BDA0003575815490000041
其中a为加速度,vcur和vmin分别为当前速度和速度下限;假设当前位姿点到目标点的投影距离是Δx;
如果d小于等于Δx,则线速度计算公式为:
Figure BDA0003575815490000042
如果d大于Δx,则线速度计算公式为:
v=v+aT
此处v有最大速度vmax限制,即v≤vmax,其中T为控制周期。
本发明的有益结果是:本发明提供的一种基于二维码辅助定位的托盘叉车AGV自动装载方法,该方法分为两部分:首先通过阈值处理、连续边界分割、四边形拟合、解码匹配等步骤检测出托盘上的二维码标签;然后基于PnP方法解算标签中心的位姿,实现对托盘的位姿估计,并结合托盘叉车AGV的全局位姿计算并更新托盘状态。AGV自动装载部分首先使用局部路径规划算法制定最优取货路径并使用贝塞尔曲线平滑处理;然后提出用于路径跟踪的核心导航控制算法;最后在托盘叉车AGV实验平台上算法实现。本发明不需要指定托盘颜色和尺寸,与传统技术相比,具有位姿估计准确性高、路径跟踪效果好的特点,显著提高了托盘自动装载成功率,在保证自动搬运安全可靠的前提下,有效提升搬运效率。
附图说明
图1为本发明基于二维码辅助定位的托盘叉车AGV自动装载方法的流程图。
图2为仓储托盘检测与位姿估计结果图。
图3为仓储托盘检测与位姿估计俯视图。
图4为仓储托盘与叉车位姿关系示意图。
图5为路径跟踪算法原理图。
具体实施方式
下面结合附图进一步清楚、完整地描述本发明的技术方案,但所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护范围。
如图1所示,本实施例提供的基于二维码辅助定位的托盘叉车AGV自动装载方法,包括以下步骤:
步骤1、利用安装在托盘叉车AGV的相机获取布设有二维码标签的仓储托盘的原始RGB图像;
在一个实施例中,步骤1的实现具体如下:
1-1、相机安装在托盘叉车AGV右叉腿末端,相机采用Realsense D435,RealsenseD435相机的RGB摄像头实时传输速度达到30fps,图像分辨率支持1920×1080,RealsenseD435相机的固件版本为Signed_Image_UVC_5_12_14_50.bin,相机与控制器之间使用USB3.1进行数据传输;
1-2、仓储托盘布设的二维码标签选取Apriltag基准库中的Tag36h11族,共有587个不同的标签,标签尺寸为60mm×60mm;
1-3、二维码标签布设在仓储托盘立柱外侧面,优选为取货侧面中心立柱的外侧面,如图2所示,将仓储托盘上与二维码标签中心对称的点作为仓储托盘参考点,如图3中P为参考点;
1-4、将D435相机的图像格式、分辨率、帧率等参数设置为统一格式,D435相机进行硬件初始化、软件初始化后,开启D435相机,开始获取含有仓储托盘的RGB图像。
步骤2、对仓储托盘原始RGB图像,通过图像灰度化、自适应阈值处理、连续边界分割、四边形拟合、解码匹配等方法进行二维码标签区域检测,若未检测到二维码标签区域,则继续获取下一帧图像;图2为检测结果示例;在一个实施例中,步骤2的实现具体如下:
(1)将RGB图像灰度化;
(2)自适应阈值处理:采用自适应阈值方法将输入灰度图像处理为二值图像,取4×4像素块中的极大值max和极小值min计算阈值,根据阈值形成二值图,阈值计算公式为:
T=(max+min)/2
(3)连续边界分割:为提高分割准确率,基于所产生的黑色和白色像素信息分割边缘。使用联合查找算法(Union-Find)对明暗像素的连接像素簇进行分割,并用唯一的ID代表每个像素簇;
(4)四边形拟合:先找到少量角点,然后遍历角点的所有组合方式来计算近似分组。四边形拟合步骤输出一组或几组候选四边形,环境中的许多四边形结构,包括开关、托盘网格、标签单个比特位等都能找到;
(5)快速解码匹配:将四边形包含的四个方向的码值分别与标签簇中的每个标签代码进行异或比较,过滤掉错误的候选四边形。
步骤3、基于PnP(Perspective-n-Point)方法解算二维码标签中心在相机坐标系下的六自由度位姿,通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿,实现对仓储托盘的局部位姿估计,如图3所示;在一个实施例中,步骤3的实现具体如下:
(1)PnP是求解3D到2D点对运动的方法,可以根据空间点坐标及其投影位置解算相机的位姿。通过上述步骤2已经检测到目标二维码标签,接下去需要结合相机内参矩阵、二维码标签的物理尺寸和相机的单应矩阵求解二维码标签中心在相机坐标系下的6DOF位姿信息,即相机坐标系下三个方向的坐标:Xc、Zc、Yc和欧拉角:偏航角
Figure BDA0003575815490000061
俯仰角和横滚角。
(2)通过坐标转换,得到仓储托盘参考点在相机坐标系下的位姿,实现对仓储托盘的局部位姿估计。在实际物流应用场景中,相对位姿关系只需要考虑横向偏移Xc、纵向偏移Zc以及偏航角
Figure BDA0003575815490000062
二维码标签中心点在相机坐标系下的位姿表示为O:
Figure BDA0003575815490000063
坐标转换之后,得到仓储托盘的参考点在相机坐标系下的位姿P:
Figure BDA0003575815490000064
其参考点与标签中心存在横向和纵向偏差,托盘边长假设为a,则托盘参考点P的位姿可以表示为:
Figure BDA0003575815490000065
步骤4、根据步骤3得到的仓储托盘局部位姿和托盘叉车AGV全局位姿,计算仓储托盘全局位姿,如图4所示;在一个实施例中,步骤4的实现具体如下:
相机光心OC到托盘叉车AGV参考点OF存在位姿偏差,假设纵向偏差为xc、横向偏差为yc、角度偏差为θ;由相机坐标系到叉车AGV坐标系,旋转矩阵R表示为:
Figure BDA0003575815490000066
托盘叉车AGV通常可基于激光雷达传感器实现全局地图下的定位,通过预留接口能够获取其全局的实时位姿。令托盘叉车AGV在世界坐标系下的位姿为(Xw,Yw,α),仓储托盘在相机坐标系下的位姿为
Figure BDA0003575815490000067
则仓储托盘在世界坐标系下的位姿计算公式为:
Figure BDA0003575815490000068
其中(Xwp,Ywp)是仓储托盘在世界坐标系下的全局坐标,φ是仓储托盘在世界坐标系下的全局偏航角;仓储托盘参考点在全局坐标系下的状态表示为:(Xwp,Ywp,φ)。
步骤5、根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿,获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径;在一个实施例中,使用局部路径跟踪算法获得从托盘叉车AGV当前点到仓储托盘参考点的最优取货路径,并使用贝塞尔曲线平滑处理,取货路径F(t)的表达式为:
F(t)=(1-t)3P1+3t(1-t)2P2+3t2(1-t)P3+t3P4 t∈[0,1]
上式为三阶贝塞尔曲线参数方程,比例系数t取值为0到1;P1为起点,即托盘叉车AGV的当前位姿,P4为终点,即仓储托盘参考点,P2和P3为控制点,人为设定,优选为从托盘叉车AGV当前世界坐标到二维码标签中心世界坐标连线的中点,以及二维码标签中心世界坐标到仓储托盘参考点连线的中点;通过人为选取两个控制点进行路径拟合,拟合之后取货路径更加平滑。
步骤6、控制托盘叉车AGV跟踪取货路径,实现托盘叉车AGV对仓储托盘的全自动精准装载,具体为:如图5所示,通过计算角速度和速度下发给叉车底盘,控制其运动,实现托盘叉车AGV跟踪取货路径:
6-1、角速度计算公式表示为:
ω=K1Δy+K2β+K3γ
其中Δy为当前位姿点到取货路径上目标点的切线的距离,β表示叉车当前位姿的偏航角,γ表示叉车当前位姿点与目标点之间的角度偏差;输入参数K1,K2,K3为固定参数,三个参数的选择会影响路径跟踪效果,输出结果为角速度ω;
6-2、线速度的计算具体为:
计算当前点到目标点的距离d:
Figure BDA0003575815490000071
其中a为加速度,vcur和vmin分别为当前速度和速度下限;假设当前位姿点到目标点的投影距离是Δx;
如果d小于等于Δx,则线速度计算公式为:
Figure BDA0003575815490000072
如果d大于Δx,则线速度计算公式为:
v=v+aT
此处v有最大速度vmax限制,即v≤vmax,其中T为控制周期。
本发明不需要指定托盘颜色和尺寸,与传统技术相比,具有位姿估计准确性高、路径跟踪效果好的特点,显著提高了托盘自动装载成功率,在保证自动搬运安全可靠的前提下,有效提升搬运效率。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,包括:
步骤1、利用安装在托盘叉车AGV的相机获取布设有二维码标签的仓储托盘的原始RGB图像;
步骤2、对仓储托盘原始RGB图像进行二维码标签区域检测,若未检测到二维码标签区域,则继续获取下一帧图像;
步骤3、基于PnP方法解算二维码标签中心在相机坐标系下的六自由度位姿,通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿,实现对仓储托盘的局部位姿估计;
步骤4、根据步骤3得到的仓储托盘局部位姿和托盘叉车AGV全局位姿,计算仓储托盘全局位姿;
步骤5、根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿,获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径;
步骤6、控制托盘叉车AGV跟踪取货路径,实现托盘叉车AGV对仓储托盘的全自动精准装载。
2.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述二维码标签布设在仓储托盘取货侧中心立柱的外侧面,将仓储托盘上与二维码标签中心对称的点作为仓储托盘参考点。
3.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述步骤2中,对于仓储托盘原始RGB图像,通过图像灰度化、自适应阈值处理、连续边界分割、四边形拟合、解码匹配,检测出布设在仓储托盘上的二维码标签。
4.根据权利要求3所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述连续边界分割具体为:基于自适应阈值处理得到的二值图的黑色和白色像素信息分割边缘;使用联合查找算法对明暗像素的连接像素簇进行分割,并用唯一的ID代表每个像素簇。
5.根据权利要求3所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述四边形拟合具体为:先找到少量角点,然后遍历角点的所有组合方式来计算近似分组,输出一组或多组候选四边形;
所述解码匹配具体为:将四边形包含的四个方向的码值分别与标签簇中的每个标签代码进行异或比较,过滤错误的候选四边形。
6.根据权利要求1-5中任一项所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述步骤3具体为:
3-1、通过步骤2检测到的目标二维码标签,结合相机内参矩阵、二维码标签物理尺寸和相机单应矩阵,求解二维码标签中心在相机坐标系下的六自由度位姿信息,即相机坐标系下三个方向的坐标:Xc、Zc、Yc和欧拉角:偏航角
Figure FDA0003575815480000021
俯仰角和横滚角;
3-2、将二维码标签中心点在相机坐标系下的位姿表示为
Figure FDA0003575815480000022
坐标转换之后,得到仓储托盘参考点在相机坐标系下的位姿
Figure FDA0003575815480000023
其参考点与标签中心存在横向和纵向偏差,托盘边长假设为a,则托盘参考点的位姿表示为:
Figure FDA0003575815480000024
7.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述步骤4中,计算仓储托盘全局位姿具体为:
相机光心到托盘叉车AGV参考点存在位姿偏差,假设纵向偏差为xc、横向偏差为yc、角度偏差为θ;由相机坐标系到叉车AGV坐标系,旋转矩阵R表示为:
Figure FDA0003575815480000025
令托盘叉车AGV在世界坐标系下的位姿为(Xw,Yw,α),仓储托盘在相机坐标系下的位姿为
Figure FDA0003575815480000026
则仓储托盘在世界坐标系下的位姿计算公式为:
Figure FDA0003575815480000027
其中(Xwp,Ywp)是仓储托盘在世界坐标系下的全局坐标,φ是仓储托盘在世界坐标系下的全局偏航角;仓储托盘参考点在全局坐标系下的状态表示为:(Xwp,Ywp,φ)。
8.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述步骤5中,根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿,获得从托盘叉车AGV当前点到仓储托盘参考点的最优取货路径,并使用贝塞尔曲线平滑处理,取货路径F(t)的表达式为:
F(t)=(1-t)3P1+3t(1-t)2P2+3t2(1-t)P3+t3P4 t∈[0,1]
上式为三阶贝塞尔曲线参数方程,比例系数t取值为0到1;P1为起点,即托盘叉车AGV的当前位姿,P4为终点,即仓储托盘参考点,P2和P3为控制点,人为设定;通过人为选取两个控制点进行路径拟合,拟合之后取货路径更加平滑。
9.根据权利要求8所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,控制点P2和P3分别设定为从托盘叉车AGV当前世界坐标到二维码标签中心世界坐标连线的中点,以及二维码标签中心世界坐标到仓储托盘参考点连线的中点。
10.据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法,其特征在于,所述步骤6中,通过计算角速度和速度下发给叉车底盘,控制其运动,实现托盘叉车AGV跟踪取货路径,具体为:
6-1、角速度计算公式表示为:
ω=K1Δy+K2β+K3γ
其中Δy为当前位姿点到取货路径上目标点的切线的距离,β表示叉车当前位姿的偏航角,γ表示叉车当前位姿点与目标点之间的角度偏差;输入参数K1,K2,K3为固定参数,三个参数的选择会影响路径跟踪效果,输出结果为角速度ω;
6-2、线速度的计算具体为:
计算当前点到目标点的距离d:
Figure FDA0003575815480000031
其中a为加速度,vcur和vmin分别为当前速度和速度下限;假设当前位姿点到目标点的投影距离是Δx;
如果d小于等于Δx,则线速度计算公式为:
Figure FDA0003575815480000032
如果d大于Δx,则线速度计算公式为:
v=v+aT
此处v有最大速度vmax限制,即v≤vmax,其中T为控制周期。
CN202210343657.2A 2022-03-31 2022-03-31 基于二维码辅助定位的托盘叉车agv自动装载方法 Pending CN114862301A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210343657.2A CN114862301A (zh) 2022-03-31 2022-03-31 基于二维码辅助定位的托盘叉车agv自动装载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210343657.2A CN114862301A (zh) 2022-03-31 2022-03-31 基于二维码辅助定位的托盘叉车agv自动装载方法

Publications (1)

Publication Number Publication Date
CN114862301A true CN114862301A (zh) 2022-08-05

Family

ID=82629414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210343657.2A Pending CN114862301A (zh) 2022-03-31 2022-03-31 基于二维码辅助定位的托盘叉车agv自动装载方法

Country Status (1)

Country Link
CN (1) CN114862301A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526385A (zh) * 2022-09-13 2022-12-27 成都飞机工业(集团)有限责任公司 一种仓储物流配送路径规划方法、装置、设备及介质
CN115593967A (zh) * 2022-10-08 2023-01-13 北京捷象灵越科技有限公司(Cn) 一种用于agv取放托盘的装置与agv取放托盘的方法
CN115676698A (zh) * 2022-10-14 2023-02-03 哈尔滨科锐同创机模制造有限公司 基于移动终端设备的托盘定位方法、系统、装置和介质
CN116443527A (zh) * 2023-06-13 2023-07-18 上海木蚁机器人科技有限公司 基于激光雷达的托盘叉取方法、装置、设备和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044645A (zh) * 2016-08-02 2016-10-26 诺力机械股份有限公司 一种基于二维码定位的货物托盘存取系统、及其存取方法
CN107463173A (zh) * 2017-07-31 2017-12-12 广州维绅科技有限公司 仓储agv导航方法及装置、计算机设备及存储介质
CN108549397A (zh) * 2018-04-19 2018-09-18 武汉大学 基于二维码和惯导辅助的无人机自主降落方法及系统
CN110427033A (zh) * 2019-08-12 2019-11-08 苏州寻迹智行机器人技术有限公司 一种基于二维码的激光导航agv高精度定位方法
CN112364677A (zh) * 2020-11-23 2021-02-12 盛视科技股份有限公司 基于二维码的机器人视觉定位方法
CN113050636A (zh) * 2021-03-15 2021-06-29 广东省农业科学院 一种叉车自主拾取托盘的控制方法、系统及装置
CN113409397A (zh) * 2021-05-18 2021-09-17 杭州电子科技大学 一种基于rgbd相机的仓储托盘检测与定位方法
CN113433951A (zh) * 2021-07-28 2021-09-24 广东奥普特科技股份有限公司 一种agv叉车智能导引方法及agv叉车智能导引系统
CN113537096A (zh) * 2021-07-21 2021-10-22 常熟理工学院 基于ros的agv叉车库位托盘识别及辅助定位方法及系统
CN113807116A (zh) * 2020-06-15 2021-12-17 上海知步邦智能科技有限公司 基于二维码的机器人六维位姿定位方法
CN114195045A (zh) * 2021-11-29 2022-03-18 宁波如意股份有限公司 一种无人叉车的自动叉取方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044645A (zh) * 2016-08-02 2016-10-26 诺力机械股份有限公司 一种基于二维码定位的货物托盘存取系统、及其存取方法
CN107463173A (zh) * 2017-07-31 2017-12-12 广州维绅科技有限公司 仓储agv导航方法及装置、计算机设备及存储介质
CN108549397A (zh) * 2018-04-19 2018-09-18 武汉大学 基于二维码和惯导辅助的无人机自主降落方法及系统
CN110427033A (zh) * 2019-08-12 2019-11-08 苏州寻迹智行机器人技术有限公司 一种基于二维码的激光导航agv高精度定位方法
CN113807116A (zh) * 2020-06-15 2021-12-17 上海知步邦智能科技有限公司 基于二维码的机器人六维位姿定位方法
CN112364677A (zh) * 2020-11-23 2021-02-12 盛视科技股份有限公司 基于二维码的机器人视觉定位方法
CN113050636A (zh) * 2021-03-15 2021-06-29 广东省农业科学院 一种叉车自主拾取托盘的控制方法、系统及装置
CN113409397A (zh) * 2021-05-18 2021-09-17 杭州电子科技大学 一种基于rgbd相机的仓储托盘检测与定位方法
CN113537096A (zh) * 2021-07-21 2021-10-22 常熟理工学院 基于ros的agv叉车库位托盘识别及辅助定位方法及系统
CN113433951A (zh) * 2021-07-28 2021-09-24 广东奥普特科技股份有限公司 一种agv叉车智能导引方法及agv叉车智能导引系统
CN114195045A (zh) * 2021-11-29 2022-03-18 宁波如意股份有限公司 一种无人叉车的自动叉取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐仲勋;刘建新;王亚威;曾嫱;: "一种基于标记码的AGV小车导航修正方法", 机床与液压, no. 03, 15 February 2018 (2018-02-15), pages 71 - 75 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526385A (zh) * 2022-09-13 2022-12-27 成都飞机工业(集团)有限责任公司 一种仓储物流配送路径规划方法、装置、设备及介质
CN115526385B (zh) * 2022-09-13 2024-04-16 成都飞机工业(集团)有限责任公司 一种仓储物流配送路径规划方法、装置、设备及介质
CN115593967A (zh) * 2022-10-08 2023-01-13 北京捷象灵越科技有限公司(Cn) 一种用于agv取放托盘的装置与agv取放托盘的方法
CN115676698A (zh) * 2022-10-14 2023-02-03 哈尔滨科锐同创机模制造有限公司 基于移动终端设备的托盘定位方法、系统、装置和介质
CN116443527A (zh) * 2023-06-13 2023-07-18 上海木蚁机器人科技有限公司 基于激光雷达的托盘叉取方法、装置、设备和介质
CN116443527B (zh) * 2023-06-13 2023-09-08 上海木蚁机器人科技有限公司 基于激光雷达的托盘叉取方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN114862301A (zh) 基于二维码辅助定位的托盘叉车agv自动装载方法
CN110243380B (zh) 一种基于多传感器数据与角度特征识别的地图匹配方法
US10209063B2 (en) Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose
CN114820391B (zh) 基于点云处理的仓储托盘检测定位方法及系统
CN113537096B (zh) 基于ros的agv叉车库位托盘识别及辅助定位方法及系统
CN111158355A (zh) 自动导航云服务器及自动导航控制方法
CN112935703B (zh) 识别动态托盘终端的移动机器人位姿校正方法及系统
CN113253737B (zh) 货架检测方法及装置、电子设备、存储介质
Walter et al. Closed-loop pallet manipulation in unstructured environments
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
CN113050636A (zh) 一种叉车自主拾取托盘的控制方法、系统及装置
CN115308708A (zh) 一种基于激光雷达的托盘位姿识别方法与系统
Behrje et al. An autonomous forklift with 3d time-of-flight camera-based localization and navigation
CN115546300A (zh) 紧密摆放的托盘位姿识别方法和装置、计算机设备、介质
CN114911226A (zh) 搬运车行驶控制方法、装置及搬运车
CN116443527B (zh) 基于激光雷达的托盘叉取方法、装置、设备和介质
CN113420648A (zh) 一种具有旋转适应性的目标检测方法及系统
CN113310484B (zh) 一种移动机器人定位方法和系统
CN113706610B (zh) 基于rgb-d相机的栈板位姿计算方法
CN112330748B (zh) 一种基于双目深度相机的托盘识别和定位方法
Ho et al. Optimal Truncated MobileNet-Based Image Binarization for Pose-Based Visual Servoing of Autonomous Mobile Robot
US20230236600A1 (en) Operational State Detection for Obstacles in Mobile Robots
Kirci et al. EuroPallet Detection with RGB-D Camera Based on Deep Learning
CN118552711B (zh) 用于机器人导航视觉定位的图像处理方法及系统
WO2024053150A1 (ja) ピッキングシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination