CN114291595B - 三维视觉引导拆垛系统 - Google Patents

三维视觉引导拆垛系统 Download PDF

Info

Publication number
CN114291595B
CN114291595B CN202111620275.1A CN202111620275A CN114291595B CN 114291595 B CN114291595 B CN 114291595B CN 202111620275 A CN202111620275 A CN 202111620275A CN 114291595 B CN114291595 B CN 114291595B
Authority
CN
China
Prior art keywords
dimensional
container
calculating
box body
max
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111620275.1A
Other languages
English (en)
Other versions
CN114291595A (zh
Inventor
李力
魏国华
黄天成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weixiang Intelligent Technology Co ltd
Original Assignee
Shenzhen Weixiang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weixiang Intelligent Technology Co ltd filed Critical Shenzhen Weixiang Intelligent Technology Co ltd
Priority to CN202111620275.1A priority Critical patent/CN114291595B/zh
Publication of CN114291595A publication Critical patent/CN114291595A/zh
Application granted granted Critical
Publication of CN114291595B publication Critical patent/CN114291595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明公开了三维视觉引导拆垛系统，包括车厢、纸箱剖面、AGV小车、激光雷达、三维传感器和彩色相机，AGV小车上的三维激光传感器对集装箱边缘进行三维成像。本发明针对国际物流中最常见的纸箱包装，研究了一种基于三维视觉引导的拆垛系统，通过三维视觉对目标进行定位，引导卸货机构准确到达目标位置。通过大尺寸吸盘阵列，一次性实现多个纸箱的抓取，兼顾效率的同时保证了抓取的成功率，实现纸箱的自动化拆垛。

Description

三维视觉引导拆垛系统
技术领域
本发明涉物流自动化领域，具体涉及一种基于三维视觉引导的卸车系统。
背景技术
我国现代物流从90年代开始发展，经过30年的发展，货物装卸从人力转向半自动化，距离真正的自动化还有很长的距离，自动化装卸技术受货物类型，外形约束，技术的突破需要不断的科技创新。近年来，随着劳动力短缺，特别是粗，笨活劳动力的短缺，物流行业对自动卸车系统的巨大需求与技术发展局限的矛盾越来越严重。
在现代物流行业内，目前还没有能够完全替代人的自动化拆垛系统，主要有以下几点技术难点；1、箱装产品多样，码放规则复杂；2、货车规格尺寸多变；3、车辆停靠偏差和装卸动态偏差；4、自动化效率往往不如人工。
发明内容
本发明的目的在于：为了解决1、箱装产品多样，码放规则复杂；2、货车规格尺寸多变；3、车辆停靠偏差和装卸动态偏差；4、自动化效率往往不如人工。
本发明采用的技术方案如下：
三维视觉引导拆垛系统，步骤一：当搭载集装箱的卡车到达卸货平台后，AGV小车上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱边缘，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0，y0，z0，rx0，ry0，rz0)；
步骤二：计算当前AGV小车位姿与集装箱位置偏差，进行偏差矫正，使得AGV小车与集装箱位置对齐，且距离当前工作面距离为distance_w
步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置；
步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置；
步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x，y，z，rx，ry，rz，w，h)，引导吸盘阵列到达相应位置；
步骤六：完成吸取动作；
步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有为卸货的纸箱，进行步骤三。
步骤八：AGV小车向前步进，进行步骤二。
其中，所述吸盘阵总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为Wmax和Hmax,最小纸箱的长宽分别为Wmin和Hmin,则GW,GH,dx满足以下条件GW>1.1×Wmax，GH>0.5×Hmax。
其中，所述卸货为吸取中间的产品，包括以下步骤一，吸取第一排的中间箱体，两边各保留一个箱子；二，计算L1的值，依次吸取L1范围内的完整箱体；三，继续往下，至少L1范围内的完整箱体被吸取完毕。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明针对国际物流中最常见的纸箱包装，研究了一种基于三维视觉引导的拆垛系统，通过三维视觉对目标进行定位，引导卸货机构准确到达目标位置。通过大尺寸吸盘阵列，一次性实现多个纸箱的抓取，兼顾效率的同时保证了抓取的成功率，实现纸箱的自动化拆垛。
附图说明
图1所示是本发方法的流程示意图；
图2是本发明装置的俯视图；
图3是本发明装置的正视图；
图4是车厢边缘定位示意图；
图5是纸箱剖面取料顺序示意图；
图6吸盘阵列示意图。
图中标记：1、车厢；11、纸箱剖面；21、AGV小车；22、吸盘阵列；
23、激光雷达；24、三维传感器；25、彩色相机；26、传送链道。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
三维视觉引导拆垛系统，图2是整体方案的俯视图，图3是整体方案的正视图，其中1是集装箱车厢，由货车司机手动驾驶到自动卸货平台，并与AGV小车21进行初步对齐，11是待卸货的第一排纸箱，22是安装在三维移动模组末端的吸盘阵列，激光雷达23是用于探测AGV小车与纸箱剖面11距离的，三维传感器24是用于纸箱定位的三维传感器，彩色相机25是用于纸箱区域分割的彩色相机，26是纸箱传送链道
如图1所示是整体方案的流程图，包括以下流程
步骤一：当搭载集装箱1的卡车到达卸货平台后，AGV小车21上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱1边缘。
所述集装箱边缘如图4所示，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0，y0,z0,rx0,ry0,rz0)
步骤二：计算当前AGV小车位21姿与集装箱位置偏差，进行偏差矫正，使得AGV小车21与集装箱1位置对齐，且距离当前工作面距离为distance_w
步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置
步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置。
所述吸盘阵列如图6所示，总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为Wmax和Hmax,最小纸箱的长宽分别为Wmin和Hmin,则GW,GH,dx应该满足以下条件
GW>1.1×Wmax
GH>0.5×Hmax
本例中，Wmax＝1000，Hmax＝1000，Wmin＝100，Hmin＝100
GW＝1200GH＝500，dx＝50
所述卸货规则如图5所示，通常情况下优先吸取中间的产品，包括以下步骤
一：吸取第一排的中间箱体，两边各保留一个箱子
二：计算L1的值，依次吸取L1范围内的完整箱体
三：继续往下，至少L1范围内的完整箱体被吸取完毕
四：继续完成左右两边的箱体吸取。
步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x，y，z，rx，ry，rz，w，h)，引导吸盘阵列到达相应位置
步骤六：完成吸取动作
步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有为卸货的纸箱，进行步骤三。
步骤八：AGV小车向前步进，进行步骤二。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.三维视觉引导拆垛系统，包括
步骤一：当搭载集装箱的卡车到达卸货平台后，AGV小车上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱边缘，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算端面中心位姿(x0,y0,z0,rx0,ry0,rz0)；
步骤二：计算当前AGV小车位姿与集装箱位置偏差，进行偏差矫正，使得AGV小车与集装箱位置对齐，且距离当前工作面距离为distance_w；
步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置；
所述卸货为吸取中间的产品，包括以下步骤一，吸取第一排的中间箱体，两边各保留一个箱子；二，计算L1的值，依次吸取L1范围内的完整箱体；三，继续往下，至少L1范围内的完整箱体被吸取完毕；
步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置；
所述吸盘阵列总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为Wmax和Hmax,最小纸箱的长宽分别为Wmin和Hmin,则GW,GH,dx满足以下条件GW>1.1×Wmax，GH>0.5×Hmax；
步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x,y,z,rx,ry,rz,w,h)，引导吸盘阵列到达相应位置；
步骤六：完成吸取动作；
步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有未卸货的纸箱，进行步骤三；
步骤八：AGV小车向前步进，进行步骤二。
CN202111620275.1A 2022-03-02 2022-03-02 三维视觉引导拆垛系统 Active CN114291595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111620275.1A CN114291595B (zh) 2022-03-02 2022-03-02 三维视觉引导拆垛系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111620275.1A CN114291595B (zh) 2022-03-02 2022-03-02 三维视觉引导拆垛系统

Publications (2)

Publication Number Publication Date
CN114291595A CN114291595A (zh) 2022-04-08
CN114291595B true CN114291595B (zh) 2023-11-14

Family

ID=80969493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111620275.1A Active CN114291595B (zh) 2022-03-02 2022-03-02 三维视觉引导拆垛系统

Country Status (1)

Country Link
CN (1) CN114291595B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117003019B (zh) * 2023-10-07 2024-02-13 季华实验室 一种智能装车系统和装车方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108313748A (zh) * 2018-04-18 2018-07-24 上海发那科机器人有限公司 一种3d视觉纸箱拆垛系统
CN208100408U (zh) * 2018-03-16 2018-11-16 江苏波司登供应链管理有限公司 一种用于机械手的多用途抓取装置
CN109969670A (zh) * 2019-03-08 2019-07-05 青岛日日顺物流有限公司 一种基于无人卸货车的卸货控制方法
US10456915B1 (en) * 2019-01-25 2019-10-29 Mujin, Inc. Robotic system with enhanced scanning mechanism
CN111115511A (zh) * 2019-12-31 2020-05-08 广东电网有限责任公司 一种基于智能导航叉车的卸货及装货方法
CN111439594A (zh) * 2020-03-09 2020-07-24 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统
CN111908155A (zh) * 2020-09-10 2020-11-10 佛山科学技术学院 一种集装箱机器人自动装卸系统
CN112150427A (zh) * 2020-09-17 2020-12-29 山东洛杰斯特物流科技有限公司 基于点云信息的混合拆垛方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208100408U (zh) * 2018-03-16 2018-11-16 江苏波司登供应链管理有限公司 一种用于机械手的多用途抓取装置
CN108313748A (zh) * 2018-04-18 2018-07-24 上海发那科机器人有限公司 一种3d视觉纸箱拆垛系统
US10456915B1 (en) * 2019-01-25 2019-10-29 Mujin, Inc. Robotic system with enhanced scanning mechanism
CN109969670A (zh) * 2019-03-08 2019-07-05 青岛日日顺物流有限公司 一种基于无人卸货车的卸货控制方法
CN111115511A (zh) * 2019-12-31 2020-05-08 广东电网有限责任公司 一种基于智能导航叉车的卸货及装货方法
CN111439594A (zh) * 2020-03-09 2020-07-24 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统
CN111908155A (zh) * 2020-09-10 2020-11-10 佛山科学技术学院 一种集装箱机器人自动装卸系统
CN112150427A (zh) * 2020-09-17 2020-12-29 山东洛杰斯特物流科技有限公司 基于点云信息的混合拆垛方法、装置及设备

Also Published As

Publication number Publication date
CN114291595A (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN109436820B (zh) 一种货物垛的拆垛方法及拆垛系统
CN109178960B (zh) 一种适用于不同规格纸箱包裹的智能码垛系统及方法
CN114291595B (zh) 三维视觉引导拆垛系统
WO2018066335A1 (ja) 搬送装置、搬送方法、および搬送プログラム
CN108381544B (zh) 一种自动拣货机器人及其控制方法
CN109160452A (zh) 基于激光定位和立体视觉的无人转运叉车及导航方法
CN109636272B (zh) 一种货架缺货智能检测装置及其检测方法
CN109071114B (zh) 一种自动装卸货的方法、设备及具有存储功能的装置
CN112678561B (zh) 一种自动装车方法
CN115159149B (zh) 一种基于视觉定位的取料卸货方法及其装置
CN210233078U (zh) 一种货物取放机器人
CN112173518A (zh) 控制方法和自动引导车
CN112141585A (zh) 一种协同主动感知的同步agv搬运系统及其搬运方法
CN115826576A (zh) 一种自装卸叉车机器人智能控制系统及其方法
KR102571717B1 (ko) 적재물 다중 하역 매니퓰레이터
CN113307042A (zh) 基于传送带的物体拆垛方法、装置、计算设备及存储介质
CN116374474B (zh) 一种基于机器视觉的拣选智能决策系统
CN217971565U (zh) 一种物流纸箱自动抓取运输装置
CN115123970B (zh) 一种集装箱箱式包装卸货消杀设备
CN113847868B (zh) 一种具有矩形支脚的物料承载装置的定位方法及系统
CN112173519A (zh) 控制方法和自动引导车
CN115703238A (zh) 用于机器人物体放置的系统和方法
CN113845064A (zh) 一种具有圆形支脚的物料承载装置的定位方法及系统
CN112357620A (zh) 一种条烟箱成品出库系统及其控制方法
Martin et al. An autonomous transport vehicle in an existing manufacturing facility with focus on the docking maneuver task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant