CN114291595A - 三维视觉引导拆垛系统 - Google Patents
三维视觉引导拆垛系统 Download PDFInfo
- Publication number
- CN114291595A CN114291595A CN202111620275.1A CN202111620275A CN114291595A CN 114291595 A CN114291595 A CN 114291595A CN 202111620275 A CN202111620275 A CN 202111620275A CN 114291595 A CN114291595 A CN 114291595A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- carton
- container
- unloading
- agv trolley
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 6
- 241000252254 Catostomidae Species 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000004806 packaging method and process Methods 0.000 abstract description 2
- 239000000047 product Substances 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了三维视觉引导拆垛系统，包括车厢、纸箱剖面、AGV小车、激光雷达、三维传感器和彩色相机，AGV小车上的三维激光传感器对集装箱边缘进行三维成像。本发明针对国际物流中最常见的纸箱包装，研究了一种基于三维视觉引导的拆垛系统，通过三维视觉对目标进行定位，引导卸货机构准确到达目标位置。通过大尺寸吸盘阵列，一次性实现多个纸箱的抓取，兼顾效率的同时保证了抓取的成功率，实现纸箱的自动化拆垛。
Description
技术领域
本发明涉物流自动化领域，具体涉及一种基于三维视觉引导的卸车系统。
背景技术
我国现代物流从90年代开始发展，经过30年的发展，货物装卸从人力转向半自动化，距离真正的自动化还有很长的距离，自动化装卸技术受货物类型，外形约束，技术的突破需要不断的科技创新。近年来，随着劳动力短缺，特别是粗，笨活劳动力的短缺，物流行业对自动卸车系统的巨大需求与技术发展局限的矛盾越来越严重。
在现代物流行业内，目前还没有能够完全替代人的自动化拆垛系统，主要有以下几点技术难点；1、箱装产品多样，码放规则复杂；2、货车规格尺寸多变；3、车辆停靠偏差和装卸动态偏差；4、自动化效率往往不如人工。
发明内容
本发明的目的在于：为了解决1、箱装产品多样，码放规则复杂；2、货车规格尺寸多变；3、车辆停靠偏差和装卸动态偏差；4、自动化效率往往不如人工。
本发明采用的技术方案如下：
三维视觉引导拆垛系统，步骤一：当搭载集装箱的卡车到达卸货平台后，AGV小车上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱边缘，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0，y0，z0，rx0，ry0，rz0)；
步骤二：计算当前AGV小车位姿与集装箱位置偏差，进行偏差矫正，使得AGV小车与集装箱位置对齐，且距离当前工作面距离为distance_w
步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置；
步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置；
步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x，y，z，rx，ry，rz，w，h)，引导吸盘阵列到达相应位置；
步骤六：完成吸取动作；
步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有为卸货的纸箱，进行步骤三。
步骤八：AGV小车向前步进，进行步骤二。
其中，所述吸盘阵总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为Wmax和Hmax,最小纸箱的长宽分别为Wmin和Hmin,则GW,GH,dx满足以下条件
GW>1.1×Wmax，GH>0.5×Hmax。
其中，所述卸货为吸取中间的产品，包括以下步骤一，吸取第一排的中间箱体，两边各保留一个箱子；二，计算L1的值，依次吸取L1范围内的完整箱体；三，继续往下，至少L1范围内的完整箱体被吸取完毕。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明针对国际物流中最常见的纸箱包装，研究了一种基于三维视觉引导的拆垛系统，通过三维视觉对目标进行定位，引导卸货机构准确到达目标位置。通过大尺寸吸盘阵列，一次性实现多个纸箱的抓取，兼顾效率的同时保证了抓取的成功率，实现纸箱的自动化拆垛。
附图说明
图1所示是本发方法的流程示意图；
图2是本发明装置的俯视图；
图3是本发明装置的正视图；
图4是车厢边缘定位示意图；
图5是纸箱剖面取料顺序示意图；
图6吸盘阵列示意图。
图中标记：1、车厢；11、纸箱剖面；21、AGV小车；22、吸盘阵列；
23、激光雷达；24、三维传感器；25、彩色相机；26、传送链道。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
三维视觉引导拆垛系统，图2是整体方案的俯视图，图3是整体方案的正视图，其中1是集装箱车厢，由货车司机手动驾驶到自动卸货平台，并与AGV小车21进行初步对齐，11是待卸货的第一排纸箱，22是安装在三维移动模组末端的吸盘阵列，激光雷达23是用于探测AGV小车与纸箱剖面11距离的，三维传感器24是用于纸箱定位的三维传感器，彩色相机25是用于纸箱区域分割的彩色相机，26是纸箱传送链道
如图1所示是整体方案的流程图，包括以下流程
步骤一：当搭载集装箱1的卡车到达卸货平台后，AGV小车21上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱1边缘。
所述集装箱边缘如图4所示，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0，y0,z0,rx0,ry0,rz0)
步骤二：计算当前AGV小车位21姿与集装箱位置偏差，进行偏差矫正，使得AGV小车21与集装箱1位置对齐，且距离当前工作面距离为distance_w
步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置
步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置。
所述吸盘阵列如图6所示，总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为Wmax和Hmax,最小纸箱的长宽分别为Wmin和Hmin,则GW,GH,dx应该满足以下条件
GW>1.1×Wmax
GH>0.5×Hmax
本例中，Wmax＝1000，Hmax＝1000，Wmin＝100，Hmin＝100
GW＝1200GH＝500，dx＝50
所述卸货规则如图5所示，通常情况下优先吸取中间的产品，包括以下步骤
一：吸取第一排的中间箱体，两边各保留一个箱子
二：计算L1的值，依次吸取L1范围内的完整箱体
三：继续往下，至少L1范围内的完整箱体被吸取完毕
四：继续完成左右两边的箱体吸取。
步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x，y，z，rx，ry，rz，w，h)，引导吸盘阵列到达相应位置
步骤六：完成吸取动作
步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有为卸货的纸箱，进行步骤三。
步骤八：AGV小车向前步进，进行步骤二。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.三维视觉引导拆垛系统，包括
步骤一：当搭载集装箱的卡车到达卸货平台后，AGV小车上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱边缘，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0,y0,z0,rx0,ry0,rz0)；
步骤二：计算当前AGV小车位姿与集装箱位置偏差，进行偏差矫正，使得AGV小车与集装箱位置对齐，且距离当前工作面距离为distance_w
步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置；
步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置；
步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x,y,z,rx,ry,rz,w,h)，引导吸盘阵列到达相应位置；
步骤六：完成吸取动作；
步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有为卸货的纸箱，进行步骤三。
步骤八：AGV小车向前步进，进行步骤二。
2.如权利要求1所述的三维视觉引导拆垛系统，其特征在于：所述吸盘阵总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为Wmax和Hmax,最小纸箱的长宽分别为Wmin和Hmin,则GW,GH,dx满足以下条件
GW>1.1×Wmax，GH>0.5×Hmax。
3.如权利要求1所述的三维视觉引导拆垛系统，其特征在于：所述卸货为吸取中间的产品，包括以下步骤一，吸取第一排的中间箱体，两边各保留一个箱子；二，计算L1的值，依次吸取L1范围内的完整箱体；三，继续往下，至少L1范围内的完整箱体被吸取完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620275.1A CN114291595B (zh) | 2022-03-02 | 2022-03-02 | 三维视觉引导拆垛系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620275.1A CN114291595B (zh) | 2022-03-02 | 2022-03-02 | 三维视觉引导拆垛系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114291595A true CN114291595A (zh) | 2022-04-08 |
| CN114291595B CN114291595B (zh) | 2023-11-14 |
Family
ID=80969493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111620275.1A Active CN114291595B (zh) | 2022-03-02 | 2022-03-02 | 三维视觉引导拆垛系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114291595B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117003019A (zh) * | 2023-10-07 | 2023-11-07 | 季华实验室 | 一种智能装车系统和装车方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108313748A (zh) * | 2018-04-18 | 2018-07-24 | 上海发那科机器人有限公司 | 一种3d视觉纸箱拆垛系统 |
| CN208100408U (zh) * | 2018-03-16 | 2018-11-16 | 江苏波司登供应链管理有限公司 | 一种用于机械手的多用途抓取装置 |
| CN109969670A (zh) * | 2019-03-08 | 2019-07-05 | 青岛日日顺物流有限公司 | 一种基于无人卸货车的卸货控制方法 |
| US10456915B1 (en) * | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
| CN111115511A (zh) * | 2019-12-31 | 2020-05-08 | 广东电网有限责任公司 | 一种基于智能导航叉车的卸货及装货方法 |
| CN111439594A (zh) * | 2020-03-09 | 2020-07-24 | 兰剑智能科技股份有限公司 | 基于3d视觉引导的拆垛方法和系统 |
| CN111908155A (zh) * | 2020-09-10 | 2020-11-10 | 佛山科学技术学院 | 一种集装箱机器人自动装卸系统 |
| CN112150427A (zh) * | 2020-09-17 | 2020-12-29 | 山东洛杰斯特物流科技有限公司 | 基于点云信息的混合拆垛方法、装置及设备 |
-
2022
- 2022-03-02 CN CN202111620275.1A patent/CN114291595B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208100408U (zh) * | 2018-03-16 | 2018-11-16 | 江苏波司登供应链管理有限公司 | 一种用于机械手的多用途抓取装置 |
| CN108313748A (zh) * | 2018-04-18 | 2018-07-24 | 上海发那科机器人有限公司 | 一种3d视觉纸箱拆垛系统 |
| US10456915B1 (en) * | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
| CN109969670A (zh) * | 2019-03-08 | 2019-07-05 | 青岛日日顺物流有限公司 | 一种基于无人卸货车的卸货控制方法 |
| CN111115511A (zh) * | 2019-12-31 | 2020-05-08 | 广东电网有限责任公司 | 一种基于智能导航叉车的卸货及装货方法 |
| CN111439594A (zh) * | 2020-03-09 | 2020-07-24 | 兰剑智能科技股份有限公司 | 基于3d视觉引导的拆垛方法和系统 |
| CN111908155A (zh) * | 2020-09-10 | 2020-11-10 | 佛山科学技术学院 | 一种集装箱机器人自动装卸系统 |
| CN112150427A (zh) * | 2020-09-17 | 2020-12-29 | 山东洛杰斯特物流科技有限公司 | 基于点云信息的混合拆垛方法、装置及设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117003019A (zh) * | 2023-10-07 | 2023-11-07 | 季华实验室 | 一种智能装车系统和装车方法 |
| CN117003019B (zh) * | 2023-10-07 | 2024-02-13 | 季华实验室 | 一种智能装车系统和装车方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114291595B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109436820B (zh) | 一种货物垛的拆垛方法及拆垛系统 | |
| CN109178960B (zh) | 一种适用于不同规格纸箱包裹的智能码垛系统及方法 | |
| CN109160452A (zh) | 基于激光定位和立体视觉的无人转运叉车及导航方法 | |
| CN108381544B (zh) | 一种自动拣货机器人及其控制方法 | |
| US11427448B2 (en) | Conveying apparatus | |
| CN114291595A (zh) | 三维视觉引导拆垛系统 | |
| CN109636272B (zh) | 一种货架缺货智能检测装置及其检测方法 | |
| CN111771175B (zh) | 搬运车的行驶控制系统、以及搬运车的行驶控制方法 | |
| CN109071114B (zh) | 一种自动装卸货的方法、设备及具有存储功能的装置 | |
| CN112678561B (zh) | 一种自动装车方法 | |
| CN112873205A (zh) | 基于双夹具实时切换的工业机器人无序抓取方法 | |
| CN210233078U (zh) | 一种货物取放机器人 | |
| CN112173518A (zh) | 控制方法和自动引导车 | |
| CN115826576A (zh) | 一种自装卸叉车机器人智能控制系统及其方法 | |
| KR102571717B1 (ko) | 적재물 다중 하역 매니퓰레이터 | |
| CN108098773A (zh) | 一种机器人的分拣控制系统和方法 | |
| CN116620802B (zh) | 一种利用室内施工智能物料运输系统的运输方法 | |
| CN116374474B (zh) | 一种基于机器视觉的拣选智能决策系统 | |
| CN217971565U (zh) | 一种物流纸箱自动抓取运输装置 | |
| JPH03252707A (ja) | 視覚付無人車 | |
| US20220355474A1 (en) | Method and computing system for performing robot motion planning and repository detection | |
| CN112173519A (zh) | 控制方法和自动引导车 | |
| CN113847868B (zh) | 一种具有矩形支脚的物料承载装置的定位方法及系统 | |
| CN113845064B (zh) | 一种具有圆形支脚的物料承载装置的定位方法及系统 | |
| CN112357620A (zh) | 一种条烟箱成品出库系统及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |