CN112509043A - 一种适用于随机混放纸箱垛的机器人智能拆垛方法 - Google Patents

一种适用于随机混放纸箱垛的机器人智能拆垛方法 Download PDF

Info

Publication number
CN112509043A
CN112509043A CN202011376537.XA CN202011376537A CN112509043A CN 112509043 A CN112509043 A CN 112509043A CN 202011376537 A CN202011376537 A CN 202011376537A CN 112509043 A CN112509043 A CN 112509043A
Authority
CN
China
Prior art keywords
carton
unstacking
point
robot
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011376537.XA
Other languages
English (en)
Other versions
CN112509043B (zh
Inventor
张配配
赵军丽
张恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Original Assignee
Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Zhongke Photoelectric Precision Engineering Co ltd filed Critical Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Priority to CN202011376537.XA priority Critical patent/CN112509043B/zh
Publication of CN112509043A publication Critical patent/CN112509043A/zh
Application granted granted Critical
Publication of CN112509043B publication Critical patent/CN112509043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Abstract

本发明公开了一种适用于随机混放纸箱垛的机器人智能拆垛方法,包括:对待拆纸箱垛进行三维点云信息采集,并通过点云处理,获取待拆纸箱垛外露纸箱面的角点信息;根据纸箱角点信息,计算纸箱货物外露面长宽获得纸箱高度信息;规划纸箱物料的拾取点,计算出拾取点的空间位姿信息,并转换至机器人末端拾取手的运动控制点位姿信息;对纸箱进行拆垛排序;给出机器人放置纸箱运动控制点坐标,完成一个纸箱的拆垛规划。本方法在视觉测量系统视野范围内和拆垛机器人运动范围内,对堆垛形状、纸箱码放位置无要求;采取就近清空原则,拆垛过程中的拾取、搬运、放置路径更加合理,节省搬运时间,减少发生碰撞的可能。

Description

一种适用于随机混放纸箱垛的机器人智能拆垛方法
技术领域
本发明属于自动化技术领域,尤其涉及一种针对随机混放纸箱物料的机器人智能拆垛方法。
背景技术
近年来,物流、电商、包装、制造等行业发展迅速,在物流仓储业及制造企业等内部物流中广泛存在着纸箱物料的拆码垛应用。特别是,随着人们需求的多样化、随机性,很多企业逐步向小批量、多批次、灵活的柔性生产模式转换,为了优化运输空间,降低供应链成本和运输成本,在中间转运、入库等环节,纸箱混合垛也成为一种常见形式。
纸箱混合垛的特点是多品种纸箱随机混合码放,如:纸箱外观(颜色、图案等)不一、尺寸规格多样、重量差异、码放位姿随机(如空间倾斜)等。传统的示教程式化自动拆垛机或拆垛机器人已无法满足纸箱混合垛的拆垛分拣、拆垛上料、拆垛配货等需求。尤其是物流和仓储系统中的快递包裹形式规格多样、码放位姿随意,经常存在空间倾斜情况,在使用机器人进行该类纸箱拆垛时,因无法定点示教或提前输入拾取点位姿而无法实现自动化。人工拆垛由于具有劳动强度大、工作效率低、出错率高、安全风险隐患大等缺点,也被逐渐淘汰。
智能工业机器人的解决方案在进行小批量、多品种,随机、复杂的拆垛作业时,除了需要配套视觉感知传感器,还必须具有自主决策规划能力,能够根据视觉测量信息,规划出拾取点信息,并决策先对哪个对象进行作业,指导机器人运动控制,进而实现随机混杂情况下纸箱垛的智能化、自动化、柔性化拆垛作业,因此开发一种适用于随机混放纸箱物料的智能拆垛规划方法具有重大的意义和价值。
经对现有技术文献的检索发现,较相关的专利申请有2项:(1)一种基于码垛数据的拆垛方法、拆垛装置及拆垛系统(专利申请号:201910772859.7),该专利申请提出了一种基于码垛数据的拆垛方法、拆垛装置及拆垛系统,其是通过识别货物的码垛数据编码,获取货物码垛的层数、高度、位置信息,然后基于码垛的数据进行拆垛作业。(2)一种混合箱体机器人智能拆码垛系统及控制方法(专利申请号:201910832488.7),该专利申请在拆垛时通过3D相机和激光测距仪,获取托盘上箱体尺寸等信息,根据获取的箱体信息调取对应规格的拆码垛程序完成拆码垛作业,其单个托盘上的纸箱规格相同且每种规格箱体码放规则整齐一致,其目的是提供一套系统可满足多规格货物换批次生产,而非将多规格纸箱混合码放在一起,无法进行纸箱混合垛的拆垛。因此,提供一种基于纸箱几何特性的可实现随机混合纸箱垛拆分的拆垛规划方法,成为目前本领域亟待解决的技术问题。
发明内容
为解决现有技术中存在的上述缺陷,本发明的目的在于提供一种基于纸箱几何特性的拆垛方法,适应于一层或多层码放位置随机、姿态任意、混杂纸箱物料的智能拆垛应用,只需保证纸箱物料在视觉测量系统视野范围内和拆垛机器人运动范围内即可。
本发明是通过下述技术方案来实现的。
一种适用于随机混放纸箱垛的机器人智能拆垛方法,包括以下步骤:
(1)拆垛工位上方的三维立体相机对待拆纸箱垛进行三维点云信息采集,并通过点云处理,获取待拆纸箱垛外露纸箱面的角点信息;
(2)控制系统根据纸箱角点信息,计算纸箱货物外露面的长、宽尺寸,根据长宽信息进行纸箱规格匹配,获得纸箱高度信息;
(3)控制系统根据纸箱外露面的角点信息,规划纸箱物料的拾取点,计算出拾取点的空间位姿信息,并转换至机器人末端拾取手的运动控制点位姿信息;
(4)控制系统对纸箱进行拆垛排序;
(5)控制系统根据预先设置的放置规则或放置位置,结合纸箱高度信息,给出机器人放置纸箱运动控制点坐标,完成一个纸箱的拆垛规划。
对于上述技术方案,本发明还有进一步优选的方案:
优选的,步骤(2)中,其具体方法为:
通过视觉测量的纸箱4个角点坐标数据,计算纸箱的长L、宽W,然后根据已知所有品类纸箱的已知长度L已知和已知宽度W已知,计算纸箱规格的匹配度。若匹配度满足SL≦SL0,SW≦SW0,则认为纸箱与该已知规格匹配度高,则该纸箱高度Hbox=H已知;其中,
Figure BDA0002808330630000031
SL、SW为测量纸箱长、宽在规格匹配时与已知规格纸箱长、宽的标准差;L、W分别为视觉测量系统处理得到的纸箱长、宽,Hbox为该测量纸箱的高度;H已知为品类纸箱的已知高度;SL0、SW0为分别设置的与品类纸箱长、宽的匹配度阈值。
优选的,步骤(3)中,当纸箱在空间水平放置时,将纸箱的外露上表面的几何中心作为拾取点;当纸箱在空间倾斜放置时,将纸箱外露各面沿Z轴竖直方向投影面积大的面作为拾取面,拾取面的几何中心点坐标作为拆垛时的拾取点位置。
优选的,步骤(3)中,拾取点所需信息包含位置和姿态,计算方法如下:
31)接收视觉测量系统得到的纸箱4个角点数据(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4);
32)拾取点为外露上表面的几何中心点,获取其位置坐标(x5,y5,z5);
33)通过纸箱面4个角点可以拟合出纸箱面,然后计算该拟合面的法向量
Figure BDA0002808330630000041
作为拾取点姿态信息;
34)将视觉测量获得的相机坐标系下的位姿信息转换到拆垛机器人基础坐标系下,采用常规的eye-to-hand标定方法计算转换矩阵,得到机器人基础坐标系下位姿信息;
35)根据末端拾取手与机器人的安装位置,转换至机器人末端轴的运动控制点位姿(x,y,z,O,A,T),得到机器人拆垛拾取纸箱物料的运动控制点位姿信息。
优选的,步骤33)中,拟合面的法向量
Figure BDA0002808330630000042
计算方法如下:
假设纸箱面方程为ax+by+cz=d,将纸箱4个角点坐标代入方程可得到。
优选的,步骤35)中,O,A,T作为机器人旋转运动控制参量,其转换方法为:
(a)先将面法向量
Figure BDA0002808330630000043
投影至机器人基础坐标X0Y面,记作
Figure BDA0002808330630000044
(b)计算
Figure BDA0002808330630000045
Figure BDA0002808330630000046
的夹角θ1
(c)计算投影向量
Figure BDA0002808330630000047
与X轴夹角θ2
(d)计算纸箱在机器人基础坐标X0Y面内倾斜角度θ3
(e)机器人旋转运动时,先绕Z轴旋转(O)=θ2,再绕Y轴旋转(A)=θ1,最后绕新Z轴旋转(T)=θ3
优选的,步骤(4)中,拆垛排序步骤如下:
41)建立托盘坐标系XT-OT-YT,以靠近机器人及放置点一侧的托盘顶点为坐标原点,托盘长、短向为XT、YT坐标轴;
42)将纸箱角点坐标沿Z轴方向投影,并转换至托盘坐标系,记每个点在托盘坐标系下的坐标为(Xi,Yi);
43)在n个点坐标中,寻找min(Xi),记录该点为A点,进而找到A点对应的纸箱记作待排序BOX,在待排序BOX的4个角点中寻找取max(Xi),记作点B,寻找max(Yi)记作点C;然后以X=max(Xi)=XB、Y=max(Yi)=YC、Y=YB、X=XC做四条直线L1、L2、L3、L4,与托盘的XT、YT坐标轴相交,然后判断在这四条直线所组成的区域内有无其他纸箱角点及相应的点数量num;
44)按照所组成的区域内有无其他纸箱角点及相应的点数量num进行排序:
45)按拆垛顺序排列输出纸箱的信息。
优选的,步骤44)中,排序步骤如下:
若min(Xi)存在多个点,则取Yi值较小的点,即min(Yi)对应的纸箱作为初始BOX1;
若纸箱在L1~L4四条直线组成的区域内的其他纸箱角点数num=0,则该纸箱进行当前排序;
若num≠0,则该纸箱暂时放弃当前排序,继续沿着Xi从小到大寻找纸箱,执行步骤43),进行相同判断:
若找到num=0的纸箱,则进行当前排序;若所有纸箱均不满足num=0,则取其中num最小的纸箱进行当前排序;
当两个纸箱的num相同时,则优先排Yi值较小的纸箱。
已排序的纸箱角点不参与后续的num比较判断,未排序纸箱点均需参与此判断,直至完成所有纸箱排序。
优选的,步骤(5)中,若纸箱放置位置为(x0,y0,z0),结合获取的纸箱自身高度Hbox,给出机器人放置纸箱的运动控制点坐标(x0,y0,z0+Hbox+△H),其中,△H为纸箱放置时纸箱底面距离放置平面的抬高距离。
本发明由于采取以上技术方案,其具有以下有益效果:
本发明通过在纸箱拆垛工位上方架设一套三维立体相机,实时获取拆垛工位纸箱混合垛的三维形貌,并通过获取的外露纸箱面的角点信息,匹配获取纸箱高度信息,然后进行拆垛规划,拆垛规划主要包括拾取点规划及拆垛排序两部分内容。拾取点规划主要是根据视觉测量的纸箱角点信息,规划拾取点的空间位姿,并转换到机器人运动控制点的位姿。拆垛排序主要是基于系统布局情况,确定先拆哪个纸箱,以及拆分后怎么放置。整个拆垛过程无需人工参与,自主决策,实现随机混杂纸箱物料的自动化、智能化、柔性化拆垛作业。
本发明具有以下优点:
1.拆垛规划方法包含了拾取点规划方法和拆垛排序方法,借助于视觉测量信息,可适用于多规格、多品种、随机码放的一层或多层纸箱垛的自主拆垛规划,对堆垛形状、纸箱码放位置无要求,只需在视觉测量系统视野范围内和拆垛机器人运动范围内即可,适用性更广泛,智能化、柔性化程度更高;
2.基于视觉测量信息给出了机器人作业时的拾取点规划方法,自动得到机器人拆垛作业时的运动控制点位姿信息,而且对于存在空间倾斜的纸箱物料的拆垛也可很好的适用,无需人工示教或输入拾取点位姿;
3.本发明提供的拆垛排序方法综合考虑系统的布局情况,采取“就近清空”原则,拆垛过程中的拾取——>搬运——>放置路径更加合理,节省搬运时间,减少发生碰撞的可能,同时还可充分利用机器人臂展范围。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的不当限定,在附图中:
图1是本发明拆垛规划流程示意图;
图2是本发明拾取点规划纸箱空间位姿示意图;
图3是本发明拆垛排序方法示意图;
图4(a)、(b)是本发明实施例智能拆垛机器人系统布局;
图5是本发明实施例获取的纸箱垛三维点云图结果示意图;
图6是本发明实施例纸箱拆垛排序结果示意图。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明,在此本发明的示意性实施例以及说明用来解释本发明,但并不作为对本发明的限定。
如图1所示,本发明实施例提供一种适用于随机混放纸箱垛的机器人智能拆垛方法,包含拾取点规划及拆垛排序两部分内容,具体包括以下实现步骤:
步骤1,拆垛工位上方的三维立体相机对待拆纸箱垛进行三维点云信息采集,并通过点云处理,获取待拆纸箱垛外露纸箱面的角点信息。
步骤2,根据接收到的纸箱4个角点信息,计算纸箱货物外露面的长、宽尺寸,然后根据长宽信息,匹配纸箱规格,获得纸箱高度信息Hbox
具体的,步骤2中,在进行纸箱规格匹配时,通过视觉测量的纸箱4个角点坐标数据,计算纸箱的长L、宽W,然后根据已知所有品类纸箱的已知长度L已知和已知宽度W已知,计算纸箱规格的匹配度。其具体方法为:
Figure BDA0002808330630000081
Figure BDA0002808330630000082
若匹配度满足SL≦SL0,SW≦SW0,则认为纸箱与该已知规格匹配度高,则该纸箱高度Hbox=H已知。其中,其中,
Figure BDA0002808330630000083
SL、SW分别为测量纸箱长、宽在规格匹配时与已知规格纸箱长、宽的标准差,代表匹配度;Hbox为该测量纸箱的高度;H已知分别为品类纸箱的已知高度,是先验信息;SL0、SW0分别为设置的与品类纸箱长、宽的匹配度阈值,可根据具体情况进行设置。
步骤3,根据接收到的外露纸箱面的4个角点信息,规划纸箱物料的拾取点,计算出拾取点的空间位姿信息,并转换至机器人末端拾取手的运动控制点位姿信息。
具体的,步骤3中,在进行拾取点规划时,默认为吸盘尺寸不大于纸箱拾取面,将纸箱的外露上表面的几何中心作为拾取点。当纸箱存在空间倾斜时,针对同一个纸箱,视觉测量系统会得到多个外露纸箱面,此时则将纸箱外露各面(视角从正上方向下看)沿Z轴竖直方向投影,投影面积大的面作为拾取面,拾取面的几何中心点坐标作为拆垛时的拾取点位置。因为机器人在驱动吸盘拾取纸箱时,需将吸盘吸附面对准纸箱拾取面,吸附中心对准纸箱拾取面中心,所以还需计算纸箱拾取面的法向量,实现机器人末端轴的完全运动控制。因此,拾取点所需信息包含位置和姿态,其计算方法如下:
①接收视觉测量系统得到的纸箱4个角点数据(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4),如附图2所示;
②拾取点为外露上表面的几何中心点5,其位置坐标(x5,y5,z5)的计算方法为:
Figure BDA0002808330630000091
Figure BDA0002808330630000092
Figure BDA0002808330630000093
③通过纸箱面4个角点可以拟合出纸箱面,然后计算该拟合面的法向量
Figure BDA0002808330630000094
作为拾取点姿态信息,其计算方法如下:
假设纸箱面方程为ax+by+cz=d,将纸箱4个角点坐标代入方程可得到:
Figure BDA0002808330630000095
进而可以求出参数a,b,c,d,纸箱面的法向量
Figure BDA0002808330630000096
④由于视觉测量获得的位姿信息为相机坐标系下的数据,需要转换到拆垛机器人基础坐标系下。由相机坐标系转换至机器人基础坐标系的方法可采用常规的eye-to-hand标定方法计算转换矩阵,得到机器人基础坐标系下位姿信息。
然而,机器人在运动控制时是以末端轴的空间位姿进行控制的,因此还需根据末端拾取手与机器人的安装位置,转换至机器人末端轴的运动控制点位姿(x,y,z,O,A,T)。其中,x,y,z可根据机器人末端拾取手与机器人末端轴的安装位置进行平移得到;O,A,T作为机器人旋转运动控制参量,其转换方法为:
(a)先将面法向量
Figure BDA0002808330630000097
投影至机器人基础坐标X0Y面,记作
Figure BDA0002808330630000098
(b)计算
Figure BDA0002808330630000099
Figure BDA00028083306300000910
的夹角θ1
(c)计算投影向量
Figure BDA00028083306300000911
与X轴夹角θ2
(d)计算纸箱在机器人基础坐标X0Y面内倾斜角度θ3
(e)机器人旋转运动时,先绕Z轴旋转(O)=θ2,再绕Y轴旋转(A)=θ1,最后绕新Z轴旋转(T)=θ3
至此,完成纸箱物料拾取点的规划,得到机器人拆垛拾取纸箱物料的运动控制点位姿信息(x,y,z,O,A,T)。
本发明给出的拾取点规划方法适用于纸箱物料在拾取时无任何其他特殊要求的情况,当纸箱物料自身在拾取时有特殊要求时,可根据具体情况增加约束条件。
步骤4,综合系统布局情况,按照“就近清空”原则对纸箱进行拆垛排序规划,给出拆垛顺序。
具体的,步骤4中,综合考虑系统布局的“就近清空”的拆垛排序方法,是指即优先拆除靠近机器人及放置点的一侧的纸箱,保证拆除——>搬运——>放置过程中无障碍或障碍最少。
具体“就近清空”的拆垛排序方法实现步骤如下:
①建立托盘坐标系XT-OT-YT,以靠近机器人及放置点一侧的托盘顶点为坐标原点,托盘长、短向为XT、YT坐标轴。
②将纸箱角点坐标沿Z轴方向投影,并转换至托盘坐标系。假设共有n个纸箱角点的坐标,记每个点的在托盘坐标系下的坐标为(Xi,Yi)。
③在n个点坐标中,寻找min(Xi),记录该点为A点,进而找到A点对应的纸箱记作待排序BOX,在待排序BOX的4个角点中寻找取max(Xi),记作点B,寻找max(Yi)记作点C。然后以X=max(Xi)=XB、Y=max(Yi)=YC、Y=YB、X=XC做四条直线L1、L2、L3、L4,与托盘的XT、YT坐标轴相交,然后判断在这四条直线所组成的区域内有无其他纸箱角点及相应的点数量num,如图3所示。
④进行排序:
若min(Xi)存在多个点,则取Yi值较小的点,即min(Yi)对应的纸箱作为初始BOX1;
若纸箱在L1~L4四条直线组成的区域内的其他纸箱角点数num=0,则该纸箱进行当前排序;若num≠0,则该纸箱暂时放弃当前排序,继续沿着Xi从小到大寻找纸箱,执行步骤③,进行相同判断:
若找到num=0的纸箱,则进行当前排序;若所有纸箱均不满足num=0,则取其中num最小的纸箱进行当前排序。当两个纸箱的num相同时,则优先排Yi值较小的纸箱。
已排序的纸箱角点不参与后续的num比较判断,未排序纸箱点均需参与此判断,直至完成所有纸箱排序。
⑤按拆垛顺序排列输出纸箱的信息。
步骤5,根据预先设置的放置规则或放置位置(x0,y0,z0),结合纸箱物料自身高度信息,给出机器人放置纸箱运动控制点坐标(x0,y0,z0+Hbox+H抬高距离),完成一个纸箱的拆垛规划。
具体的,步骤5中,拆垛后放置位置的规划是基于预设规则或位置进行的,若纸箱放置位置为(x0,y0,z0),结合获取的纸箱自身高度Hbox,给出机器人放置纸箱的运动控制点坐标(x0,y0,z0+Hbox+△H),其中,△H为纸箱放置时纸箱底面距离放置平面的抬高距离,可根据情况进行设置,至此一个纸箱的完整拆垛规划已完成。
下面通过一个具体实施例来进一步说明本发明。
如图4(a)、(b)所示,搭建机器人智能拆垛系统,包括:拆垛机器人1、三维立体相机2、皮带(放置点)3、托盘4和纸箱混合垛5,由图4(b)俯视图观察其布局为:以托盘4为基准,纸箱混合垛5放置在托盘4上,拆垛机器人1在纸箱混合垛5上方,皮带(放置点)3在右上方。在进行拆垛作业时,为避免碰撞及优化路径,应优先拆除靠近机器人及皮带放置点的右侧、上侧的纸箱。智能拆垛机器人系统进行拆垛规划的实现步骤为:
步骤1,拆垛工位上方的三维立体相机2对待拆纸箱混合垛5进行三维点云信息采集(点云如图5所示),通过点云处理,获取待拆纸箱混合垛外露纸箱面的角点信息,如表1所示。
表1视觉测量系统获取的纸箱混合垛各角点信息
纸箱编号 角点编号 角点坐标(x,y,z)
0 0 506.281 1098.36 -230.43
0 1 633.352 997.408 -230.549
0 2 646.838 1275.73 -226.633
0 3 773.909 1174.78 -225.077
1 0 226.51 1147.29 -235.554
1 1 320.504 1019.55 -234.648
1 2 404.651 1278.48 -233.619
1 3 498.646 1150.74 -232.678
2 0 -62.3793 1077.15 -244.584
2 1 -52.7035 1239.11 -241.46
2 2 169.072 1063.35 -240.63
2 3 178.748 1225.31 -240.013
3 0 -64.8373 933.332 -239.895
3 1 95.1204 959.102 -237.988
3 2 -29.8927 717.285 -242.352
3 3 130.065 743.055 -236.932
4 0 337.369 935.921 -230.092
4 1 413.621 778.228 -229.145
4 2 533.722 1030.89 -231.221
4 3 609.974 873.195 -230.152
5 0 632.737 774.003 -228.451
5 1 639.608 929.719 -226.451
5 2 862.415 763.876 -225.393
5 3 869.285 919.593 -223.207
6 0 150.074 920.157 -237.222
6 1 315.908 941.729 -237.306
6 2 180.624 685.497 -235.008
6 3 346.458 707.07 -232.609
步骤2,根据接收到的纸箱4个角点信息,计算纸箱货物外露面的长、宽尺寸,进行规格匹配,获取纸箱高度信息,经计算上述0~6为纸箱规格a,其高度为Ha
步骤3,规划纸箱物料的拾取点,计算出拾取点的空间位姿信息,如表2所示,并转换至机器人末端拾取手的运动控制点位姿信息,结果如表3所示。
表2纸箱垛各纸箱的空间位姿信息
Figure BDA0002808330630000131
表3各纸箱拾取时的机器人运动控制点信息
纸箱编号 (x,y,z,O,A,T)
0 (636.046 1131.14 51.7459 53.2716 178.614 -178.334)
1 (359.621 1148.83 45.8596 3.67104 179.394 147.303)
2 (53.3553 1150.45 38.2855 9.15241 178.999 -167.437)
3 (23.8727 833.597 40.534 27.7358 177.979 -71.4412)
4 (474.176 906.484 49.8404 -104.687 179.593 49.5013)
5 (747.133 843.373 54.0767 41.4441 178.941 -136.036)
6 (243.946 815.692 44.4227 -25.6963 179.019 -123.118)
步骤4,综合系统布局(图4(a)、4(b)),按照“就近清空”原则,对纸箱进行拆垛排序规划,给出拆垛顺序结果:3->2—>6—>4—>1—>5—>0如图6所示。
步骤5,纸箱从托盘上拆下后放置到皮带输送机3上的一点(x0,y0,z0),要求放置时纸箱底面距离皮带表面高度为20mm,结合纸箱物料自身高度Ha,给出机器人放置纸箱运动控制点坐标(x0,y0,z0+Ha+20),完成一个纸箱的拆垛规划。重复步骤5,直至完成所有纸箱的拆垛规划。
从以上实施例可以看出,本发明基于纸箱几何特性的拆垛方法,适应于一层或多层码放位置随机、姿态任意、混杂纸箱物料的智能拆垛,已达到在视觉测量系统视野范围内和拆垛机器人运动范围内快捷拆垛排序的目的。
本发明并不局限于上述实施例,在本发明公开的技术方案的基础上,本领域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形,这些替换和变形均在本发明的保护范围内。

Claims (9)

1.一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,包括以下步骤:
(1)拆垛工位上方的三维立体相机对待拆纸箱垛进行三维点云信息采集,并通过点云处理,获取待拆纸箱垛外露纸箱面的角点信息;
(2)控制系统根据纸箱角点信息,计算纸箱货物外露面的长、宽尺寸,根据长宽信息进行纸箱规格匹配,获得纸箱高度信息;
(3)根据纸箱外露面的角点信息,规划纸箱物料的拾取点,计算出拾取点的空间位姿信息,并转换至机器人末端拾取手的运动控制点位姿信息;
(4)对纸箱进行拆垛排序;
(5)根据预先设置的放置规则或放置位置,结合纸箱高度信息,给出机器人放置纸箱运动控制点坐标,完成一个纸箱的拆垛规划。
2.根据权利要求1所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤(2)中,其具体方法为:
通过视觉测量的纸箱4个角点坐标数据,计算纸箱的长L、宽W,然后根据已知所有品类纸箱的已知长度L已知和已知宽度W已知,计算纸箱规格的匹配度:
Figure FDA0002808330620000011
若匹配度满足SL≦SL0,SW≦SW0,则认为纸箱与该已知规格匹配度高,则该纸箱高度Hbox=H已知;其中,SL、SW分别为测量纸箱长、宽在规格匹配时与已知规格纸箱长、宽的标准差;Hbox为该测量纸箱的高度;H已知为品类纸箱已知高度;SL0、SW0分别为设置的与品类纸箱长、宽的匹配度阈值。
3.根据权利要求1所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤(3)中,当纸箱在空间水平放置时,将纸箱的外露上表面的几何中心作为拾取点;当纸箱在空间倾斜放置时,将纸箱外露各面沿Z轴竖直方向投影面积大的面作为拾取面,拾取面的几何中心点坐标作为拆垛时的拾取点位置。
4.根据权利要求1所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤(3)中,拾取点所需信息包含位置和姿态,计算方法如下:
31)接收视觉测量系统得到的纸箱4个角点数据(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4);
32)拾取点为外露上表面的几何中心点,其位置坐标(x5,y5,z5)如下:
Figure FDA0002808330620000021
Figure FDA0002808330620000022
Figure FDA0002808330620000023
33)通过纸箱面4个角点拟合出纸箱面,然后计算该拟合面的法向量
Figure FDA0002808330620000025
作为拾取点姿态信息;
34)将视觉测量获得的相机坐标系下的位姿信息转换到拆垛机器人基础坐标系下,采用常规的eye-to-hand标定方法计算转换矩阵,得到机器人基础坐标系下位姿信息;
35)根据末端拾取手与机器人的安装位置,转换至机器人末端轴的运动控制点位姿(x,y,z,O,A,T),得到机器人拆垛拾取纸箱物料的运动控制点位姿信息。
5.根据权利要求4所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤33)中,拟合面的法向量
Figure FDA0002808330620000024
计算方法如下:
假设纸箱面方程为ax+by+cz=d,将纸箱4个角点坐标代入方程得到:
Figure FDA0002808330620000031
求出参数a,b,c,d,纸箱面的法向量
Figure FDA0002808330620000032
6.根据权利要求4所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤35)中,O,A,T作为机器人旋转运动控制参量,其转换方法为:
(a)先将面法向量
Figure FDA0002808330620000033
投影至机器人基础坐标X0Y面,记作
Figure FDA0002808330620000034
(b)计算
Figure FDA0002808330620000035
Figure FDA0002808330620000036
的夹角θ1
(c)计算投影向量
Figure FDA0002808330620000037
与X轴夹角θ2
(d)计算纸箱在机器人基础坐标X0Y面内倾斜角度θ3
(e)机器人旋转运动时,先绕Z轴旋转(O)=θ2,再绕Y轴旋转(A)=θ1,最后绕新Z轴旋转(T)=θ3
7.根据权利要求1所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤(4)中,拆垛排序步骤如下:
41)建立托盘坐标系XT-OT-YT,以靠近机器人及放置点一侧的托盘顶点为坐标原点,托盘长、短向为XT、YT坐标轴;
42)将纸箱角点坐标沿Z轴方向投影,并转换至托盘坐标系,记每个点的在托盘坐标系下的坐标为(Xi,Yi);
43)在n个点坐标中,寻找min(Xi),记录该点为A点,进而找到A点对应的纸箱记作待排序BOX,在待排序BOX的4个角点中寻找取max(Xi),记作点B,寻找max(Yi)记作点C;然后以X=max(Xi)=XB、Y=max(Yi)=YC、Y=YB、X=XC做四条直线L1、L2、L3、L4,与托盘的XT、YT坐标轴相交,然后判断在这四条直线所组成的区域内有无其他纸箱角点及相应的点数量num;
44)按照所组成的区域内有无其他纸箱角点及相应的点数量num进行排序:
45)按拆垛顺序排列输出纸箱的信息。
8.根据权利要求7所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤44)中,排序步骤如下:
若min(Xi)存在多个点,则取Yi值较小的点,即min(Yi)对应的纸箱作为初始BOX1;
若纸箱在L1~L4四条直线组成的区域内的其他纸箱角点数num=0,则该纸箱进行当前排序;
若num≠0,则该纸箱暂时放弃当前排序,继续沿着Xi从小到大寻找纸箱,执行步骤43),进行相同判断:
若找到num=0的纸箱,则进行当前排序;若所有纸箱均不满足num=0,则取其中num最小的纸箱进行当前排序;
当两个纸箱的num相同时,则优先排Yi值较小的纸箱;
已排序的纸箱角点不参与后续的num比较判断,未排序纸箱点均需参与此判断,直至完成所有纸箱排序。
9.根据权利要求1所述的一种适用于随机混放纸箱垛的机器人智能拆垛方法,其特征在于,步骤(5)中,若纸箱放置位置为(x0,y0,z0),结合获取的纸箱自身高度Hbox,给出机器人放置纸箱的运动控制点坐标(x0,y0,z0+Hbox+△H),其中,△H为纸箱放置时纸箱底面距离放置平面的抬高距离。
CN202011376537.XA 2020-11-30 2020-11-30 一种适用于随机混放纸箱垛的机器人智能拆垛方法 Active CN112509043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011376537.XA CN112509043B (zh) 2020-11-30 2020-11-30 一种适用于随机混放纸箱垛的机器人智能拆垛方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011376537.XA CN112509043B (zh) 2020-11-30 2020-11-30 一种适用于随机混放纸箱垛的机器人智能拆垛方法

Publications (2)

Publication Number Publication Date
CN112509043A true CN112509043A (zh) 2021-03-16
CN112509043B CN112509043B (zh) 2024-03-22

Family

ID=74968630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011376537.XA Active CN112509043B (zh) 2020-11-30 2020-11-30 一种适用于随机混放纸箱垛的机器人智能拆垛方法

Country Status (1)

Country Link
CN (1) CN112509043B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113800270A (zh) * 2021-09-17 2021-12-17 知行高科(北京)科技有限公司 一种用于物流拆垛的机器人控制方法及系统
CN113878576A (zh) * 2021-09-28 2022-01-04 浙江大学 一种机器人视觉分拣工艺程序编制方法
CN114310892A (zh) * 2021-12-31 2022-04-12 梅卡曼德(北京)机器人科技有限公司 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114925913A (zh) * 2022-05-20 2022-08-19 梅卡曼德(北京)机器人科技有限公司 混码方法以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110095700A (ko) * 2010-02-19 2011-08-25 현대중공업 주식회사 작업대상물 픽업을 위한 산업용 로봇 제어방법
CN106934833A (zh) * 2017-02-06 2017-07-07 江苏华航威泰机器人科技有限公司 一种散乱堆放物料拾取装置和方法
CN108189079A (zh) * 2017-12-30 2018-06-22 芜湖哈特机器人产业技术研究院有限公司 一种纸箱垛拆盘系统视觉定位装置
CN109081026A (zh) * 2018-07-13 2018-12-25 山东省科学院自动化研究所 基于激光测距雷达定位引导的机器人拆垛系统及方法
CN109297433A (zh) * 2018-11-15 2019-02-01 青岛星晖昌达智能自动化装备有限公司 3d视觉引导拆垛测量系统及其控制方法
CN111932625A (zh) * 2020-09-01 2020-11-13 合肥泰禾光电科技股份有限公司 一种基于PointNet模型的袋装货物垛拆垛方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110095700A (ko) * 2010-02-19 2011-08-25 현대중공업 주식회사 작업대상물 픽업을 위한 산업용 로봇 제어방법
CN106934833A (zh) * 2017-02-06 2017-07-07 江苏华航威泰机器人科技有限公司 一种散乱堆放物料拾取装置和方法
CN108189079A (zh) * 2017-12-30 2018-06-22 芜湖哈特机器人产业技术研究院有限公司 一种纸箱垛拆盘系统视觉定位装置
CN109081026A (zh) * 2018-07-13 2018-12-25 山东省科学院自动化研究所 基于激光测距雷达定位引导的机器人拆垛系统及方法
CN109297433A (zh) * 2018-11-15 2019-02-01 青岛星晖昌达智能自动化装备有限公司 3d视觉引导拆垛测量系统及其控制方法
CN111932625A (zh) * 2020-09-01 2020-11-13 合肥泰禾光电科技股份有限公司 一种基于PointNet模型的袋装货物垛拆垛方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴安成;何卫锋;欧阳祥波;: "基于OpenCV的码垛机器人手眼标定方法", 《制造技术与机床》, no. 06, 2 June 2018 (2018-06-02) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113800270A (zh) * 2021-09-17 2021-12-17 知行高科(北京)科技有限公司 一种用于物流拆垛的机器人控制方法及系统
CN113878576A (zh) * 2021-09-28 2022-01-04 浙江大学 一种机器人视觉分拣工艺程序编制方法
CN114310892A (zh) * 2021-12-31 2022-04-12 梅卡曼德(北京)机器人科技有限公司 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114310892B (zh) * 2021-12-31 2024-05-03 梅卡曼德(北京)机器人科技有限公司 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114925913A (zh) * 2022-05-20 2022-08-19 梅卡曼德(北京)机器人科技有限公司 混码方法以及电子设备
CN114925913B (zh) * 2022-05-20 2023-08-15 梅卡曼德(北京)机器人科技有限公司 混码方法以及电子设备

Also Published As

Publication number Publication date
CN112509043B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN112509043A (zh) 一种适用于随机混放纸箱垛的机器人智能拆垛方法
US11851290B2 (en) Robotic multi-item type palletizing and depalletizing
US20210237990A1 (en) Vision-assisted robotized depalletizer
DE102019130043B4 (de) Robotersystem mit fehlererkennung und dynamischem packmechanismus
CN111730603B (zh) 机器人系统的控制装置以及控制方法
US9492924B2 (en) Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
US9457970B1 (en) Modular cross-docking system
US20160136808A1 (en) Real-Time Determination of Object Metrics for Trajectory Planning
JP2020111467A (ja) ロボットシステムの制御装置及び制御方法
US9802720B2 (en) Apparatus and method for maintaining a pattern of non-rigid objects in a desired position and orientation
CA3130626A1 (en) Robotic handling of soft products in non-rigid packaging
US9346169B2 (en) Apparatus and method for universal, flexible pillow bag pattern creation
JP6661208B1 (ja) ロボットシステムの制御装置及び制御方法
WO2021017233A1 (zh) 一种使用平面检测的自动分拣的方法
US20160096643A1 (en) Apparatus and Method for Transferring a Pattern from a Universal Surface to an Ultimate Package
US9346170B2 (en) Apparatus and method for universal, flexible pillow bag pattern creation
CN111421546A (zh) 机器人系统的控制装置以及控制方法
US20230027984A1 (en) Robotic system with depth-based processing mechanism and methods for operating the same
WO2023086868A1 (en) Automated product unloading, handling, and distribution
JP7387931B1 (ja) ワーク積み付けシステム
US20240158183A1 (en) Robotic multi-item type palletizing & depalletizing
CN116175540B (zh) 基于位置及朝向的抓取控制方法、装置、设备和介质
CN115703238A (zh) 用于机器人物体放置的系统和方法
Anderson The Rise of Smarter Robots
WO2023155003A1 (en) Apparatus and method for automatic pallet builder calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant