CN113910235A - 机器人抓取物料的碰撞检测方法、装置、设备和存储介质 - Google Patents

机器人抓取物料的碰撞检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113910235A
CN113910235A CN202111276376.1A CN202111276376A CN113910235A CN 113910235 A CN113910235 A CN 113910235A CN 202111276376 A CN202111276376 A CN 202111276376A CN 113910235 A CN113910235 A CN 113910235A
Authority
CN
China
Prior art keywords
material frame
grabbed
model
robot
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111276376.1A
Other languages
English (en)
Inventor
王森森
朱虹
宋明岑
黄雄亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Gree Intelligent Equipment Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Gree Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Gree Intelligent Equipment Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202111276376.1A priority Critical patent/CN113910235A/zh
Publication of CN113910235A publication Critical patent/CN113910235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明提供了一种机器人抓取物料的碰撞检测方法、装置、设备和存储介质，所述方法包括，获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；判断所述特征参量是否满足预设的碰撞条件；若满足，则判定机器人沿所述法向量抓取时，所述待抓取物料与所述料框产生碰撞。本发明结合3D点云数据，在相机坐标系下，计算机器人夹爪与料框是否存在碰撞，其计算过程精简，提高了物料分拣的可靠性，更保证了工业化生产的效率。

Description

机器人抓取物料的碰撞检测方法、装置、设备和存储介质
技术领域
本发明属于机器人技术领域，尤其涉及一种机器人抓取物料的碰撞检测方法、装置、设备和存储介质。
背景技术
在制造业中，物料分拣工作是其中一个非常关键的环节，物料分拣主要是按照一定的分类原则将多种类型的生产物料分门别类摆置在规定的位置。在传统生产线上，物料分拣主要采用人工分拣的方法，对于长时间作业来说，采用人工分拣的方式不仅耗时耗力，还可能造成分拣错误，而且随着劳动力成本的不断增加，采用人工分拣已经满足不了现代工业降本增效的需求。
随着自动化技术的提高，采用机器人代替人工进行物料分拣已经成为必然趋势。但采用机器人对料框中物料进行分拣时，就涉及到机器人抓取物料时对料框碰撞的检测，传统的碰撞检测方法需要在机器人坐标系、料框坐标系、夹爪坐标系之间进行矩阵转换，计算过程繁琐，并且给出时间较长。
发明内容
为解决背景技术中提及的技术问题，本发明提供的一种机器人抓取物料的碰撞检测方法和装置，以解决机器人抓取物料过程中，碰撞检测方法过于繁琐的技术问题。
为实现上述目的，本发明的机器人抓取物料的碰撞检测方法、装置、设备和存储介质的具体技术方案如下：
本发明的一个方面，提供了一种机器人抓取物料的碰撞检测方法，包括以下步骤：
获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；
提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；
判断所述特征参量是否满足预设的碰撞条件；
若满足，则判定机器人沿所述法向量抓取时，所述待抓取物料与所述料框产生碰撞。
进一步的，在所述获取料框中待抓取物料的点云数据之前，所述方法还包括：
获取空料框的点云图像，根据空料框的点云图像抽取空料框的顶点坐标；
根据所述空料框的顶点坐标计算料框侧面的平面方程和料框顶面的平面方程，构建空料框的料框模型。
进一步的，所述根据所述点云图像构建抓取模型，包括：
根据料框中待抓取物料的点云图像计算得到的待抓取物料的最小包围盒；
所述抓取模型为以所述最小包围盒待抓取面为端面，以最小包围盒待抓取面法向量为方向的四面体；或，
所述抓取模型为在最小包围盒的基础上，在最小包围盒待抓取面相对的两侧面上分别向外延伸机器人夹爪的断面的多面体。
进一步的，所述特征参量还包括所述抓取模型的顶点坐标和以所述抓取模型的顶点为起点、沿所述法向量方向的射线。
进一步的，所述判断所述特征参量是否满足预设的碰撞条件，包括：
判断所述抓取模型的顶点是否全部在料框的内部空间；
若所述抓取模型的顶点全部在料框的内部空间，则判断所述抓取模型的待抓取面的法向量是否与所述料框的顶面垂直；
若垂直，则所述特征参量不满足预设的碰撞条件，判定机器人沿所述方向两抓取时，所述待抓取物料与所述料框不产生碰撞中。
进一步的，所述方法还包括：
若所述抓取模型的待抓取面的法向量与所述料框的顶面不垂直，则计算所述以所述抓取模型的顶点为起点、沿所述法向量方向的射线与所述料框侧面所在平面的交点；
判断所述交点是否在料框侧面内；
若所述交点在料框侧面内，则所述特征参量满足预设的碰撞条件。
进一步的，所述判断所述交点是否在料框侧面内，包括：
判断所述交点与相机坐标系原点和料框顶面所在平面的位置关系；
若所述交点与相机坐标系原点在料框顶面所在平面的两侧，则判定所述交点在料框侧面内；
若所述交点与相机坐标系原点在料框顶面所在平面的同侧，则判定所述交点未在料框侧面内。
进一步的，所述判断所述交点是否在料框侧面内，包括：
比较所述交点在相机坐标系下的z坐标值与所述料框顶面在相机坐标系下的z坐标值之间的大小关系；
若所述交点在相机坐标系下的z坐标值大于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点在料框侧面内；
若所述交点在相机坐标系下的z坐标值小于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点未在料框侧面内。
本发明的另一个方面，提供了一种机器人抓取物料的碰撞检测装置，包括：
获取模块，用于获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；
提取模块，用于提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；
判断模块，用于判断所述特征参量是否满足预设的碰撞条件；
碰撞判定模块，用于若判断所述特征参量满足预设的碰撞条件，则判定所述机器人抓取物料时会与所述料框产生碰撞。
本发明的另一个方面，提供了一种存储介质，该存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法的步骤。
本发明的另一个发面，提供了一种物料分拣设备，包括工业机器人、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时执行上述方法的步骤。
本发明的一种机器人抓取物料的碰撞检测方法、装置、设备和存储介质，可以结合3D点云数据，将判断机器人抓取物料时夹爪与料框的位置关系，简化在相机坐标系下，判断抓取模型的模型参数与料框平面的位置关系，其计算过程精简，无需进行坐标转换，不仅提高了物料分拣的可靠性，更保证了工业化生产的效率，有着十分重要的意义。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1为本发明实施例的一种机器人抓取物料的碰撞检测方法的流程图；
图2为本发明实施例的在相机坐标系下料框的简化模型的结构示意图；
图3为本发明实施例的机器人抓取物料时第一种抓取模型端面的结构示意图；
图4为本发明实施例的机器人抓取物料时第二种抓取模型端面的结构示意图；
图5为本发明实施例的一种机器人抓取物料的碰撞检测装置的示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
如图1所示，机器人抓取物料的碰撞检测方法，包括以下步骤：
S1、获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；
在本实施例中，抓取单元主要包括：一台工业机器人、一个末端抓取夹爪、一个料框以及被抓取物料。利用工业3D相机获取料框中物料的三维点云图像，所述3D相机包括但不限于工业2D相机加光结构投影仪、双目3D相机等能够获取3D点云图像的相机机构。其中，所述3D相机为全局相机，其坐标系不会随着机器人机械臂的移动而改变。
进一步的，料框里的物料可能有多层，例如，物料在料框里的叠加，在该场景中，物料分拣系统获取的是料框上最上层的物料的位置信息。具体的，物料分拣系统对点云数据进行滤波处理，得到最上层物料的点云数据，然后，对点云数据进行分割处理，得到多个点云集合，并确定每个点云集合对应的外接最小几何体，所述外接最小几何体为待处理云集合队形的物料的最小包围盒。
进一步的，最小包围盒待抓取面为机器人以预定姿态抓取物料时，与其夹爪正对的最小包围盒的侧面，该侧面为四边形模型。最小包围盒的待抓取面的顶点坐标为其在相机坐标系下的顶点坐标，最小包围盒的法向量为机器人夹爪的抓取方向。
S2、提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；
在本实施例中，一般工业抓取夹爪为二指，两指平行且对齐，每片夹爪在机器人末端法向方向上尺寸较大，而厚度较小。因为实际情况为夹爪在机器人末端法向方向上尺寸会大于料框的高度，即机器人本体一般不会和料框发生碰撞，而抓取过程中也一般不考虑与料框底部的碰撞，因此在抓取碰撞检测问题中，只需考虑夹爪与料框侧面的碰撞情况。
进一步的，待抓取物料的抓取模型为机器人夹爪以预定姿态抓取到待抓取物料时，机器人夹爪与物料的整体轮廓。
进一步的，所述模型参数抓取模型端面的四个顶点的顶点坐标和，以四个顶点为顶点向最小包围盒法线方向延伸的射线。
S3、判断所述特征参量是否满足预设的碰撞条件；
S4、若满足，则判定机器人沿所述法向量抓取时，所述待抓取物料与所述料框产生碰撞。
本发明实施例提供了机器人抓取物料的碰撞检测方法，将判断机器人抓取物料时夹爪与料框的位置关系，简化为抓取模型的模型参数与料框平面的位置关系，进而判断机器人当前姿态下抓取物料是否会与料框发生碰撞。
在本实施例中，在所述获取料框中待抓取物料的点云数据之前，所述方法还包括：
获取空料框的点云图像，根据空料框的点云图像抽取空料框的顶点坐标；
根据所述空料框的顶点坐标计算料框侧面的平面方程和料框顶面的平面方程，构建空料框的料框模型。
具体的，本发明的料框为长方体结构，包含五个面，四个侧面和一个底面。获取料框模型参数为获取料框在相机坐标系下的顶点坐标。
本实施例中，所述3D相机为全局相机，其坐标系不会随着机器人机械臂的移动而改变。
图2示意性的示出了本发明实施例的在相机坐标系下料框的简化模型示意图。
具体的，相机坐标系为右手坐标系，以相机的光心作为原点，z轴与光轴重合，取摄取方向为正方向。
需要说明的是，本发明的所有模型参数提取和计算过程，全都在相机坐标系下展开，整个过程无需坐标转换，精简了计算过程。
进一步的，在具体的实施过程中，一般将料框放置于相机下方，料框顶部所在平面与相机光轴垂直，即相机坐标系的z轴垂直于料框顶部所在平面。
本发明的一个简化实施例，将相机坐标系的x轴y轴设置为与料框顶面长方形的侧边平行。
进一步的，在进行物料抓取之前清空料框中的物料并对料框进行扫描，获取料框的3D点云数据。从料框的点云数据中提取顶点坐标，并根据顶点坐标求解料框四个侧面和顶面的平面方程。
具体的，可以为提取顶面的四个顶点P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)、P4(x4,y4,z4)的三维坐标，以及底部平面中的两个顶点P5(x5,y5,z5)和P6(x6,y6,z6)三维坐标；
根据三维空间坐标系中的三个点确定一个平面，用三点法求解得到平面方程：
顶面：A0*(x–x1)+B0*(y–y1)+C0*(z–z1)＝0
平面1：A1*(x–x1)+B1*(y–y1)+C1*(z–z1)＝0
平面2：A2*(x–x3)+B2*(y–y3)+C2*(z–z3)＝0
平面3：A3*(x–x1)+B3*(y–y1)+C3*(z–z1)＝0
平面4：A4*(x–x2)+B4*(y–y2)+C4*(z–z2)＝0
在本发明的简化实施例中，由于相机坐标系的z轴与光轴重合并垂直于料框顶面，且取摄影方向为正方向，则在提取料框特征点时可仅提取P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)三个点，料框的顶面和四个侧面的平面方程可以简化为：
顶面：z＝z1
平面1：y＝y1
平面2：y＝y3
平面3：x＝x1
平面4：x＝x2
在本实施例中，所述根据所述点云图像构建抓取模型，包括：
根据料框中待抓取物料的点云图像计算得到的待抓取物料的最小包围盒；
所述抓取模型为以所述最小包围盒待抓取面为端面，以最小包围盒待抓取面法向量为方向的四面体；或，
所述抓取模型为在最小包围盒的基础上，在最小包围盒待抓取面相对的两侧面上分别向外延伸机器人夹爪的断面的多面体。
本发明一个简化实施例，由于机器人夹爪的厚度一般较薄，在待抓取物料和料框的尺寸相比于夹爪的厚度较大时，可以忽略夹爪厚度对碰撞检测的影响，将最小包围盒待抓取面作为抓取模型在最小包围盒待抓取面所在平面的端面，如图3中所示的抓取模型的端面。
图4示意性的示出了机器人抓取物料第二种抓取模型的端面，该抓取模型的端面包括最小包围盒待抓取面和相应对称设置在最小包围盒待抓取面两侧的机器人夹爪模型。机器人夹爪模型为机器人夹爪底端的四边形模型，该四边形模型的长L和宽W需要在碰撞检测之前测量得到。
进一步的，所述特征参量还包括所述抓取模型的顶点坐标和以所述抓取模型的顶点为起点、沿所述法向量方向的射线。
如图3所示，抓取模型的断面的四个顶点坐标为A(xa,ya,za)、B(xb,yb,zb)、C(xc,yc,zc)、D(xd,yd,zd)。若最小包围盒待抓取面的法向量为(rx,ry,rz)，
以顶点A(xa,ya,za)为例，包围盒的法向量(rx,ry,rz)确定过顶点A的射线方程为：
Figure BDA0003329474560000101
其中，t为射线的长度参数。
进一步的，所述判断所述特征参量是否满足预设的碰撞条件，包括：
判断所述抓取模型的顶点是否全部在料框的内部空间；
若所述抓取模型的顶点全部在料框的内部空间，则判断所述抓取模型的待抓取面的法向量是否与所述料框的顶面垂直；
若垂直，则所述特征参量不满足预设的碰撞条件，判定机器人沿所述方向两抓取时，所述待抓取物料与所述料框不产生碰撞中。。
具体的，判断方法以点A为例，将点A的坐标A(xa,ya,za)带入到料框对称侧面的平面方程如平面1和平面2，求取valA1＝A1*(xa–x1)+B1*(ya–y1)+C1*(za–z1)和valA2＝A2*(xa–x3)+B2*(ya–y3)+C2*(za–z3)，若valA1和valA2的符号不同，则证明点A在平面1和平面2的两侧，即点A在平面1和平面2之间，用同样的方法判断点A是否在平面3和平面4之间。若点A同时在平面1平面2之间，平面3和平面4之间则可判定点A在料框的内部空间。以同样的方法，判断B、C、D三个顶点是否在料框的内部空间。
本发明的一个简化实施例，由于料框的四个侧面的平面方程分别为平面1：y＝y1、平面2：y＝y3、平面3：x＝x1、平面4：x＝x2，判断点A是否在料框的内部空间只需判断点A的y值ya是否满足y1＜ya＜y3，A的x值xa是否满足x1＜xa＜x2即可，若满足上述条件，则点A在料框的内部空间。以同样的方法，判断B、C、D三个顶点是否在料框的内部空间。
进一步的，若A、B、C、D中有一点不在料框的内部空间，则机器人抓取物料时就会与料框产生碰撞，无需进行后续的碰撞检测方法的步骤。
进一步的，所述方法还包括：
若所述抓取模型的待抓取面的法向量与所述料框的顶面不垂直，则计算所述以所述抓取模型的顶点为起点、沿所述法向量方向的射线与所述料框侧面所在平面的交点；
判断所述交点是否在料框侧面内；
若所述交点在料框侧面内，则所述特征参量满足预设的碰撞条件。
具体的，若A、B、C、D四个顶点全部在料框的内部空间，则判断抓取模型待抓取面的法向量是否与所述料框的顶面垂直；若所述法向量与料框顶面垂直，则所述法向量与料框的四个侧面平行，则所述特征参量不满足预设的碰撞检测条件，机器人沿所述法向量抓取时，所述待抓取物料与所述料框不会产生碰撞。
具体的，若抓取模型待抓取面的法向量(rx,ry,rz)与料框顶面的法向量(A0,B0,C0)平行，则可判定抓取模型的待抓取面的法向量与料框顶面垂直。
本发明的一个简化实施例，由于一般将料框放置于相机下方，料框顶部所在平面与相机光轴垂直，即相机坐标系的z轴垂直于料框顶部所在平面。此时，若包围盒待抓取面的法向量(rx,ry,rz)为(0,0,rz)时与相机坐标系的z轴平行，则可判定抓取模型的待抓取面的法向量与料框顶面垂直。
进一步的，所述方法还包括：
若所述抓取模型的待抓取面的法向量与所述料框的顶面不垂直，则计算所述以所述抓取模型的顶点为起点、沿所述法向量方向的射线与所述料框侧面所在平面的交点；
判断所述交点是否在料框侧面内；
若所述交点在料框侧面内，则所述特征参量满足预设的碰撞条件。
即若所述抓取模型的待抓取面的法向量不与所述料框的顶面垂直，则计算所述以所述抓取模型的顶点为起点、沿所述法向量方向的射线与所述料框侧面所在平面的交点P的坐标；
具体的，由于射线的起点在料框内部，所以该射线与包围盒的四个侧面所在的平面最多有两个交点，计算出该射线与料框侧面所在平面的交点P的坐标。
进一步的，若顶点为A的射线与料框侧面1存在交点，则
将射线方程：
Figure BDA0003329474560000121
的x、y、z带入到平面1方程中
平面1：A1*(x–x1)+B1*(y–y1)+C1*(z–z1)＝0
求取出t值，进而确定交点P的坐标(xp,yp,zp)。
需要说明的是，在本实施例中，需要分别计算四条射线与四个侧面的交点，由于其计算方法都相同，所以只示意性示出上述计算过程。
进一步的，在计算出交点P之后，需要判断交点P是否在料框侧面内。
在本实施例中，所述判断所述交点是否在料框侧面内，包括：
判断所述交点与相机坐标系原点和料框顶面所在平面的位置关系；
若所述交点与相机坐标系原点在料框顶面所在平面的两侧，则判定所述交点在料框侧面内；
若所述交点与相机坐标系原点在料框顶面所在平面的同侧，则判定所述交点未在料框侧面内。
由于料框放置在相机下方，相机坐标系的原点O位于两筐顶面的上方，因此只需判断所述交点与相机坐标系原点0和料框顶面的位置关系，就能判断出所述交点是否在所述料框侧面内：
当所述交点与所述相机坐标系原点在料框顶面的两侧，则所述交点在料框侧面内；
当所述交点与所述相机坐标系原点在料框顶面的同侧，则所述交点未在料框侧面内。
具体的，将P点坐标(xp,yp,zp)带入到顶面方程，A0*(x–x1)+B0*(y–y1)+C0*(z–z1)＝0，求解方程左侧值valP＝A0*(xp–x1)+B0*(yp–y1)+C0*(zp–z1),再将坐标系原点O(0,0,0)代入，求解方程左侧值val0＝A0*(0–x1)+B0*(0–y1)+C0*(0–z1)，如果valp和val0符号相同，则说明P点和原点O在顶面同一侧，即点P在顶面上方，则所述交点未在料框侧面内。
进一步的，若valp和val0符号相反，则说明P点和原点O分布在顶面不同侧，即点P在顶面下方，述交点在料框侧面内。
本发明的一个简化实施例，由于相机坐标系的z轴与光轴重合并垂直于料框顶面，且取摄影方向为正方向。在判断P点与料框顶面的位置关系时，仅需要判断P点的z坐标值与所述料框顶面的z坐标值之间的大小关系；即可。
在本实施例中，所述判断所述交点是否在料框侧面内，包括：
比较所述交点在相机坐标系下的z坐标值与所述料框顶面在相机坐标系下的z坐标值之间的大小关系；
若所述交点在相机坐标系下的z坐标值大于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点在料框侧面内；
若所述交点在相机坐标系下的z坐标值小于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点未在料框侧面内。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图5示意性示出了本发明一个实施例的一种机器人抓取物料的碰撞检测装置，参照图5，本发明实施例的一种机器人抓取物料的碰撞检测装置，具体包括获取模块401、提取模块402、判断模块403、碰撞判定模块404，其中：
获取模块401，用于获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；
提取模块402，用于提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；
判断模块403，用于判断所述特征参量是否满足预设的碰撞条件；
碰撞判定模块404，用于若判断所述特征参量满足预设的碰撞条件，则判定所述机器人抓取物料时会与所述料框产生碰撞。
进一步的，所述获取模块401，还用于在所述获取料框中待抓取物料的点云数据之前，获取空料框的点云图像，根据空料框的点云图像抽取空料框的顶点坐标；根据所述空料框的顶点坐标计算料框侧面的平面方程和料框顶面的平面方程，构建空料框的料框模型。
进一步的，所述获取模块401，还用于根据料框中待抓取物料的点云图像计算得到的待抓取物料的最小包围盒；
所述抓取模型为以所述最小包围盒待抓取面为端面，以最小包围盒待抓取面法向量为方向的四面体；或，
所述抓取模型为在最小包围盒的基础上，在最小包围盒待抓取面相对的两侧面上分别向外延伸机器人夹爪的断面的多面体。
进一步的，所述特征参量还包括所述抓取模型的顶点坐标和以所述抓取模型的顶点为起点、沿所述法向量方向的射线。
进一步的，所述判断模块403，具体用于判断所述抓取模型的顶点是否全部在料框的内部空间；
所述碰撞判定模块404，具体用于若所述抓取模型的顶点全部在料框的内部空间，则判断所述抓取模型的待抓取面的法向量是否与所述料框的顶面垂直；
若垂直，则所述特征参量不满足预设的碰撞条件，判定机器人沿所述方向两抓取时，所述待抓取物料与所述料框不产生碰撞中。
进一步的，所述装置还包括计算模块，
所述计算模块，用于若所述抓取模型的待抓取面的法向量与所述料框的顶面不垂直，则计算所述以所述抓取模型的顶点为起点、沿所述法向量方向的射线与所述料框侧面所在平面的交点；
判断所述交点是否在料框侧面内；
若所述交点在料框侧面内，则所述特征参量满足预设的碰撞条件。
进一步的，所述判断模块403，还用于判断所述交点与相机坐标系原点和料框顶面所在平面的位置关系；
若所述交点与相机坐标系原点在料框顶面所在平面的两侧，则判定所述交点在料框侧面内；
若所述交点与相机坐标系原点在料框顶面所在平面的同侧，则判定所述交点未在料框侧面内。
进一步的，所述装置还包括未显示在附图中的比较模块，
所述比较模块，还用于比较所述交点在相机坐标系下的z坐标值与所述料框顶面在相机坐标系下的z坐标值之间的大小关系；
若所述交点在相机坐标系下的z坐标值大于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点在料框侧面内；
若所述交点在相机坐标系下的z坐标值小于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点未在料框侧面内。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明的一种机器人抓取物料的碰撞检测方法、装置，可以结合3D点云数据，将判断机器人抓取物料时夹爪与料框的位置关系，简化在相机坐标系下，判断抓取模型的模型参数与料框平面的位置关系，其计算过程精简，无需进行坐标转换，不仅提高了物料分拣的可靠性，更保证了工业化生产的效率，有着十分重要的意义。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被设置为运行时执行上述实施例中的机器人抓取物料的碰撞检测方法的步骤。
本实施例中，所述机器人抓取物料的碰撞检测装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
根据本发明实施例的另一方面，还提供了一种物料分拣设备，包括工业机器人、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个机器人抓取物料的碰撞检测方法实施例中的步骤，例如图1所示的S1-S4。或者，所述处理器执行所述计算机程序时实现上述机器人抓取物料的碰撞检测装置实施例中各模块/单元的功能，例如图5所示的获取模块401、提取模块402、判断模块403、碰撞判定模块404。
其中，所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述物料分拣设备的控制中心，利用各种接口和线路连接整个物料分拣设备的各个部分。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种机器人抓取物料的碰撞检测方法，其特征在于，包括以下步骤：
获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；
提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；
判断所述特征参量是否满足预设的碰撞条件；
若满足，则判定机器人沿所述法向量抓取时，所述待抓取物料与所述料框产生碰撞。
2.根据权利要求1所述的方法，其特征在于，在所述获取料框中待抓取物料的点云数据之前，所述方法还包括：
获取空料框的点云图像，根据空料框的点云图像抽取空料框的顶点坐标；
根据所述空料框的顶点坐标计算料框侧面的平面方程和料框顶面的平面方程，构建空料框的料框模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述点云图像构建抓取模型，包括：
根据料框中待抓取物料的点云图像计算得到的待抓取物料的最小包围盒；
所述抓取模型为以所述最小包围盒待抓取面为端面，以最小包围盒待抓取面法向量为方向的四面体；或，
所述抓取模型为在最小包围盒的基础上，在最小包围盒待抓取面相对的两侧面上分别向外延伸机器人夹爪的断面的多面体。
4.根据权利要求1所述的方法，其特征在于，所述特征参量还包括所述抓取模型的顶点坐标和以所述抓取模型的顶点为起点、沿所述法向量方向的射线。
5.根据权利要求4所述的方法，其特征在于，所述判断所述特征参量是否满足预设的碰撞条件，包括：
判断所述抓取模型的顶点是否全部在料框的内部空间；
若所述抓取模型的顶点全部在料框的内部空间，则判断所述抓取模型的待抓取面的法向量是否与所述料框的顶面垂直；
若垂直，则所述特征参量不满足预设的碰撞条件，判定机器人沿所述方向两抓取时，所述待抓取物料与所述料框不产生碰撞中。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述抓取模型的待抓取面的法向量与所述料框的顶面不垂直，则计算所述以所述抓取模型的顶点为起点、沿所述法向量方向的射线与所述料框侧面所在平面的交点；
判断所述交点是否在料框侧面内；
若所述交点在料框侧面内，则所述特征参量满足预设的碰撞条件。
7.根据权利要求6所述的方法，其特征在于，所述判断所述交点是否在料框侧面内，包括：
判断所述交点与相机坐标系原点和料框顶面所在平面的位置关系；
若所述交点与相机坐标系原点在料框顶面所在平面的两侧，则判定所述交点在料框侧面内；
若所述交点与相机坐标系原点在料框顶面所在平面的同侧，则判定所述交点未在料框侧面内。
8.根据权利要求6所述的方法，其特征在于，所述判断所述交点是否在料框侧面内，包括：
比较所述交点在相机坐标系下的z坐标值与所述料框顶面在相机坐标系下的z坐标值之间的大小关系；
若所述交点在相机坐标系下的z坐标值大于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点在料框侧面内；
若所述交点在相机坐标系下的z坐标值小于所述料框顶面在相机坐标系下的z坐标值，则判定所述交点未在料框侧面内。
9.一种机器人抓取物料的碰撞检测装置，其特征在于，包括：
获取模块，用于获取料框中待抓取物料的点云图像，根据所述点云图像构建抓取模型；
提取模块，用于提取抓取模型中的特征参量，所述特征参量包括抓取模型的待抓取面的法向量；
判断模块，用于判断所述特征参量是否满足预设的碰撞条件；
碰撞判定模块，用于若判断所述特征参量满足预设的碰撞条件，则判定所述机器人抓取物料时会与所述料框产生碰撞。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-8任一项所述方法的步骤。
11.一种物料分拣设备，包括工业机器人、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述方法的步骤。
CN202111276376.1A 2021-10-29 2021-10-29 机器人抓取物料的碰撞检测方法、装置、设备和存储介质 Pending CN113910235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111276376.1A CN113910235A (zh) 2021-10-29 2021-10-29 机器人抓取物料的碰撞检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276376.1A CN113910235A (zh) 2021-10-29 2021-10-29 机器人抓取物料的碰撞检测方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113910235A true CN113910235A (zh) 2022-01-11

Family

ID=79243993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276376.1A Pending CN113910235A (zh) 2021-10-29 2021-10-29 机器人抓取物料的碰撞检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113910235A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114700940A (zh) * 2022-03-24 2022-07-05 梅卡曼德（北京）机器人科技有限公司 抓取方法、装置及计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
US20150321354A1 (en) * 2014-05-08 2015-11-12 Toshiba Kikai Kabushiki Kaisha Picking apparatus and picking method
CN108126914A (zh) * 2017-11-24 2018-06-08 上海发那科机器人有限公司 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN110000793A (zh) * 2019-04-29 2019-07-12 武汉库柏特科技有限公司 一种机器人运动控制方法、装置、存储介质和机器人
CN111496849A (zh) * 2020-07-01 2020-08-07 佛山隆深机器人有限公司 一种料框与夹具快速碰撞检测的方法
CN111558940A (zh) * 2020-05-27 2020-08-21 佛山隆深机器人有限公司 一种机器人料框抓取规划与碰撞检测方法
CN112060087A (zh) * 2020-08-28 2020-12-11 佛山隆深机器人有限公司 一种用于机器人抓取场景的点云碰撞检测方法
CN113246140A (zh) * 2021-06-22 2021-08-13 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置
CN113524187A (zh) * 2021-07-20 2021-10-22 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
US20150321354A1 (en) * 2014-05-08 2015-11-12 Toshiba Kikai Kabushiki Kaisha Picking apparatus and picking method
CN108126914A (zh) * 2017-11-24 2018-06-08 上海发那科机器人有限公司 一种基于深度学习的料框内散乱多物体机器人分拣方法
CN110000793A (zh) * 2019-04-29 2019-07-12 武汉库柏特科技有限公司 一种机器人运动控制方法、装置、存储介质和机器人
CN111558940A (zh) * 2020-05-27 2020-08-21 佛山隆深机器人有限公司 一种机器人料框抓取规划与碰撞检测方法
CN111496849A (zh) * 2020-07-01 2020-08-07 佛山隆深机器人有限公司 一种料框与夹具快速碰撞检测的方法
CN112060087A (zh) * 2020-08-28 2020-12-11 佛山隆深机器人有限公司 一种用于机器人抓取场景的点云碰撞检测方法
CN113246140A (zh) * 2021-06-22 2021-08-13 沈阳风驰软件股份有限公司 一种基于相机测量的多模型工件无序抓取方法及装置
CN113524187A (zh) * 2021-07-20 2021-10-22 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114700940A (zh) * 2022-03-24 2022-07-05 梅卡曼德（北京）机器人科技有限公司 抓取方法、装置及计算设备
CN114700940B (zh) * 2022-03-24 2023-08-25 梅卡曼德（北京）机器人科技有限公司 抓取方法、装置及计算设备

Similar Documents

Publication Publication Date Title
CN112060087B (zh) 一种用于机器人抓取场景的点云碰撞检测方法
CN108044627B (zh) 抓取位置的检测方法、装置及机械臂
CN109015640B (zh) 抓取方法、系统、计算机装置及可读存储介质
JP3768174B2 (ja) ワーク取出し装置
JP6529302B2 (ja) 情報処理装置、情報処理方法、プログラム
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
JP2010207989A (ja) 対象物の把持システム及び同システムにおける干渉検出方法
JP3654042B2 (ja) 物体特定方法及び装置
JP2018091656A (ja) 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN113910235A (zh) 机器人抓取物料的碰撞检测方法、装置、设备和存储介质
JP5544464B2 (ja) 対象物の３次元位置・姿勢認識装置及びその方法
Chen et al. Pallet recognition and localization method for vision guided forklift
CN108555902B (zh) 一种机器人分拣物品的方法、装置及机器人
JP5476943B2 (ja) 姿勢認識方法およびこの方法を用いた３次元視覚センサ
Kang et al. Robotic vision system for random bin picking with dual-arm robots
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
JP7264247B2 (ja) 情報処理装置及び情報処理方法
CN114310892B (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
Frank et al. Stereo-vision for autonomous industrial inspection robots
Nakano Stereo vision based single-shot 6d object pose estimation for bin-picking by a robot manipulator
JP2011174891A (ja) 位置姿勢計測装置、位置姿勢計測方法、及びプログラム
Arbeiter et al. Efficient segmentation and surface classification of range images
CN115284279A (zh) 一种基于混叠工件的机械臂抓取方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220111

RJ01 Rejection of invention patent application after publication