CN114074331A - 一种基于视觉的无序抓取方法及机器人 - Google Patents

Abstract

本发明公开了一种基于视觉的无序抓取方法及机器人，该方法包括：为标准工件模型设置抓取点；扫描待抓取工件的点云信息，识别待抓取工件的位置和姿态；判断工件抓取点的位置并进行抓取。本发明首先对标准工件模型进行六面封装，并对每一个面都选取抓取点，在点云识别后只需要获取工件的位置和姿态就能找到抓取点，提高了抓取的效率。另外在抓取之前还对抓取路径与边框和其他工件是否有干涉进行判断，从而提高了抓取的成功率。

Description

一种基于视觉的无序抓取方法及机器人

技术领域

本发明涉及一种基于视觉的工件无序抓取方法以及采用该方法的机器人。

背景技术

随着工业自动化的持续快速发展，工业机器人以其稳定、快速、高效的特点正在逐渐取代人类。机器人自动化系统广泛应用于3C和物流行业的抓取、分拣、装配等作业中。机器视觉作为实现机器人自动化作业的关键技术，其可以代替人眼对被待操作目标物体进行测量和判断，获取目标物体的颜色与位姿等信息，提高机器人生产的柔性和自动化程度。目前工业环境经常存在物体堆积、杂乱无序放置的情况，而采用传统的机器人抓取或分拣方法，往往存在识别物体信息不准确，抓取或分拣成功率低的问题，严重影响机器人作业过程的效率和增大了企业成本。

发明内容

有鉴于此，本发明提供一种基于视觉的无序抓取方法及机器人，其抓取效率和成功率高。

为解决以上技术问题，本发明提供一种基于视觉的无序抓取方法，包括：为标准工件模型设置抓取点；扫描待抓取工件的点云信息，识别待抓取工件的位置和姿态；判断工件抓取点的位置并进行抓取。

作为一种改进，所述为标准工件模型设置抓取点包括：利用最小外接长方体将标准工件模型进行六面封装；为每一个面设定一个抓取点。

作为一种进一步的改进，所述识别待抓取工件的位置和姿态包括：对获取点云信息的图像获取模块与进行抓取的机器人的抓取机构末端进行标定，建立从所述图像获取模块坐标系到所述抓取机构末端坐标系的变换关系；将图像获取模块获取的待抓取工件的点云信息转换到机器人的抓取机构末端坐标系中。

作为另一种更进一步的改进，所述对获取点云信息的图像获取模块与进行抓取的机器人的抓取机构末端进行标定，建立从所述图像获取模块坐标系到所述抓取机构末端坐标系的变换关系包括：

固定放置标定板；

移动机器人抓取机构末端，从不同位置拍摄n张标定板图片；

根据公式

计算图像获取模 块坐标系到抓取机构末端坐标系的转换矩阵，其中

为图像获取模块坐标系到抓取 机构末端坐标系的转换矩阵，

为标定板坐标系到图像获取模块坐标系的转换矩 阵，

为机器人坐标系到标定板坐标系的转换矩阵，

为抓取机构末端坐标 系到机器人坐标系的转换矩阵。

作为一种改进，所述计算图像获取模块坐标系到抓取机构末端坐标系的平移矩阵和旋转矩阵的方法为：

通过拍摄的标定板图片获得；

由抓取机构末端位置参数获得；

为固定值，对于每张标定板图片都相同；

对于拍摄到的n张标定板图片有n-1个方程：

其中带有下标1~n的M代表第1~n张标定板图片中的转换矩阵；

对上述n-1个方程进行求解获得图像获取模块坐标系到抓取机构末端坐标系的转 换矩阵

。

作为一种优选，n>3。

作为一种改进，所述判断工件抓取点的位置并进行抓取包括：添加边框点云；选择待抓取工件的一个面作为抓取面以及确定该抓取面的抓取点；添加抓取机构末端抓取轨迹的点云并进行判断，若抓取轨迹点云与边框或者/和其他工件点云无干涉则进行抓取，若有干涉则选择下一个面作为抓取面并判断，以此类推。

作为一种改进，根据待抓取工件的点云高度确定抓取顺序从高至低进行抓取。

作为一种改进，所述选择待抓取工件的一个面作为抓取面以及确定该抓取面的抓取点包括：将待抓取工件的点云信息与进行标准工件模型点云信息进行比较，把最相似待抓取工件与标准工件模型最相似的一个面最为第一抓取面并以此类推。

作为一种改进，若对同一个待抓取工件连续判断两个面都有干涉则对下一个工件进行判断。

作为一种改进，所述抓取轨迹为柱形，并沿抓取机构末端到抓取面的垂线设置，所述垂线的垂足为该抓取面的抓取点。

本发明还提供一种基于视觉的无需抓取机器人，包括：图像获取模块，用于获取待抓取工件的点云信息；抓取机构，用于对待抓取工件进行抓取；所述图像获取模块固定在抓取机构末端；控制模块，利用将图像获取模块获取的待抓取工件的点云信息控制抓取机构对待抓取工件进行抓取。

本发明的有益之处在于：本发明首先对标准工件模型进行六面封装，并对每一个面都选取抓取点，在点云识别后只需要获取工件的位置和姿态就能找到抓取点，提高了抓取的效率。另外在抓取之前还对抓取路径与边框和其他工件是否有干涉进行判断，从而提高了抓取的成功率。

附图说明

图1为本发明的流程图。

图2为本发明的结构原理图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。

如图1所示，本发明一种基于视觉的无序抓取方法，包括：

S1为标准工件模型设置抓取点；

S2扫描待抓取工件的点云信息，识别待抓取工件的位置和姿态；

S3判断工件抓取点的位置并进行抓取。

具体地，步骤S1又包括：

S11利用最小外接长方体将标准工件模型进行六面封装；任何三维物体都能通过最小外接长方体进行六面封装，封装的目的在于便于实现工件的多姿态抓取。封装以后，形状复杂的工件都可以简单地看作一个长方体，在抓取的时候也通过六个面所对应的六个方向进行抓取。

S12为每一个面设定一个抓取点。封装以后的每个面都设定便于抓取的位置作为抓取点。

步骤S2中采用图像获取模块对待抓取的工件进行扫描获取待抓取工件的点云信息，本发明中，图像获取模块固定在抓取机构的末端。所谓抓取机构末端在本申请中指的是安装抓取部件的位置，如本实施例中，抓取机构指的是机械臂，而抓取部件指的是夹爪。

其中，识别待抓取工件的位置和姿态具体包括：

S21对获取点云信息的图像获取模块与进行抓取的机器人的抓取机构末端进行标定，建立从所述图像获取模块坐标系到所述抓取机构末端坐标系的变换关系；

S22将图像获取模块获取的待抓取工件的点云信息转换到机器人的抓取机构末端坐标系中。通过步骤S21能够获得图像获取模块坐标系到所述抓取机构末端坐标系的转换矩阵，通过图像获取模块获取点云信息的坐标均可以利用该转换矩阵转换为抓取机构末端的坐标。

步骤S21具体又包括：

S211固定放置标定板；

S212移动机器人抓取机构末端，从不同位置拍摄n张标定板图片，n>3，即需要拍摄3张或者3张以上的标定板图片。

S213根据公式

计算图像获取模块坐 标系到抓取机构末端坐标系的转换矩阵，其中

为图像获取模块坐标系到抓取机构 末端坐标系的转换矩阵，

为标定板坐标系到图像获取模块坐标系的转换矩阵，

为机器人坐标系到标定板坐标系的转换矩阵，

为抓取机构末端坐标系 到机器人坐标系的转换矩阵。转换矩阵又包括平移矩阵、旋转矩阵、缩放因子等，本发明中， 点云坐标的转换只涉及平移和旋转，因此转换矩阵也只包括平移矩阵和旋转矩阵。例如

为机器人坐标系到抓取机构末端的旋转矩阵，

为机器人坐标系到抓取机构 末端的平移矩阵，那么有

。

对于两个坐标系的转换，如果两个坐标系都是静止的或者两个坐标系一动一静的情况，其标定较为简单。而本实施例中，图像获取模块是固定在抓取机构末端随抓取机构末端同步运动，相对于世界坐标系来说，二者都是运动的，因此二者的标定需要通过图像获取模块坐标系到标定板坐标系，机器人坐标系到标定板坐标系，器人坐标系到抓取机构末端坐标系的转换才能成功。

通过拍摄的标定板图片获得；

由抓取机构末端位置参数获得；

为固定值，对于每张标定板图片都相同；

对于拍摄到的n张标定板图片有n-1个方程：

其中带有下标1~n的M代表第1~n张标定板图片中的转换矩阵；

对上述n-1个方程进行求解获得图像获取模块坐标系到抓取机构末端坐标系的转 换矩阵

。其中带有下标1~n的M代表第1~n张标定板图片中的转换矩阵；例如一共 拍摄了10张标定板图片，该方程组就会有9个方程,最后一个方程中n=10，n-1=9。

对上述n-1个方程进行求解获得图像获取模块坐标系到抓取机构末端坐标系的转 换矩阵

。

步骤3具体包括：

S31添加边框点云；

S32选择待抓取工件的一个面作为抓取面以及确定该抓取面的抓取点；首先根据待抓取工件的点云高度确定抓取顺序从高至低进行抓取，例如首先选取点云高度最高的待抓取工件，点云高度最高代表工件位于最上方，其被其他工件覆盖的可能性也最小，最方便抓取。然后将选取的待抓取工件的点云信息与进行标准工件模型点云信息进行比较，把待抓取工件与标准工件模型最相似的一个面作为第一抓取面并以此类推。与标准工件模型最相似说明该面最接近正对图像获取模块，也最接近正对夹爪，最为方便抓取。

S33添加抓取机构末端抓取轨迹的点云并进行判断，若抓取轨迹点云与边框或者/和其他工件点云无干涉则进行抓取，若有干涉则选择下一个面作为抓取面并判断，以此类推。

选取待抓取工件和抓取面后，抓取点自然确定（在标准工件模型中已经预设好的抓取点）。此时需要判断该工件的该抓取面是否适合抓取，判断方法就是看抓取轨迹和边框以及其他待抓取工件之间是否有干涉，有干涉说明抓取有阻挡，需要更换一个面进行抓取。本实施例中，抓取轨迹为柱形，并沿抓取机构末端到抓取面的垂线设置，所述垂线的垂足为该抓取面的抓取点。若抓取部件为夹爪，抓取轨迹可以设置为两条四方柱。通过判断两条四方柱的点云与边框及其他待抓取工件的点云是否有交集来判断干涉与否。

另外，尽管每个工件设定了六个面，但为了提高效率，对同一个待抓取工件连续判断两个面都有干涉则对下一个工件进行判断。

如图2所示，本发明还提供一种基于视觉的无需抓取机器人，包括：图像获取模块，用于获取待抓取工件的点云信息；抓取机构，用于对待抓取工件进行抓取；所述图像获取模块固定在抓取机构末端；控制模块，利用将图像获取模块获取的待抓取工件的点云信息控制抓取机构对待抓取工件进行抓取。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种基于视觉的无序抓取方法，其特征在于包括：

为标准工件模型设置抓取点；

扫描待抓取工件的点云信息，识别待抓取工件的位置和姿态；

判断工件抓取点的位置并进行抓取。

2.根据权利要求1所述的一种基于视觉的无序抓取方法，其特征在于所述为标准工件模型设置抓取点包括：

利用最小外接长方体将标准工件模型进行六面封装；

为每一个面设定一个抓取点。

3.根据权利要求1所述的一种基于视觉的无序抓取方法，其特征在于所述识别待抓取工件的位置和姿态包括：

对获取点云信息的图像获取模块与进行抓取的机器人的抓取机构末端进行标定，建立从所述图像获取模块坐标系到所述抓取机构末端坐标系的变换关系；

将图像获取模块获取的待抓取工件的点云信息转换到机器人的抓取机构末端坐标系中。

4.根据权利要求3所述的一种基于视觉的无序抓取方法，其特征在于所述对获取点云信息的图像获取模块与进行抓取的机器人的抓取机构末端进行标定，建立从所述图像获取模块坐标系到所述抓取机构末端坐标系的变换关系包括：

固定放置标定板；

移动机器人抓取机构末端，从不同位置拍摄n张标定板图片；

根据公式

计算图像获取模块坐标系到抓取机构末 端坐标系的转换矩阵，其中

为图像获取模块坐标系到抓取机构末端坐标系的转换矩 阵，

为标定板坐标系到图像获取模块坐标系的转换矩阵，

为机器人坐标系 到标定板坐标系的转换矩阵，

为抓取机构末端坐标系到机器人坐标系的转换矩 阵。

5.根据权利要求4所述的一种基于视觉的无序抓取方法，其特征在于所述计算图像获取模块坐标系到抓取机构末端坐标系的平移矩阵和旋转矩阵的方法为：

通过拍摄的标定板图片获得；

由抓取机构末端位置参数获得；

为固定值，对于每张标定板图片都相同；

对于拍摄到的n张标定板图片有n-1个方程：

其中带有下标1~n的M代表第1~n张标定板图片中的转换矩阵；

对上述n-1个方程进行求解获得图像获取模块坐标系到抓取机构末端坐标系的转换矩 阵

。

6.根据权利要求4所述的一种基于视觉的无序抓取方法，其特征在于：n>3。

7.根据权利要求1所述的一种基于视觉的无序抓取方法，其特征在于所述判断工件抓取点的位置并进行抓取包括：

添加边框点云；

选择待抓取工件的一个面作为抓取面以及确定该抓取面的抓取点；

添加抓取机构末端抓取轨迹的点云并进行判断，若抓取轨迹点云与边框或者/和其他工件点云无干涉则进行抓取，若有干涉则选择下一个面作为抓取面并判断，以此类推。

8.根据权利要求7所述的一种基于视觉的无序抓取方法，其特征在于根据待抓取工件的点云高度确定抓取顺序从高至低进行抓取。

9.根据权利要求7所述的一种基于视觉的无序抓取方法，其特征在于所述选择待抓取工件的一个面作为抓取面以及确定该抓取面的抓取点包括：

将待抓取工件的点云信息与进行标准工件模型点云信息进行比较，把最相似待抓取工件与标准工件模型最相似的一个面最为第一抓取面并以此类推。

10.根据权利要求7所述的一种基于视觉的无序抓取方法，其特征在于：若对同一个待抓取工件连续判断两个面都有干涉则对下一个工件进行判断。

11.根据权利要求7所述的一种基于视觉的无序抓取方法，其特征在于所述抓取轨迹为柱形，并沿抓取机构末端到抓取面的垂线设置，所述垂线的垂足为该抓取面的抓取点。

12.一种基于视觉的无需抓取机器人，其特征在于包括：

图像获取模块，用于获取待抓取工件的点云信息；

抓取机构，用于对待抓取工件进行抓取；

所述图像获取模块固定在抓取机构末端；

控制模块，利用将图像获取模块获取的待抓取工件的点云信息控制抓取机构对待抓取工件进行抓取。

Images