CN115556102B

CN115556102B - 一种基于视觉识别的机器人分拣规划方法及规划设备

Info

Publication number: CN115556102B
Application number: CN202211244339.7A
Authority: CN
Inventors: 王念峰; 林俊烨; 张宪民
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2022-10-12
Filing date: 2022-10-12
Publication date: 2024-03-12
Anticipated expiration: 2042-10-12
Also published as: CN115556102A

Abstract

本发明提供了一种基于视觉识别的机器人分拣规划方法，包括：对示教物体进行视觉识别，控制机器人对示教物体的抓取示教，记录所述机器人在示教抓取的位姿；在实际分拣场景时，根据所述机器人的视觉识别结果，结合机器人示教抓取的位姿数据，计算得到实际抓取时的抓取位姿的末端位姿。本发明还提供了基于上述分拣规划方法的分拣规划设备及分拣方法及装置。本发明采用对机器人初始示教的方式，结合三维视觉识别系统，快速精确的计算出机器人实际抓取位姿结果，避免了TCP标定的步骤，简化了计算抓取位姿的流程，从而提高了抓取位姿的精度，使得机器人的分拣工作更为方便，提高了机器人分拣系统的柔性。

Description

一种基于视觉识别的机器人分拣规划方法及规划设备

技术领域

本发明属于机器视觉领域，具体涉及到一种基于视觉识别的机器人分拣规划方法及规划设备、机器人分拣方法及分拣设备。

背景技术

目前随着机器人技术及三维视觉技术的飞速发展，三维点云的获取方式越来越方便，机器人技术及三维视觉技术逐渐在工业的各个领域中广泛应用，尤其是工业物流分拣领域，由于全球人力成本的日益高涨，采用机器人进行智能化分拣作业是未来趋势。

在现有技术中，传统机器人分拣系统主要采用示教或离线编程的方法进行物体分拣；传统的示教方法对机器人编程过程繁琐，针对不同的分拣任务，需要多次重复对机器人的抓取位姿进行示教，效率很低，还容易发生碰撞；而采用离线编程方法，模型误差和机器人的绝对误差会对其精度有一定影响，影响分拣工作的成功率。

所以目前急需一种机器人分拣规划方法能简化计算机器人抓取位姿的流程，使得机器人分拣工作更为方便，以适应复杂的分拣工作。

发明内容

为了克服现有技术缺点与不足，本发明的目的在于提供一种基于视觉识别的机器人分拣规划方法及规划设备、机器人分拣方法及分拣设备，使得机器人可以根据视觉系统的识别结果进行分拣规划，提高抓取精度并简化计算流程。

本发明的目的通过以下的技术方案实现：

本发明第一方面提供了一种基于视觉识别的机器人分拣规划方法，包括以下步骤：

S1、对示教物体进行视觉识别，控制机器人对所述示教物体的抓取示教，记录所述机器人在抓取示教物体时的示教位姿：读取所述机器人在示教位姿时的关节角，通过机器人正向运动学计算出所述机器人在示教位姿时的末端位姿矩阵示教时目标识别的位姿结果/>

S2、在实际分拣场景时，根据所述机器人的视觉识别结果，结合所述机器人示教抓取的位姿数据，计算得到实际抓取时的抓取位姿的末端位姿为：

其中，为手眼标定结果；/>为实际抓取目标识别的位姿结果，/>为示教时目标识别的位姿结果的逆；/>为/>的逆。

所述在示教位姿时满足以下关系：

所述为示教时工具坐标系到示教物体的变换矩阵，/>为机器人末端到工具末端的变换矩阵；/>为抓取位姿时机器人的末端的位姿矩阵；/>为/>的逆；/>为手眼标定结果；/>为示教时目标识别的位姿结果；/>为相机坐标系到模型点云坐标系的变换矩阵，取单位矩阵。

在一种可行的实施方式中，所述实际抓取时的抓取位姿的末端位姿矩阵的推导过程如下：

因抓取位姿与示教位姿满足相同的抓取关系，则有：

可得：

抓取位姿的末端位姿为：

其中，为实际抓取时工具坐标系到场景待抓取物体的变换矩阵；/>为实际抓取时机器人末端到工具末端的变换矩阵，取固定值。

本发明第二方面提供一种基于视觉识别的机器人分拣规划设备，包括处理器和存储器；所述存储器上存储有非暂时性计算机指令，当所述非暂时性计算机指令被处理器运行时，执行所述基于视觉识别的机器人分拣规划方法。

本发明第三方面提供一种基于视觉识别的机器人分拣装置，包括机器人及所述基于视觉识别的机器人分拣规划设备。

在一种可行的实施方式中，在完成所述基于视觉识别的机器人分拣规划方法中的步骤S1～S2后，控制机器人进行物品抓取。

在一种可行的实施方式中，所述物品抓取过程中采用包围盒进行碰撞检测。

在一种可行的实施方式中，所述包围盒为圆柱体结构。

在一种可行的实施方式中，所述碰撞检测通过将实际分拣场景的场景点云坐标系转换到所述圆柱形包围盒的坐标系中进行判定检测；

发生碰撞的条件为：

所述N为场景点云的数量，所述R₀所述圆柱体包围盒的半径,所述H₀为所述圆柱体包围盒的高度，所述分别为场景点在机器人末端坐标系下的三维坐标值。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明采用初始示教的方式，结合视觉识别系统，快速精确的计算出机器人实际抓取位姿结果；对机器人采用示教的方式可以抵消了机器人的绝对定位误差，简化了计算抓取位姿的流程，减少了TCP标定的操作，从而提高了抓取位姿的精度，使得机器人分拣更为方便。

(2)本发明将机器人末端的法兰及抓取机构简化为圆柱包围盒进行碰撞检测，简化了机器人模型的几何形状，将场景云点转换到机器人的末端坐标系中，建立圆柱包围盒方程，减少了算法的运算时间，避免了机器人在实际分拣过程中发生碰撞，提高了分拣工作的可行性。

附图说明

图1为本发明的机器人抓取位姿计算流程图。

图2为本发明的机器人抓取位姿计算示意图。

图3为本发明的机器人碰撞检测示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1

如图1所示，本实施例的一种基于视觉识别的机器人分拣规划方法，包括以下步骤：

步骤S1，对示教物体进行视觉识别，控制机器人对所述示教物体的抓取示教，记录所述机器人在示教抓取的位姿：

对示教物体进行视觉识别，控制机器人完成对所述示教物体的抓取示教，记录所述机器人在抓取示教物体时的示教位姿：读取所述机器人在示教位姿时的关节角，通过机器人正向运动学计算出所述机器人在示教位姿时的末端位姿矩阵示教时目标识别的位姿结果/>

步骤S2，在实际分拣场景时，根据所述机器人的视觉识别结果，结合所述机器人示教抓取的位姿数据，计算得到实际抓取时的抓取位姿的末端位姿为：

其中，所述示教物品为实景场景中符合所述机器人抓取量程的任一物品，所述机器人可在实景场景的任一位置进行抓取示教。

本实施例中，机器人抓取位姿计算如图2所示，图中：C为相机坐标系，S₀为所述示教时，场景中物体坐标系，S₁为实际抓取时，场景中物体坐标系，M为CAD模型中物体坐标系，E₀为所述示教时，机器人末端法兰的坐标系，E₁为实际抓取时，所述机器人的法兰坐标系。

设定所述机器人抓取示教时的位姿为示教位姿0，读取所述机器人在示教位姿0时的关节角，通过机器人正向运动学计算出所述机器人在示教位姿0时的末端位姿矩阵

所述在示教位姿0时满足以下关系：

所述为机器人末端到工具末端的变换矩阵，本实施例中机器人末端和工具末端是固连的，取固定值；所述/>为工具坐标系到场景待抓取物体的变换矩阵；/>为示教位姿0时机器人的末端的位姿矩阵，/>为/>的逆，/>为手眼标定结果，/>为相机坐标系到模型点云坐标系的变换矩阵，/>为示教时目标识别的位姿结果。

具体的，所述和/>在示教位姿和任意抓取位姿下都是固定值，由于模型点云和场景点云都是在相机坐标系下的坐标，可以令模型点云的坐标系和相机坐标系重合，在计算中可以忽略,故/>可取单位矩阵。

本实施例中，抓取位姿1的末端位姿的计算如图2所示，设定所述机器人在实际抓取的位姿为抓取位姿1，由于所述机器人的末端与其抓取执行工具固定连接，所述抓取执行工具工作时均以相同的姿态对物体进行抓取；所述抓取位姿1同样满足所述示教位姿0的抓取关系，结合推导出所述机器人在抓取位姿1的末端位姿矩阵/>推导过程如下：

所述抓取位姿1满足以下抓取关系：

通过上述矩阵方程变换可推导出机器人在实际抓取时的抓取位姿1的末端位姿为：

所述为抓取位姿1时机器人的末端的位姿矩阵，/>为手眼标定结果

为实际抓取目标识别的位姿结果，/>为示教时目标识别的位姿结果的逆，所述/>为/>的逆，所述/>为示教位姿0时机器人的末端的位姿矩阵；/>为实际抓取时工具坐标系到场景待抓取物体的变换矩阵；/>为实际抓取时机器人末端到工具末端的变换矩阵，取固定值。

实施例2

本实施例提供一种基于视觉识别的机器人分拣规划设备，包括处理器和存储器；所述存储器上存储有非暂时性计算机指令，当所述非暂时性计算机指令被处理器运行时，执行实施例1中的基于视觉识别的机器人分拣规划方法。

实施例3

本实施提供一种基于视觉识别的机器人分拣装置，包括机器人及实施例2中的基于视觉识别的机器人分拣规划设备。

实施例4

本实施提供一种基于视觉识别的机器人分拣方法，采用实施例1的机器人分拣规划方法获得，抓取位姿1的末端位姿矩阵控制机器人进行物品抓取，抓取的过程中，采用包围盒碰撞检测方法，包围盒由所述机器人末端的法兰和所述抓取执行工具简化而成，优选采用圆柱体结构。

如图3所示，图中：E为所述机器人法兰的坐标系，T为所述机器人工具的坐标系，S为在实际场景中待抓取物体的坐标系，B为机器人基座坐标系。

本实施的碰撞检测方法通过将实际分拣场景的场景点云坐标系转换到所述圆柱形包围盒的坐标系中进行判定检测，如果有场景点在圆柱包围盒中，则认为发生了碰撞。

所述机器人发生碰撞的条件为：

其中N为场景点云的数量，R₀为所述圆柱体包围盒的半径,H₀为所述圆柱体包围盒的高度，所述分别为场景点在机器人末端坐标系下的三维坐标值。

所述R₀和H₀根据所述机器人的末端法兰和抓取执行器的大小进行设置。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于视觉识别的机器人分拣规划方法，其特征在于,包括以下步骤：

具体的，所述在示教位姿时满足以下关系：

其中，为示教时工具坐标系到示教物体的变换矩阵，/>为机器人末端到工具末端的变换矩阵；/>为抓取位姿时机器人的末端的位姿矩阵；/>为/>的逆；/>为手眼标定结果；/>为示教时目标识别的位姿结果；/>为相机坐标系到模型点云坐标系的变换矩阵，取单位矩阵；

S2、在实际分拣场景时，根据所述机器人的视觉识别结果，结合所述机器人示教抓取的位姿数据，计算得到实际抓取时的抓取位姿的末端位姿

具体的，所述实际抓取时的抓取位姿的末端位姿矩阵的推导过程如下：

因抓取位姿与示教位姿满足相同的抓取关系，则有：

其中，为实际抓取时工具坐标系到场景待抓取物体的变换矩阵；/>为实际抓取时机器人末端到工具末端的变换矩阵，取固定值；

可得：

抓取位姿的末端位姿为：

2.一种基于视觉识别的机器人分拣规划设备，其特征在于，包括处理器和存储器；所述存储器上存储有非暂时性计算机指令，当所述非暂时性计算机指令被处理器运行时，执行如权利要求1所述的基于视觉识别的机器人分拣规划方法。

3.一种基于视觉识别的机器人分拣装置，其特征在于，包括机器人及权利要求2所述的基于视觉识别的机器人分拣规划设备。

4.一种基于视觉识别的机器人分拣方法，其特征在于，在完成权利要求1所述的基于视觉识别的机器人分拣规划方法中的步骤S1～S2后，控制机器人进行物品抓取。

5.根据权利要求4所述的基于视觉识别的机器人分拣方法，其特征在于，所述物品抓取过程中采用包围盒进行碰撞检测。

6.根据权利要求5所述的基于视觉识别的机器人分拣方法，其特征在于，所述包围盒为圆柱体结构。

7.根据权利要求6所述的基于视觉识别的机器人分拣方法，其特征在于，所述碰撞检测通过将实际分拣场景的场景点云坐标系转换到所述包围盒的坐标系中进行判定检测；

发生碰撞的条件为：

其中，N为场景点云的数量，R₀为包围盒的半径,H₀为包围盒的高度，分别为场景点在机器人末端坐标系下的三维坐标值。