CN113379849A

CN113379849A - 基于深度相机的机器人自主识别智能抓取方法及系统

Info

Publication number: CN113379849A
Application number: CN202110648787.2A
Authority: CN
Inventors: 张雪波; 周燕玲; 袁明星; 赵铭慧
Original assignee: Nankai University
Current assignee: Nankai University
Priority date: 2021-06-10
Filing date: 2021-06-10
Publication date: 2021-09-10
Anticipated expiration: 2041-06-10
Also published as: CN113379849B

Abstract

本公开提供了基于深度相机的机器人自主识别智能抓取方法，包括：获取目标工件的彩色图像和深度图像；将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；根据机器人抓取路径对目标工件进行智能抓取；所述路径获取模型的建立包括，利用非线性迭代优化算法获取位姿变换矩阵的精确值，基于精确值对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划；无需借助其他传感器可独立完成工件检测和定位，降低了成本，与双目相机相比，节省了计算资源，可保证系统的实时性；同时采用基于联合优化的手眼标定算法，进一步提高了标定精度，进而提高了对工件的定位精度。

Description

基于深度相机的机器人自主识别智能抓取方法及系统

技术领域

本公开属于机器人控制技术领域，具体涉及一种基于深度相机的机器人自主识别智能抓取方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成现有技术。

随着智能机器人技术的发展，工业机器人被引进工厂车间中，代替工作人员完成一系列抓取装配等工业生产工作，大大解放了劳动力。但目前大多数的工业机器人均是依靠精确的示教进行抓取和放置工件，该方法存在极大的局限性。主要源于这种结构化的环境要求工件必须按照特定的方位放置于固定的位置上，如果外界的环境或者工件的状态发生变化导致这一要求不会被满足时，机器人并不能适应这种变化，导致任务中断或失败。

由此，相机作为机器人的视觉系统被引入工业自动化流程中，实现工件的自主识别和抓取越来越成为不可或缺的技术应用。在目前的工业生产中，主要有单目相机和双目相机两种作为机器视觉。单目相机结构简单成本低，但其存在尺度不确定性，无法确定工件的真实大小，只能通过相机的运动所形成的视差测得工件的相对深度，若要获得其真实尺寸和深度，还需借助其他传感器，不能独立完成对目标工件检测并定位的任务。而双目相机的配置和标定较为复杂，标定误差会直接导致最终目标工件的定位精度降低，且在抓取过程中对工件的定位计算量很大，影响系统的实时性。

目前存在机器人面对工件放置的位置和方向发生变化无法实现智能抓取，降低了任务执行成功率的问题，并且当前应用的单目相机功能单一，需借助其他传感器才能完成工件检测和定位，而双目相机配置结构复杂，大大提高了生产和维护成本，均不利于推广应用。

发明内容

为了解决上述问题，本公开提出了基于深度相机的机器人自主识别智能抓取方法及系统。

第一方面，本公开提供了基于深度相机的机器人自主识别智能抓取方法，包括：

对深度相机进行相机标定及手眼标定；

制定目标工件的特征模板；

获取目标工件的彩色图像和深度图像；

将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；

根据机器人抓取路径对目标工件进行智能抓取；

所述设备标定模块的建立包括，基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩阵的精确值。

所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划。

第二方面，本公开提供了一种基于深度相机的机器人自主识别智能抓取系统，包括：

设备标定模块，用于对深度相机进行相机标定和手眼标定；

模板制定模板，用于制定目标工件的特征模板；

数据获取模块，用于获取目标工件的彩色图像和深度图像；

路径获取模块，用于获取目标工件的机器人抓取路径；

智能抓取模块，用于根据机器人抓取路径对目标工件进行智能抓取；

所述设备标定模块的建立包括，基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩的精确值。

第三方面，本公开提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如第一方面所述的基于深度相机的机器人自主识别智能抓取方法。

第四方面，本公开提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如第一方面所述的基于深度相机的机器人自主识别智能抓取方法。

与现有技术对比，本公开具备以下有益效果：

1、本公开将深度相机作为机器人的视觉系统，与没有视觉系统的传统工业机器人相比，对工件的摆放位置和方向没有严格的精度要求，机器人可以自适应工件放置的位置和方向变化实现智能抓取，进而提高了任务执行的成功率；同时借助于深度相机的特殊结构，即可输出彩色图像又可输出深度图像，相比于单目相机，配置简单，无需借助其他传感器可独立完成工件检测和定位，降低了成本，与双目相机相比，节省了计算资源，可保证系统的实时性；同时采用基于联合优化的手眼标定算法，进一步提高了标定精度，进而提高了对工件的定位精度。

2、本公开的目的是为了解决现有技术存在的上述问题，提供一种基于深度相机的机器人自主识别及智能抓取方法。该方法将既可输出彩色图像又可输出深度图像的深度相机作为机器人的视觉系统，利用彩色图像特征检测和模板匹配的方法对目标工件进行检测，借助深度图像对目标工件进行定位，由此实现自主识别，通过机器人基坐标系、机械臂末端执行器坐标系与相机坐标系之间的位姿转换，从而机器人可以获得目标工件的位姿，最终进行智能抓取。同时，针对深度相机的特殊结构，提出一种基于联合优化的手眼标定算法。本公开不仅解决了单目相机无法获取工件真实尺寸和深度问题，也解决了双目相机浪费计算资源的缺陷，保持较高的实时性，同时提高了标定精度和定位精度。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为适用于本公开基于深度相机的机器人自主识别及智能抓取方法流程示意图；

图2为适用于本公开的机器人手眼系统标定过程的装置示意图；

图3为适用于本公开实例的手眼标定过程的流程图

图4为检测和定位过程中的工件模板和检测结果示例以及所建立的工件坐标系示意图；

图5为适用于本公开基于深度相机的机器人自主识别及智能抓取方法过程中各坐标系及位姿转换示意图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

术语解释：

张正友标定法是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法；提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

实施例1

如图1所示，基于深度相机的机器人自主识别智能抓取方法，包括：

对深度相机进行相机标定及手眼标定；

制定目标工件的特征模板；

获取目标工件的彩色图像和深度图像；

根据机器人抓取路径对目标工件进行智能抓取；

其中，制定模板将目标工件的尺寸和结构输入至计算机系统，使得计算机系统在下一步中获得的彩色图像中检测到要抓取的目标工件。

作为一种实施方式，所述基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值步骤包括，通过变换机械臂位姿，使得深度相机从多个不同角度拍摄尺寸已知的棋盘格标定板，分别获得多组对应的彩色图像和深度图像。

对彩色图像进行角点检测，利用张正友标定法获得第一单应矩阵，分解第一单应矩阵获得彩色相机外参和彩色相机内参；

对深度图像进行角点检测，利用张正友标定法获得第二单应矩阵，分解第二单应矩阵获得深度相机外参和深度相机内参；

利用彩色相机外参、深度相机外参与对应在机械臂末端执行器坐标系与机械臂基坐标系之间的位姿矩阵构造等式，通过手眼标定方法分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值。

作为一种具体的实施方式，对彩色图像进行角点检测，利用张正友标定法获得棋盘格标定板所在平面与彩色图像像素平面之间的单应矩阵，进而分解单应矩阵获得棋盘格与彩色相机坐标系之间的位姿变换矩阵即彩色相机外参、彩色相机坐标系与彩色图像像素坐标系之间的变换矩阵即彩色相机内参；

对深度图像进行角点检测，再次利用张正友标定法获得棋盘格标定板所在平面与深度图像像素平面之间的单应矩阵，进而分解单应矩阵获得棋盘格与深度相机坐标系之间的位姿变换矩阵即深度相机外参、深度相机坐标系与深度图像像素坐标系之间的变换矩阵即相机内参；其中彩色相机为彩色相机，深度相机为深度相机。

分别利用彩色相机外参、深度相机外参与对应在拍摄每张棋盘格时机械臂末端执行器坐标系与机械臂基坐标系之间的位姿矩阵，构造AX＝XB等式，通过手眼标定方法，分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值

作为另一种实施方式，所述基于非线性迭代优化算法获取手眼变换矩阵的精确值的步骤包括：

对彩色相机和深度相机的外参数以及手眼标定的初始结果进行联合优化，优化目标使深度图像和彩色图像中所有角点的重投影误差之和最小；

采用非线性迭代优化的算法，获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的精确值。

具体的，将深度相机的视觉系统和机器人的手眼系统融合为一个系统并创建整体的模型，对彩色相机和深度相机的外参数以及手眼标定的初始结果

进行联合优化，优化目标使深度图像和彩色图像中所有角点的重投影误差之和最小。采用非线性迭代优化的算法，获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的精确值

所述制定目标工件的特征模板的步骤包括：

首先使用深度相机拍摄目标工件获得该目标工件的彩色图片，进行图像处理即对工件图片进行特征检测和提取，将该带有目标工件特征的图片作为特征模板，并在模板中建立目标工件的坐标系，定义目标工件的位置即坐标系原点为导入图片模板的中心处，坐标系的X轴沿导入图片模板的像素坐标系的横轴方向，Y轴沿导入图片模板的像素坐标系的纵轴方向，Z轴垂直于所导入的图片模板所在平面向外，三轴的正方向遵循右手定则；

所述基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿的步骤包括：

对目标工件的实时彩色图像进行特征检测，通过与目标工件的特征模板进行匹配获取目标工件的像素位置[u v]^T，以及与特征模板中四个角点对应点的各像素位置；

利用与彩色图像对齐的深度图像可以获得目标工件像素位置[u v]^T处的深度d，根据彩色相机的内参A可以获得目标工件在相机坐标系下的三维坐标[x_c y_c z_c]^T，计算公式如下：

[x_c y_c z_c]^T＝d·A^-1·[u v 1]^T

同理可获得彩色图像中与工件的图片模板四个角点相对应的四个点在相机坐标系下的三维坐标，即可获得目标工件的尺寸，由此求得目标工件所在平面与其在彩色图像像素平面之间的单应矩阵，利用彩色相机的内参和目标工件在彩色相机坐标系下的三维坐标，可分解得出目标工件在彩色相机坐标系下的姿态，由此可获得目标工件在彩色相机坐标系下的位姿

作为一种实施方式，所述基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿包括：

基于目标工件在彩色相机坐标系下的位姿，利用手眼标定所获得的机械臂末端执行器坐标系与彩色相机坐标系之间的转换关系

可获得目标工件在机械臂末端执行器坐标系下的位姿；根据机械臂当前各关节角的数据通过正运动学可获得机械臂末端执行器坐标系与机器人坐标系之间的位姿矩阵

进而可获得目标工件在机器人坐标系下的位姿

计算公式如下：

实施例2

一种基于深度相机的机器人自主识别智能抓取系统，包括：

设备标定模块，用于对深度相机进行相机标定和手眼标定；

模板制定模板，用于制定目标工件的特征模板；

数据获取模块，用于获取目标工件的彩色图像和深度图像；

路径获取模块，获取目标工件的机器人抓取路径；

实施例3

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上述实施例中所述的基于深度相机的机器人自主识别智能抓取方法。

实施例4

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上述实施例中所述的基于深度相机的机器人自主识别智能抓取方法。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.基于深度相机的机器人自主识别智能抓取方法，其特征在于，包括：

获取目标工件的彩色图像和深度图像；

根据机器人抓取路径对目标工件进行智能抓取；

2.如权利要求1所述的机器人自主识别智能抓取方法，其特征在于，所述基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿的步骤包括：

对深度图像进行角点检测，利用张正友标定法获得第二单应矩阵，分解第二单应矩阵获得深度相机外参和深度相机内参。

3.如权利要求2所述的机器人自主识别智能抓取方法，其特征在于，利用彩色相机外参、深度相机外参与对应在机械臂末端执行器坐标系之间的位姿矩阵构造等式，通过手眼标定方法分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值。

4.如权利要求1所述的机器人自主识别智能抓取方法，其特征在于，所述根据机器人坐标系下的工件位姿进行路径规划包括：

基于目标工件在彩色相机坐标系下的位姿，利用手眼标定法确定机械臂末端执行器坐标系与彩色相机坐标系之间的转换关系，获得目标工件在机械臂末端执行器坐标系下的位姿。

5.如权利要求4所述的机器人自主识别智能抓取方法，其特征在于，根据机械臂当前各关节角的数据通过正运动学获得机械臂末端执行器坐标系与机器人基坐标系之间的位姿矩阵，获得目标工件在机器人基坐标系下的位姿。

6.如权利要求5所述的机器人自主识别智能抓取方法，其特征在于，将机器人基坐标系下的位姿利用逆运动学进行路径规划，得到机器人抓取路径。

7.如权利要求1所述的机器人自主识别智能抓取方法，其特征在于，所述获取目标工件的彩色图像和深度图像步骤包括，通过变换机械臂位姿，使得深度相机从多个不同角度拍摄尺寸已知的棋盘格标定板，分别获得多组对应的彩色图像和深度图像。

8.一种基于深度相机的机器人自主识别智能抓取系统，其特征在于，包括：

数据获取模块，用于获取目标工件的彩色图像和深度图像；

路径获取模块，用于将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；

9.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成如权利要求1-7任一所述的基于深度相机的机器人自主识别智能抓取方法。

10.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7任一所述的基于深度相机的机器人自主识别智能抓取方法。