CN113379849B - 基于深度相机的机器人自主识别智能抓取方法及系统 - Google Patents

基于深度相机的机器人自主识别智能抓取方法及系统 Download PDF

Info

Publication number
CN113379849B
CN113379849B CN202110648787.2A CN202110648787A CN113379849B CN 113379849 B CN113379849 B CN 113379849B CN 202110648787 A CN202110648787 A CN 202110648787A CN 113379849 B CN113379849 B CN 113379849B
Authority
CN
China
Prior art keywords
coordinate system
camera
target workpiece
workpiece
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110648787.2A
Other languages
English (en)
Other versions
CN113379849A (zh
Inventor
张雪波
周燕玲
袁明星
赵铭慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202110648787.2A priority Critical patent/CN113379849B/zh
Publication of CN113379849A publication Critical patent/CN113379849A/zh
Application granted granted Critical
Publication of CN113379849B publication Critical patent/CN113379849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了基于深度相机的机器人自主识别智能抓取方法，包括：获取目标工件的彩色图像和深度图像；将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；根据机器人抓取路径对目标工件进行智能抓取；所述路径获取模型的建立包括，利用非线性迭代优化算法获取位姿变换矩阵的精确值，基于精确值对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划；无需借助其他传感器可独立完成工件检测和定位，降低了成本，与双目相机相比，节省了计算资源，可保证系统的实时性；同时采用基于联合优化的手眼标定算法，进一步提高了标定精度，进而提高了对工件的定位精度。

Description

基于深度相机的机器人自主识别智能抓取方法及系统
技术领域
本公开属于机器人控制技术领域，具体涉及一种基于深度相机的机器人自主识别智能抓取方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成现有技术。
随着智能机器人技术的发展，工业机器人被引进工厂车间中，代替工作人员完成一系列抓取装配等工业生产工作，大大解放了劳动力。但目前大多数的工业机器人均是依靠精确的示教进行抓取和放置工件，该方法存在极大的局限性。主要源于这种结构化的环境要求工件必须按照特定的方位放置于固定的位置上，如果外界的环境或者工件的状态发生变化导致这一要求不会被满足时，机器人并不能适应这种变化，导致任务中断或失败。
由此，相机作为机器人的视觉系统被引入工业自动化流程中，实现工件的自主识别和抓取越来越成为不可或缺的技术应用。在目前的工业生产中，主要有单目相机和双目相机两种作为机器视觉。单目相机结构简单成本低，但其存在尺度不确定性，无法确定工件的真实大小，只能通过相机的运动所形成的视差测得工件的相对深度，若要获得其真实尺寸和深度，还需借助其他传感器，不能独立完成对目标工件检测并定位的任务。而双目相机的配置和标定较为复杂，标定误差会直接导致最终目标工件的定位精度降低，且在抓取过程中对工件的定位计算量很大，影响系统的实时性。
目前存在机器人面对工件放置的位置和方向发生变化无法实现智能抓取，降低了任务执行成功率的问题，并且当前应用的单目相机功能单一，需借助其他传感器才能完成工件检测和定位，而双目相机配置结构复杂，大大提高了生产和维护成本，均不利于推广应用。
发明内容
为了解决上述问题，本公开提出了基于深度相机的机器人自主识别智能抓取方法及系统。
第一方面，本公开提供了基于深度相机的机器人自主识别智能抓取方法，包括：
对深度相机进行相机标定及手眼标定；
制定目标工件的特征模板；
获取目标工件的彩色图像和深度图像；
将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；
根据机器人抓取路径对目标工件进行智能抓取；
所述设备标定模块的建立包括，基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩阵的精确值。
所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划。
第二方面，本公开提供了一种基于深度相机的机器人自主识别智能抓取系统，包括：
设备标定模块，用于对深度相机进行相机标定和手眼标定；
模板制定模板，用于制定目标工件的特征模板；
数据获取模块，用于获取目标工件的彩色图像和深度图像；
路径获取模块，用于获取目标工件的机器人抓取路径；
智能抓取模块，用于根据机器人抓取路径对目标工件进行智能抓取；
所述设备标定模块的建立包括，基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩的精确值。
所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划。
第三方面，本公开提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如第一方面所述的基于深度相机的机器人自主识别智能抓取方法。
第四方面，本公开提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如第一方面所述的基于深度相机的机器人自主识别智能抓取方法。
与现有技术对比，本公开具备以下有益效果：
1、本公开将深度相机作为机器人的视觉系统，与没有视觉系统的传统工业机器人相比，对工件的摆放位置和方向没有严格的精度要求，机器人可以自适应工件放置的位置和方向变化实现智能抓取，进而提高了任务执行的成功率；同时借助于深度相机的特殊结构，即可输出彩色图像又可输出深度图像，相比于单目相机，配置简单，无需借助其他传感器可独立完成工件检测和定位，降低了成本，与双目相机相比，节省了计算资源，可保证系统的实时性；同时采用基于联合优化的手眼标定算法，进一步提高了标定精度，进而提高了对工件的定位精度。
2、本公开的目的是为了解决现有技术存在的上述问题，提供一种基于深度相机的机器人自主识别及智能抓取方法。该方法将既可输出彩色图像又可输出深度图像的深度相机作为机器人的视觉系统，利用彩色图像特征检测和模板匹配的方法对目标工件进行检测，借助深度图像对目标工件进行定位，由此实现自主识别，通过机器人基坐标系、机械臂末端执行器坐标系与相机坐标系之间的位姿转换，从而机器人可以获得目标工件的位姿，最终进行智能抓取。同时，针对深度相机的特殊结构，提出一种基于联合优化的手眼标定算法。本公开不仅解决了单目相机无法获取工件真实尺寸和深度问题，也解决了双目相机浪费计算资源的缺陷，保持较高的实时性，同时提高了标定精度和定位精度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为适用于本公开基于深度相机的机器人自主识别及智能抓取方法流程示意图；
图2为适用于本公开的机器人手眼系统标定过程的装置示意图；
图3为适用于本公开实例的手眼标定过程的流程图
图4为检测和定位过程中的工件模板和检测结果示例以及所建立的工件坐标系示意图；
图5为适用于本公开基于深度相机的机器人自主识别及智能抓取方法过程中各坐标系及位姿转换示意图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
张正友标定法是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法；提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。
实施例1
如图1所示，基于深度相机的机器人自主识别智能抓取方法，包括：
对深度相机进行相机标定及手眼标定；
制定目标工件的特征模板；
获取目标工件的彩色图像和深度图像；
将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；
根据机器人抓取路径对目标工件进行智能抓取；
所述设备标定模块的建立包括，基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩阵的精确值。
所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划。
其中，制定模板将目标工件的尺寸和结构输入至计算机系统，使得计算机系统在下一步中获得的彩色图像中检测到要抓取的目标工件。
作为一种实施方式，所述基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值步骤包括，通过变换机械臂位姿，使得深度相机从多个不同角度拍摄尺寸已知的棋盘格标定板，分别获得多组对应的彩色图像和深度图像。
对彩色图像进行角点检测，利用张正友标定法获得第一单应矩阵，分解第一单应矩阵获得彩色相机外参和彩色相机内参；
对深度图像进行角点检测，利用张正友标定法获得第二单应矩阵，分解第二单应矩阵获得深度相机外参和深度相机内参；
利用彩色相机外参、深度相机外参与对应在机械臂末端执行器坐标系与机械臂基坐标系之间的位姿矩阵构造等式，通过手眼标定方法分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值。
作为一种具体的实施方式，对彩色图像进行角点检测，利用张正友标定法获得棋盘格标定板所在平面与彩色图像像素平面之间的单应矩阵，进而分解单应矩阵获得棋盘格与彩色相机坐标系之间的位姿变换矩阵即彩色相机外参、彩色相机坐标系与彩色图像像素坐标系之间的变换矩阵即彩色相机内参；
对深度图像进行角点检测，再次利用张正友标定法获得棋盘格标定板所在平面与深度图像像素平面之间的单应矩阵，进而分解单应矩阵获得棋盘格与深度相机坐标系之间的位姿变换矩阵即深度相机外参、深度相机坐标系与深度图像像素坐标系之间的变换矩阵即相机内参；其中彩色相机为彩色相机，深度相机为深度相机。
分别利用彩色相机外参、深度相机外参与对应在拍摄每张棋盘格时机械臂末端执行器坐标系与机械臂基坐标系之间的位姿矩阵，构造AX＝XB等式，通过手眼标定方法，分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值
Figure BDA0003110263810000071
作为另一种实施方式，所述基于非线性迭代优化算法获取手眼变换矩阵的精确值的步骤包括：
对彩色相机和深度相机的外参数以及手眼标定的初始结果进行联合优化，优化目标使深度图像和彩色图像中所有角点的重投影误差之和最小；
采用非线性迭代优化的算法，获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的精确值。
具体的，将深度相机的视觉系统和机器人的手眼系统融合为一个系统并创建整体的模型，对彩色相机和深度相机的外参数以及手眼标定的初始结果
Figure BDA0003110263810000072
Figure BDA0003110263810000073
进行联合优化，优化目标使深度图像和彩色图像中所有角点的重投影误差之和最小。采用非线性迭代优化的算法，获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的精确值
Figure BDA0003110263810000081
所述制定目标工件的特征模板的步骤包括：
首先使用深度相机拍摄目标工件获得该目标工件的彩色图片，进行图像处理即对工件图片进行特征检测和提取，将该带有目标工件特征的图片作为特征模板，并在模板中建立目标工件的坐标系，定义目标工件的位置即坐标系原点为导入图片模板的中心处，坐标系的X轴沿导入图片模板的像素坐标系的横轴方向，Y轴沿导入图片模板的像素坐标系的纵轴方向，Z轴垂直于所导入的图片模板所在平面向外，三轴的正方向遵循右手定则；
所述基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿的步骤包括：
对目标工件的实时彩色图像进行特征检测，通过与目标工件的特征模板进行匹配获取目标工件的像素位置[u v]T，以及与特征模板中四个角点对应点的各像素位置；
利用与彩色图像对齐的深度图像可以获得目标工件像素位置[u v]T处的深度d，根据彩色相机的内参A可以获得目标工件在相机坐标系下的三维坐标[xc yc zc]T，计算公式如下：
[xc yc zc]T＝d·A-1·[u v 1]T
同理可获得彩色图像中与工件的图片模板四个角点相对应的四个点在相机坐标系下的三维坐标，即可获得目标工件的尺寸，由此求得目标工件所在平面与其在彩色图像像素平面之间的单应矩阵，利用彩色相机的内参和目标工件在彩色相机坐标系下的三维坐标，可分解得出目标工件在彩色相机坐标系下的姿态，由此可获得目标工件在彩色相机坐标系下的位姿
Figure BDA0003110263810000082
作为一种实施方式，所述基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿包括：
基于目标工件在彩色相机坐标系下的位姿，利用手眼标定所获得的机械臂末端执行器坐标系与彩色相机坐标系之间的转换关系
Figure BDA0003110263810000091
可获得目标工件在机械臂末端执行器坐标系下的位姿；根据机械臂当前各关节角的数据通过正运动学可获得机械臂末端执行器坐标系与机器人坐标系之间的位姿矩阵
Figure BDA0003110263810000092
进而可获得目标工件在机器人坐标系下的位姿
Figure BDA0003110263810000093
计算公式如下：
Figure BDA0003110263810000094
实施例2
一种基于深度相机的机器人自主识别智能抓取系统，包括：
设备标定模块，用于对深度相机进行相机标定和手眼标定；
模板制定模板，用于制定目标工件的特征模板；
数据获取模块，用于获取目标工件的彩色图像和深度图像；
路径获取模块，获取目标工件的机器人抓取路径；
智能抓取模块，用于根据机器人抓取路径对目标工件进行智能抓取；
所述设备标定模块的建立包括，基于传统标定法获取彩色相机和深度相机的内参和外参及手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩阵的精确值。
所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划。
实施例3
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上述实施例中所述的基于深度相机的机器人自主识别智能抓取方法。
实施例4
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上述实施例中所述的基于深度相机的机器人自主识别智能抓取方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.基于深度相机的机器人自主识别智能抓取方法，其特征在于，包括：
对深度相机进行相机标定及手眼标定；
制定目标工件的特征模板；
获取目标工件的彩色图像和深度图像；
将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；
根据机器人抓取路径对目标工件进行智能抓取；
所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划；
相机标定及手眼标定为：
利用张正友标定法完成相机标定，获取彩色相机和深度相机的内参和外参；利用传统方法进行手眼标定，获得手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩阵的精确值；
利用彩色相机外参、深度相机外参与对应在机械臂末端执行器坐标系与机械臂基坐标系之间的位姿矩阵构造等式，通过手眼标定方法分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值；
将深度相机的视觉系统和机器人的手眼系统融合为一个系统并创建整体的模型，对彩色相机和深度相机的外参数以及手眼标定的初始结果进行联合优化，优化目标使深度图像和彩色图像中所有角点的重投影误差之和最小；采用非线性迭代优化的算法，获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的精确值；
所述制定目标工件的特征模板的步骤包括：
首先使用深度相机拍摄目标工件获得该目标工件的彩色图片，进行图像处理即对工件图片进行特征检测和提取，将该带有目标工件特征的图片作为特征模板，并在模板中建立目标工件的坐标系，定义目标工件的位置即坐标系原点为导入图片模板的中心处，坐标系的X轴沿导入图片模板的像素坐标系的横轴方向，Y轴沿导入图片模板的像素坐标系的纵轴方向，Z轴垂直于所导入的图片模板所在平面向外，三轴的正方向遵循右手定则；
所述基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿的步骤包括：
对目标工件的实时彩色图像进行特征检测，通过与目标工件的特征模板进行匹配获取目标工件的像素位置以及与特征模板中四个角点对应点的各像素位置；利用与彩色图像对齐的深度图像获得目标工件及四个角像素位置处的深度，根据彩色相机的内参获得目标工件在相机坐标系下的三维坐标；
根据三维坐标获得目标工件的尺寸，求得目标工件所在平面与其在彩色图像像素平面之间的单应矩阵，利用彩色相机的内参和目标工件在彩色相机坐标系下的三维坐标，分解得出目标工件在彩色相机坐标系下的姿态，获得目标工件在彩色相机坐标系下的位姿。
2.如权利要求1所述的机器人自主识别智能抓取方法，其特征在于，所述利用张正友标定法完成相机标定，获取彩色相机和深度相机的内参和外参，包括：
对彩色图像进行角点检测，利用张正友标定法获得第一单应矩阵，分解第一单应矩阵获得彩色相机外参和彩色相机内参；
对深度图像进行角点检测，利用张正友标定法获得第二单应矩阵，分解第二单应矩阵获得深度相机外参和深度相机内参。
3.如权利要求1所述的机器人自主识别智能抓取方法，其特征在于，所述根据机器人坐标系下的工件位姿进行路径规划包括：
基于目标工件在彩色相机坐标系下的位姿，利用手眼标定法确定机械臂末端执行器坐标系与彩色相机坐标系之间的转换关系，获得目标工件在机械臂末端执行器坐标系下的位姿。
4.如权利要求3所述的机器人自主识别智能抓取方法，其特征在于，根据机械臂当前各关节角的数据通过正运动学获得机械臂末端执行器坐标系与机器人基坐标系之间的位姿矩阵，获得目标工件在机器人基坐标系下的位姿。
5.如权利要求4所述的机器人自主识别智能抓取方法，其特征在于，将机器人基坐标系下的位姿利用逆运动学进行路径规划，得到机器人抓取路径。
6.如权利要求1所述的机器人自主识别智能抓取方法，其特征在于，所述获取目标工件的彩色图像和深度图像步骤包括，通过变换机械臂位姿，使得深度相机从多个不同角度拍摄尺寸已知的棋盘格标定板，分别获得多组对应的彩色图像和深度图像。
7.一种基于深度相机的机器人自主识别智能抓取系统，其特征在于，包括：
设备标定模块，用于对深度相机进行相机标定和手眼标定；
模板制定模块，用于制定目标工件的特征模板；
数据获取模块，用于获取目标工件的彩色图像和深度图像；
路径获取模块，用于将彩色图像和深度图像输入路径获取模型，获取目标工件的机器人抓取路径；
智能抓取模块，用于根据机器人抓取路径对目标工件进行智能抓取；
所述路径获取模型的建立包括，基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿；基于手眼标定算法和机器人正运动学所获得的位姿变换矩阵，对相机坐标系下的工件位姿进行位姿变换获得机器人坐标系下的工件位姿；根据机器人坐标系下的工件位姿进行路径规划；
相机标定及手眼标定为：
利用张正友标定法完成相机标定，获取彩色相机和深度相机的内参和外参；利用传统方法进行手眼标定，获得手眼变换矩阵的初始值；基于非线性迭代优化算法获取手眼变换矩阵的精确值；
利用彩色相机外参、深度相机外参与对应在机械臂末端执行器坐标系与机械臂基坐标系之间的位姿矩阵构造等式，通过手眼标定方法分别获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的初始值；
将深度相机的视觉系统和机器人的手眼系统融合为一个系统并创建整体的模型，对彩色相机和深度相机的外参数以及手眼标定的初始结果进行联合优化，优化目标使深度图像和彩色图像中所有角点的重投影误差之和最小；采用非线性迭代优化的算法，获得机械臂末端执行器坐标系与彩色相机坐标系、深度相机坐标系之间的位姿变换矩阵的精确值；
所述制定目标工件的特征模板的步骤包括：
首先使用深度相机拍摄目标工件获得该目标工件的彩色图片，进行图像处理即对工件图片进行特征检测和提取，将该带有目标工件特征的图片作为特征模板，并在模板中建立目标工件的坐标系，定义目标工件的位置即坐标系原点为导入图片模板的中心处，坐标系的X轴沿导入图片模板的像素坐标系的横轴方向，Y轴沿导入图片模板的像素坐标系的纵轴方向，Z轴垂直于所导入的图片模板所在平面向外，三轴的正方向遵循右手定则；
所述基于深度相机输出的彩色图像和深度图像获取相机坐标系下的工件位姿的步骤包括：
对目标工件的实时彩色图像进行特征检测，通过与目标工件的特征模板进行匹配获取目标工件的像素位置以及与特征模板中四个角点对应点的各像素位置；利用与彩色图像对齐的深度图像获得目标工件及四个角像素位置处的深度，根据彩色相机的内参获得目标工件在相机坐标系下的三维坐标；
根据三维坐标获得目标工件的尺寸，求得目标工件所在平面与其在彩色图像像素平面之间的单应矩阵，利用彩色相机的内参和目标工件在彩色相机坐标系下的三维坐标，分解得出目标工件在彩色相机坐标系下的姿态，获得目标工件在彩色相机坐标系下的位姿。
8.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成如权利要求1-6任一所述的基于深度相机的机器人自主识别智能抓取方法。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6任一所述的基于深度相机的机器人自主识别智能抓取方法。
CN202110648787.2A 2021-06-10 2021-06-10 基于深度相机的机器人自主识别智能抓取方法及系统 Active CN113379849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110648787.2A CN113379849B (zh) 2021-06-10 2021-06-10 基于深度相机的机器人自主识别智能抓取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110648787.2A CN113379849B (zh) 2021-06-10 2021-06-10 基于深度相机的机器人自主识别智能抓取方法及系统

Publications (2)

Publication Number Publication Date
CN113379849A CN113379849A (zh) 2021-09-10
CN113379849B true CN113379849B (zh) 2023-04-18

Family

ID=77573645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110648787.2A Active CN113379849B (zh) 2021-06-10 2021-06-10 基于深度相机的机器人自主识别智能抓取方法及系统

Country Status (1)

Country Link
CN (1) CN113379849B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113878578B (zh) * 2021-09-30 2024-01-16 上海景吾智能科技有限公司 适用于复合型机器人的动态自适应定位方法和系统
CN114029951B (zh) * 2021-11-10 2022-05-10 盐城工学院 基于深度相机的机器人自主识别智能抓取方法
CN114119767A (zh) * 2021-11-12 2022-03-01 上海库灵科技有限公司 基于相机标定的工件抓取方法、装置和控制系统
CN114570674B (zh) * 2022-01-19 2024-08-09 福建南方路面机械股份有限公司 一种基于高度传感器的自动分拣方法、装置及可读介质
CN114932554B (zh) * 2022-06-06 2023-12-01 北京钢铁侠科技有限公司 抓取机器人的自主移动方法、装置、存储介质及设备
CN115439555A (zh) * 2022-08-29 2022-12-06 佛山职业技术学院 一种无公共视场多相机外参数标定方法
CN115533895B (zh) * 2022-09-19 2024-07-16 安阳工学院 一种基于视觉的二指机械手工件抓取方法及系统
WO2024113216A1 (zh) * 2022-11-30 2024-06-06 青岛理工大学（临沂） 一种工业模具智能制造机器人高精度抓取方法
CN115880291B (zh) * 2023-02-22 2023-06-06 江西省智能产业技术创新研究院 汽车总成防错识别方法、系统、计算机及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN110337674A (zh) * 2019-05-28 2019-10-15 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921907B (zh) * 2018-07-26 2022-03-08 上海慧子视听科技有限公司 一种运动测试评分的方法、装置、设备及存储介质
CN110246193B (zh) * 2019-06-20 2021-05-14 南京博蓝奇智能科技有限公司 工业机器人末端相机在线标定方法
CN110370256B (zh) * 2019-06-25 2021-06-04 达闼科技（北京）有限公司 机器人及其路径规划方法、装置和控制器
CN110480637B (zh) * 2019-08-12 2020-10-20 浙江大学 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN110337674A (zh) * 2019-05-28 2019-10-15 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Chaoxing Huang等.Robotic Hand-eye Calibration Based on Active Vision.《2015 8th International Symposium on Computational Intelligence and Design》.2016,第55-59页. *
刘玺 等.基于单应矩阵的位姿估计方法及应用.《Proceeding of the 27th Chinese Control Conference》.2008,第410-414页. *
张驰 ; 廖华丽 ; 周军 ; .基于单目视觉的工业机器人智能抓取系统设计.《机电工程》.2018,第35卷(第3期),第283-287页. *
邢科新 等.基于平面运动约束的移动机器人位姿估计.《浙江工业大学学报》.2018,第46卷(第2期),第132-136页. *

Also Published As

Publication number Publication date
CN113379849A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
CN111645074A (zh) 一种机器人抓取定位方法
CN106485746A (zh) 基于图像无标定的视觉伺服机械手及其控制方法
CN116157837A (zh) 用于机器人的标定方法和装置
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN113269723B (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
CN108177150A (zh) 基于视觉的电梯门板定位与抓取装置及方法
CN104552341A (zh) 移动工业机器人单点多视角挂表位姿误差检测方法
Yang et al. Visual servoing of humanoid dual-arm robot with neural learning enhanced skill transferring control
CN113524167A (zh) 机器人加工工件时建立工件坐标系的方法及位姿校正方法
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
CN117173254A (zh) 一种相机标定方法、系统、装置和电子设备
CN114407011B (zh) 异形工件抓取规划方法、规划装置及异形工件抓取方法
JPH0780790A (ja) 三次元物体把持システム
Hvilshøj et al. Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices
Li et al. Research on hand-eye calibration technology of visual service robot grasping based on ROS
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN215701709U (zh) 一种可配置的手眼标定装置
Motai et al. SmartView: hand-eye robotic calibration for active viewpoint generation and object grasping
Wang et al. A vision location system design of glue dispensing robot
Liu et al. Hand-eye Calibration of Industrial Robots with 3D Cameras based on Dual Quaternions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant