CN111151463B - 一种基于3d视觉的机械臂分拣抓取系统及方法 - Google Patents

一种基于3d视觉的机械臂分拣抓取系统及方法 Download PDF

Info

Publication number
CN111151463B
CN111151463B CN201911346694.3A CN201911346694A CN111151463B CN 111151463 B CN111151463 B CN 111151463B CN 201911346694 A CN201911346694 A CN 201911346694A CN 111151463 B CN111151463 B CN 111151463B
Authority
CN
China
Prior art keywords
grabbing
module
camera
mechanical arm
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911346694.3A
Other languages
English (en)
Other versions
CN111151463A (zh
Inventor
吕泽杉
李源
韩华涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Radio Measurement
Original Assignee
Beijing Institute of Radio Measurement
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Radio Measurement filed Critical Beijing Institute of Radio Measurement
Priority to CN201911346694.3A priority Critical patent/CN111151463B/zh
Publication of CN111151463A publication Critical patent/CN111151463A/zh
Application granted granted Critical
Publication of CN111151463B publication Critical patent/CN111151463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于3D视觉的机械臂分拣抓取系统，包括相互交互的双目图像采集模块、深度信息解算模块、单次目标检测器模块、抓取策略框生成模块、空间位姿解算模块和机械臂抓取模块。通过将双目图像采集模块、深度信息解算模块、单次目标检测器模块、抓取策略框生成模块、空间位姿解算模块以及机械臂抓取模块之间进行相互配合，解决机器人抓手在抓取物体时，精度不高、准确度不高的问题。本发明原理简单、方便实用、缩减了开发时间，提高了工业生产的效率。

Description

一种基于3D视觉的机械臂分拣抓取系统及方法
技术领域
本发明涉及机电控制、计算机视觉和深度学习技术领域，且更具体地来说，涉及一种基于3D视觉的机械臂分拣抓取系统及方法。
背景技术
对于机械臂搭载视觉系统所进行的学习任务，针对于末端执行器的抓取问题，可以分为两个子问题：视觉感知和规划抓取。视觉感知一般通过搭载在机械臂末端或者场景外的摄像机进行图像采集，规划抓取主要是指机器人抓取位姿解算和轨迹路径规划。随着深度学习技术的发展，特别是图像检测中的目标探测问题研究的发展，在兼顾准确性的情况下，SSD网络和YOLO网络等网络结构将实时地检测物体的类别和图像位置框成为了可能。而机械臂抓取的视觉感知问题，可以结合成熟的实时目标探测网络，在检测出目标的类型和外接矩形框之外，进一步需要结合深度信息进行三维空间的位姿重投影，并通过手眼关系矩阵转换到机械臂抓取的目标。
中国发明专利(申请号CN201711162385.1)名称“一种基于深度学习的机械臂手部抓取物体的方法”公开了一种针对利用双目相机信息控制机械臂来进行理想化的任务抓取，然后直接映射好物体和电机角度。但该方法中双目相机获得整体全视野内的深度信息比较繁琐且对环境适应性和鲁棒性不强，并且也没有达到实时性的要求。
因此，需要一种新型的3D视觉的机械臂分拣抓取系统及方法。
发明内容
本发明的一个目的在于提供一种基于3D视觉的机械臂分拣抓取系统，用于实现未知物体的随机抓取，具有通用性强、成本低、实时性强、适用范围广的特点。
为达到上述目的，本发明采用下述技术方案：
一种基于3D视觉的机械臂分拣抓取系统，其中所述系统包括：
双目图像采集模块，通过所述双目图像采集模块上设置的双目摄像头实时采集左右相机的图像；
深度信息解算模块，经过左右相机标定过的相机参数进行畸变校正，同时经过左右相机平移旋转矩阵进行极线校正，从而进行左右视差解算；
单次目标检测器模块，用于在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素的大小或中心位置；
抓取策略框生成模块，根据神经网络选出最优矩形框抓取策略，再根据物体类别和单次目标检测器模块的位置边框参数，进行神经网络训练，得到最佳抓取框参数，通过机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数；
空间位姿解算模块，用于通过匹配双目解算出的空间深度信息，计算相机坐标系下的空间物体位置信息；及
机械臂抓取模块，用于实施抓取实物的动作；
其中，所述双目图像采集模块和单次目标检测器模块分别与所述深度信息解算模块连接，所述深度信息解算模块与所述空间位姿解算模块连接，所述空间位姿解算模块与所述抓取策略框生成模块连接，所述抓取策略框生成模块与机械臂抓取模块连接。
优选地，所述双目图像采集模块上设置的两个摄像头大小和规格一致，所述两个摄像头在水平支架上以左右排列的方式进行设置。
优选地，所述单次目标检测器模块内设置有单次目标监测器。
优选地，所述机械臂抓取模块包含有机械臂、控制模块及机械臂末端夹爪。
本发明的一个目的在于提供一种基于3D视觉的机械臂分拣抓取方法，所述方法包括以下步骤：
步骤S1图像采集：通过在所述双目图像采集模块上设置的双目摄像头实时采集左右相机的图像；
步骤S2深度信息解算：通过所述深度信息解算模块经过左右相机标定过的相机参数进行畸变校正，同时经过左右相机平移旋转矩阵进行极线校正，从而进行左右视差解算；
步骤S3目标检测：通过单次目标检测器模块在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素的大小或中心位置；
步骤S4空间位姿解算：通过所述空间位姿解算模块，利用匹配双目解算出的空间深度信息以及计算相机坐标系下的空间物体位置信息；
步骤S5抓取策略框生成：利用抓取策略框生成模块根据神经网络选出最优矩形框抓取策略，再根据物体类别和单次目标检测器模块的位置边框参数，进行神经网络训练，得到最佳抓取框参数，通过机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数；
步骤S6抓取实物。
优选地，在所述步骤S1中，通过所述双目图像采集模块采集图像后，获取到左右相机图片信息，然后再经过左右相机标定过的相机参数进行畸变校正，所述畸变校正方法通过opencv库中的initundistortrectifymap()和remap()函数来实现，同时经过左右相机平移旋转矩阵进行极线校正，通过opencv库中的stereoRectify()函数进而实现畸变校正；
优选地，在所述步骤S2中，在对采集到的图片信息进行深度解算时，通过剪裁关键目标图片后再进行左右视差解算，再经过重投影得到物体相对于左相机相平面的空间位置和深度信息参数，通过opencv库中的BM或SGBM类型来实现深度解算，其中所述深度信息参数包含有所采集到图像中的物体的类别和像素的大小或中心位置。
优选地，所述步骤S3中目标检测的方法为：在获取原始图片后，再利用单次目标检测器在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素位置，所述位置包括矩形框宽度Wi、高度Hi、中心像素坐标Xi和Yi，然后利用SSD网络实现目标检测，其中特征提取网络为VGG16网络。
优选地，所述步骤S4中空间位姿解算的方法为：根据物体类别和单次目标检测器模块的位置边框参数，采用神经网络选出的最优矩形框抓取策略，得到最佳抓取框参数，所述抓取框参数包含有像素抓取中心坐标Xg,Yg、像素坐标下夹爪宽度Wg和像素坐标下夹爪旋转角度θg。
优选地，所述步骤S5中抓取策略框生成方法为：根据RGB图像的最佳抓取框参数和深度信息图进行轮廓关键点匹配后，得到相机坐标系下的空间抓取参数，其中深度信息图取整个待抓取目标范围内的中心点坐标作为参考，深度信息取整个待抓取目标范围深度均值作为参考；
在所述步骤S6中，通过机械臂抓取模块中的机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数，所述抓取参数为空间位置抓取中心坐标Xw,Yw,Zw、空间位置下夹爪宽度Ww和空间位置下夹爪旋转角度θw，所述机械臂抓取模块中的机械臂及控制模块得到空间抓取参数对运动指令执行，实施实物抓取动作，其中转换关系通过所述机械臂抓取模块中的机械臂和左相机进行手眼标定计算出相对旋转矩阵和平移矩阵。
本发明的有益效果如下：
本发明通过双目图像采集模块、深度信息解算模块、单次目标检测器模块、抓取策略框生成模块、空间位姿解算模块以及机械臂抓取模块之间的相互配合，实现了未知物体的随机抓取，其具有通用性强、成本低、实时性强的特点。本发明的原理简单、方便实用、极大的缩减了开发时间，大大提高了工业生产的效率。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明；
图1示出了本发明一种基于3D视觉的机械臂分拣抓取系统的结构示意图；及方法；
图2示出了本发明一种基于3D视觉的机械臂分拣抓取方法的流程示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。
如图1所示，一种基于3D视觉的机械臂分拣抓取系统，其中所述系统包括：
双目图像采集模块，通过所述双目图像采集模块上设置的双目摄像头实时采集左右相机的图像；
深度信息解算模块，经过左右相机标定过的相机参数进行畸变校正，同时经过左右相机平移旋转矩阵进行极线校正，从而进行左右视差解算；
单次目标检测器模块，用于在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素的大小或中心位置；
抓取策略框生成模块，根据神经网络选出最优矩形框抓取策略，再根据物体类别和单次目标检测器模块的位置边框参数，进行神经网络训练，得到最佳抓取框参数，通过机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数；
空间位姿解算模块，用于通过匹配双目解算出的空间深度信息，计算相机坐标系下的空间物体位置信息；
机械臂抓取模块，用于实施抓取实物的动作；
其中，所述双目图像采集模块和单次目标检测器模块分别与所述深度信息解算模块连接，所述深度信息解算模块与所述空间位姿解算模块连接，所述空间位姿解算模块与所述抓取策略框生成模块连接，所述抓取策略框生成模块与机械臂抓取模块连接。
通过这种连接关系，使得本发明实现了未知物体的随机抓取，其具有通用性强、成本低、实时性强的特点；本发明的原理简单、方便实用、极大的缩减了开发时间，大大提高了工业生产的效率。
在进一步的实施例中，所述双目图像采集模块上设置的两个摄像头大小和规格一致，所述两个摄像头在水平支架上以左右排列的方式进行设置。
在进一步的实施例中，所述单次目标检测器模块内设置有单次目标监测器。
在进一步的实施例中，所述机械臂抓取模块包含有机械臂、控制模块及机械臂末端夹爪。
如图2所示，一种基于3D视觉的机械臂分拣抓取方法，所述方法包括以下步骤：
步骤S1图像采集：通过在所述双目图像采集模块上设置的双目摄像头实时采集左右相机的图像；
在本步骤中，通过所述双目图像采集模块采集图像后，获取到左右相机图片信息，然后再经过左右相机标定过的相机参数进行畸变校正，所述畸变校正方法通过opencv库中的initundistortrectifymap()和remap()函数来实现，同时经过左右相机平移旋转矩阵进行极线校正，通过opencv库中的stereoRectify()函数进而实现畸变校正。
步骤S2深度信息解算：通过所述深度信息解算模块经过左右相机标定过的相机参数进行畸变校正，同时经过左右相机平移旋转矩阵进行极线校正，从而进行左右视差解算；
在本步骤中，在对采集到的图片信息进行深度解算时，通过剪裁关键目标图片后再进行左右视差解算，再经过重投影得到物体相对于左相机相平面的空间位置和深度信息参数，通过opencv库中的BM或SGBM类型来实现深度解算，其中所述深度信息参数包含有所采集到图像中的物体的类别和像素的大小或中心位置。
步骤S3目标检测：通过单次目标检测器模块在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素的大小或中心位置；
在本步骤中，在获取原始图片后，再利用单次目标检测器在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素位置，所述位置包括矩形框宽度Wi、高度Hi、中心像素坐标Xi和Yi，然后利用SSD网络实现目标检测，其中特征提取网络为VGG16网络。
步骤S4空间位姿解算：通过所述空间位姿解算模块，利用匹配双目解算出的空间深度信息以及计算相机坐标系下的空间物体位置信息；
在本步骤中，空间位姿解算的方法为：根据物体类别和单次目标检测器模块的位置边框参数，采用神经网络选出的最优矩形框抓取策略，得到最佳抓取框参数，所述抓取框参数包含有像素抓取中心坐标Xg,Yg、像素位置下夹爪宽度Wg和像素位置下夹爪旋转角度θg。
步骤S5抓取策略框生成：利用抓取策略框生成模块根据神经网络选出最优矩形框抓取策略，再根据物体类别和单次目标检测器模块的位置边框参数，进行神经网络训练，得到最佳抓取框参数，通过机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数；
在本步骤中，抓取策略框生成方法为：根据RGB图像的最佳抓取框参数和深度信息图进行轮廓关键点匹配后，得到相机坐标系下的空间抓取参数，其中深度信息图取整个待抓取目标范围内的中心点坐标作为参考，深度信息取整个待抓取目标范围深度均值作为参考。
步骤S6抓取实物。
在本步骤中，通过机械臂抓取模块中的机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数，所述抓取参数为空间位置抓取中心坐标Xw,Yw,Zw、空间位置下夹爪宽度Ww和空间位置下夹爪旋转角度θw，所述机械臂抓取模块中的机械臂及控制模块得到空间抓取参数对运动指令执行，实施实物抓取动作，其中转换关系通过所述机械臂抓取模块中的机械臂和左相机进行手眼标定计算出相对旋转矩阵和平移矩阵。
通过上述实施例，大大提高了抓手抓取策略的实时性和准确性，并且具有以下突出的特点。
一是选用单次目标探测器方法初始对图像中的目标进行探测，经过设计的卷积神经网络，同时得到多种探测目标的类型和边界回归框，再经过抓取策略网络优化，进一步解算；
二是采用双目立体视觉方法对物体进行识别，在RGB图片中检测出抓取位置信息之后，再结合深度信息图进行空间位姿重投影，大幅提高抓取精度。
尽管本公开内容描述了具有特定顺序的步骤的方法和过程，但是适当时可以省略或改变方法和过程中的一个或更多个步骤。适当时一个或更多个步骤可以以除它们被描述的顺序之外的顺序进行。
虽然至少部分地在方法方面描述了本公开内容，但是本领域普通技术人员将理解，本公开内容还涉及用于执行所描述的方法的方面和特征中的至少一些方面和特征的各种部件，通过硬件部件、软件或两者的任何组合成为上述部件。因此，本公开内容的技术方案可以被实施为软件产品的形式。合适的软件产品可以存储在预先记录的存储装置或者其他类似的非易失性或非暂态计算机可读介质中，包括例如DVD、CD-ROM、USB闪存盘、可移动硬盘或其他存储介质。软件产品包括确切地存储在其上的指令，其使得处理装置(例如，个人计算机、服务器或网络装置)能够执行本文公开的方法的示例。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种基于3D视觉的机械臂分拣抓取系统，其特征在于，所述系统包括：
双目图像采集模块，用于通过所述双目图像采集模块上设置的双目摄像头实时采集左右相机的图像；
深度信息解算模块，用于经过左右相机标定过的相机参数进行畸变校正，同时经过左右相机平移旋转矩阵进行极线校正，从而进行左右视差解算；
单次目标检测器模块，用于在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素的大小或中心位置；
抓取策略框生成模块，用于根据神经网络选出最优矩形框抓取策略，再根据物体类别和单次目标检测器模块的位置边框参数，进行神经网络训练，得到最佳抓取框参数，通过机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数；
空间位姿解算模块，用于通过匹配双目解算出的空间深度信息，计算相机坐标系下的空间物体位置信息；及
机械臂抓取模块，用于实施抓取实物的动作；
其中，所述双目图像采集模块和单次目标检测器模块分别与所述深度信息解算模块连接，所述深度信息解算模块与所述空间位姿解算模块连接，所述空间位姿解算模块与所述抓取策略框生成模块连接，所述抓取策略框生成模块与机械臂抓取模块连接。
2.根据权利要求1所述的一种基于3D视觉的机械臂分拣抓取系统，其特征在于，所述双目图像采集模块上设置的两个摄像头大小和规格一致，所述两个摄像头在水平支架上以左右排列的方式进行设置。
3.根据权利要求1所述的一种基于3D视觉的机械臂分拣抓取系统，其特征在于，所述单次目标检测器模块内设置有单次目标监测器。
4.根据权利要求1所述的一种基于3D视觉的机械臂分拣抓取系统，其特征在于，所述机械臂抓取模块包含有机械臂、控制模块及机械臂末端夹爪。
5.一种基于3D视觉的机械臂分拣抓取方法，所述方法利用权利要求1至4任意一项所述的一种基于3D视觉的机械臂分拣抓取系统进行，其特征在于，所述方法包括以下步骤：
步骤S1：图像采集，通过在所述双目图像采集模块上设置的双目摄像头实时采集左右相机的图像；
步骤S2：深度信息解算，通过所述深度信息解算模块经过左右相机标定过的相机参数进行畸变校正，同时经过左右相机平移旋转矩阵进行极线校正，从而进行左右视差解算；
步骤S3：目标检测，通过单次目标检测器模块在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素的大小或中心位置；
步骤S4：空间位姿解算，通过所述空间位姿解算模块，利用匹配双目解算出的空间深度信息以及计算相机坐标系下的空间物体位置信息；
步骤S5：抓取策略框生成，利用抓取策略框生成模块根据神经网络选出最优矩形框抓取策略，再根据物体类别和单次目标检测器模块的位置边框参数，进行神经网络训练，得到最佳抓取框参数，通过机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数；
步骤S6：抓取实物。
6.根据权利要求5所述的一种基于3D视觉的机械臂分拣抓取方法，其特征在于，在所述步骤S1中，通过所述双目图像采集模块采集图像后，获取到左右相机图片信息，然后再经过左右相机标定过的相机参数进行畸变校正，所述畸变校正方法通过opencv库中的initundistortrectifymap()和remap()函数来实现，同时经过左右相机平移旋转矩阵进行极线校正，通过opencv库中的stereoRectify()函数进而实现畸变校正。
7.根据权利要求5所述的一种基于3D视觉的机械臂分拣抓取方法，其特征在于，在所述步骤S2中，在对采集到的图片信息进行深度解算时，通过剪裁关键目标图片后再进行左右视差解算，再经过重投影得到物体相对于左相机相平面的空间位置和深度信息参数，通过opencv库中的BM或SGBM类型来实现深度解算，其中所述深度信息参数包含有所采集到图像中的物体的类别和像素的大小或中心位置。
8.根据权利要求5所述的一种基于3D视觉的机械臂分拣抓取方法，其特征在于，所述步骤S3中目标检测的方法为：
在获取原始图片后，再利用单次目标检测器在特征提取网络结构中选用多尺度特征图来进行综合目标检测，同时检测出图像中物体的类别和像素位置，所述位置包括矩形框宽度Wi、高度Hi、中心像素坐标Xi和Yi，然后利用SSD网络实现目标检测，其中特征提取网络为VGG16网络。
9.根据权利要求5所述的一种基于3D视觉的机械臂分拣抓取方法，其特征在于，所述步骤S4中空间位姿解算的方法为：
根据物体类别和单次目标检测器模块的位置边框参数，采用神经网络选出的最优矩形框抓取策略，得到最佳抓取框参数，所述抓取框参数包含有像素抓取中心坐标Xg,Yg、像素坐标下夹爪宽度Wg和像素坐标下夹爪旋转角度θg。
10.根据权利要求5所述的一种基于3D视觉的机械臂分拣抓取方法，其特征在于，所述步骤S5中抓取策略框生成方法为：
根据RGB图像的最佳抓取框参数和深度信息图进行轮廓关键点匹配后，得到相机坐标系下的空间抓取参数，其中深度信息图取整个待抓取目标范围内的中心点坐标作为参考，深度信息取整个待抓取目标范围深度均值作为参考；
在所述步骤S6中，通过机械臂抓取模块中的机械臂末端夹爪和左相机像平面坐标系转换关系得到空间抓取参数，所述抓取参数为空间位置抓取中心坐标Xw,Yw,Zw、空间位置下夹爪宽度Ww和空间位置下夹爪旋转角度θw，所述机械臂抓取模块中的机械臂及控制模块得到空间抓取参数对运动指令执行，实施实物抓取动作，其中转换关系通过所述机械臂抓取模块中的机械臂和左相机进行手眼标定计算出相对旋转矩阵和平移矩阵。
CN201911346694.3A 2019-12-24 2019-12-24 一种基于3d视觉的机械臂分拣抓取系统及方法 Active CN111151463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346694.3A CN111151463B (zh) 2019-12-24 2019-12-24 一种基于3d视觉的机械臂分拣抓取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346694.3A CN111151463B (zh) 2019-12-24 2019-12-24 一种基于3d视觉的机械臂分拣抓取系统及方法

Publications (2)

Publication Number Publication Date
CN111151463A CN111151463A (zh) 2020-05-15
CN111151463B true CN111151463B (zh) 2021-12-14

Family

ID=70558387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346694.3A Active CN111151463B (zh) 2019-12-24 2019-12-24 一种基于3d视觉的机械臂分拣抓取系统及方法

Country Status (1)

Country Link
CN (1) CN111151463B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111590591A (zh) * 2020-06-04 2020-08-28 南京工程学院 基于计算机立体视觉引导机制的垃圾堆自动抓取方法和系统
CN111702760B (zh) * 2020-06-11 2021-06-11 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN111942621B (zh) * 2020-07-17 2022-03-04 北京控制工程研究所 一种基于多任务学习的在轨自主加注控制方法及系统
CN112170233B (zh) * 2020-09-01 2021-08-06 燕山大学 基于深度学习的小型零件分拣方法及其分拣系统
CN113245235B (zh) * 2021-04-16 2023-03-28 嘉联支付有限公司 一种基于3d视觉的商品分类方法及装置
CN113305848B (zh) * 2021-06-11 2022-06-07 哈尔滨工业大学 一种基于YOLO v2网络的实时抓取检测方法
CN113805694A (zh) * 2021-08-26 2021-12-17 上海大学 一种基于脑机接口与计算机视觉的辅助抓取系统及方法
CN113927601B (zh) * 2021-11-11 2022-04-08 盐城工学院 一种基于视觉识别实现机械臂精准挑拣的方法及系统
CN114029243B (zh) * 2021-11-11 2023-05-26 江苏昱博自动化设备有限公司 一种用于分拣机器手的软物抓取识别方法
CN114228950A (zh) * 2021-11-26 2022-03-25 江苏科技大学 一种基于OpenCV与深度学习的水面物体打捞方法及打捞船

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109483554A (zh) * 2019-01-22 2019-03-19 清华大学 基于全局和局部视觉语义的机器人动态抓取方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106272437B (zh) * 2016-10-12 2018-11-09 吉林大学 一种用于并联机器人双目视觉定位的最优视场求取装置
CN107030693B (zh) * 2016-12-09 2019-09-13 南京理工大学 一种基于双目视觉的带电作业机器人目标跟踪方法
CN108081266B (zh) * 2017-11-21 2020-03-10 山东科技大学 一种基于深度学习的机械臂手部抓取物体的方法
US10759051B2 (en) * 2018-04-23 2020-09-01 General Electric Company Architecture and methods for robotic mobile manipulation system
CN109531584A (zh) * 2019-01-31 2019-03-29 北京无线电测量研究所 一种基于深度学习的机械臂控制方法和装置
CN110211180A (zh) * 2019-05-16 2019-09-06 西安理工大学 一种基于深度学习的机械臂自主抓取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109483554A (zh) * 2019-01-22 2019-03-19 清华大学 基于全局和局部视觉语义的机器人动态抓取方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于深度学习的机械臂抓取方法;杜学丹等;《机器人》;20171115(第06期);第820-828页 *

Also Published As

Publication number Publication date
CN111151463A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN110264416B (zh) 稀疏点云分割方法及装置
CN106503671B (zh) 确定人脸姿态的方法和装置
US11195041B2 (en) Generating a model for an object encountered by a robot
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
US9436987B2 (en) Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
JP5282717B2 (ja) ロボットシステム
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
JP5812599B2 (ja) 情報処理方法及びその装置
CN110176032B (zh) 一种三维重建方法及装置
JP6976350B2 (ja) 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN114761997A (zh) 目标检测方法、终端设备和介质
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
CN111666935B (zh) 物品中心定位方法、装置以及物流系统和存储介质
CN114341930A (zh) 图像处理装置、拍摄装置、机器人以及机器人系统
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统
CN110197104B (zh) 基于车辆的测距方法及装置
CN114494463A (zh) 一种双目立体视觉技术机器人分拣方法及装置
CN110533717B (zh) 一种基于双目视觉的目标抓取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant