CN108109174A - 一种用于散乱零件随机分拣的机器人单目引导方法和系统 - Google Patents

一种用于散乱零件随机分拣的机器人单目引导方法和系统 Download PDF

Info

Publication number
CN108109174A
CN108109174A CN201711330917.8A CN201711330917A CN108109174A CN 108109174 A CN108109174 A CN 108109174A CN 201711330917 A CN201711330917 A CN 201711330917A CN 108109174 A CN108109174 A CN 108109174A
Authority
CN
China
Prior art keywords
random
robot
camera
sorted
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711330917.8A
Other languages
English (en)
Other versions
CN108109174B (zh
Inventor
袁浩巍
李智
徐胤
于佳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Group Corp
Original Assignee
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Group Corp filed Critical Shanghai Electric Group Corp
Priority to CN201711330917.8A priority Critical patent/CN108109174B/zh
Publication of CN108109174A publication Critical patent/CN108109174A/zh
Application granted granted Critical
Publication of CN108109174B publication Critical patent/CN108109174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于散乱零件随机分拣的机器人单目引导方法和系统。根据本发明的用于散乱零件随机分拣的机器人单目引导方法包括：用于确定相机、相机图片以及机器人机械臂末端之间的位置关系的自动标定处理；用于对目标零件的模板的闭轮廓特征进行提取和训练的自动训练处理；以及用于自动训练处理得到的提取模板对散乱零件的实时分拣引导的自动分拣处理。

Description

一种用于散乱零件随机分拣的机器人单目引导方法和系统
技术领域
本发明涉及机器人视觉引导领域、机器人视觉伺服技术领域以及3D视觉领域，尤其涉及一种用于散乱零件随机分拣的机器人单目引导方法和系统。
背景技术
在现代工业生产和物流行业现场，经常充斥着大量的散乱零件的随机分拣工作。目前，这些繁重单调的工作都是由人来完成，迫切需要机器人的替代。但是，传统的工业机器人应用无法解决散乱零件的识别和空间定位问题，这就需要机器人3D视觉引导技术的辅助。应用于散乱零件随机分拣领域的机器人3D视觉引导技术的核心是对大量无序相同零件的识别提取以及3D定位。目前主要的3D识别和定位技术有3大类，分别是双目视觉、结构光辅助视觉、单目视觉。
双目视觉基于人眼的视差原理，对空间物体进行两个方向的拍摄，并对两幅图像进行匹配，得到物体的空间信息。但是，双目3D定位技术需要两台工业相机同时拍摄，系统需要空间较大，标定较复杂，且需要两台相机同步拍摄，对环境较敏感，可靠性和稳定性都较差，图像匹配的处理时间也较长，效率较低。
结构光辅助视觉技术有很多种形式，通过线激光、光栅、编码激光和图形激光等结构光辅助，通过3角定位原理，和反射结构光形态变化来或得物体的3D点云信息，再通过对3D点云信息的进一步处理来实现对物体的识别和定位。结构光辅助3D定位技术，由于激光的抗干扰性和准确性，稳定性和可靠性都较强，精度较高，但系统需要激光投射装置或扫描装置，所需空间较大，同时成本较高，每次的定位需要先进行结构光投影或扫描，得到整个区域点云数据再进行后续处理，效率较低。
单目视觉技术是指仅通过单目相机的拍摄，从物体的平面图像中通过算法，识别出目标和物体的空间位姿。单目3D定位技术，成本较低，但通过平面图像估算物体三维信息，可靠性和稳定性较差，现在没有效果较好的算法可以实现对任意物体精度较高的定位，通用性较差，对物体的姿态和深度估计误差较大。且目前的方案主要针对单一较复杂零件的三维定位，对散乱相同零件的空间定位效果较差，即无法有效应用于散乱零件的机器人随机分拣领域。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种用于散乱零件随机分拣的机器人单目引导方法和系统。
为实现上述目的，本发明提供了一种用于散乱零件随机分拣的机器人单目引导方法，采用了一种包括机器人、2D相机、抓取部件以及控制及处理装置的机器人单目引导系统，其中，抓取部件固定在机器人机械臂末端以组成工业机器人的末端执行机构，而且2D相机固定在机器人机械臂末端，方法包括：用于确定相机、相机图片以及机器人机械臂末端之间的位置关系的自动标定处理；用于对目标零件的模板的闭轮廓特征进行提取和训练的自动训练处理；以及用于自动训练处理得到的提取模板对散乱零件的实时分拣引导的自动分拣处理。
优选地，自动标定处理用于获取相机的内参和外参、镜头的畸变系数和手眼矩阵，用于计算物体坐标系到图片坐标系的转换关系、图片坐标系到相机坐标系的转换关系、以及相机坐标系到机械臂末端坐标系的转换关系。
优选地，自动标定处理包括：
将标定板置于相机初始位置正下方，控制机器人末端连续运动到多个不同位置并停留，控制相机在每个位置拍摄1张图片；
对得到的多张图片进行相机标定处理，得到相机的内参和外参，提取相机初始位置的景深、像素点在标定平面的尺寸、以及镜头的畸变系数；
选取预定张数的不同位置的图片，进行手眼标定处理，得到相机和机器人的手眼矩阵参数；
计算物体坐标系到图片坐标系的转换关系、图片坐标系到相机坐标系的转换关系、以及相机坐标系到机械臂末端坐标系的转换关系。
优选地，自动训练处理用于对目标零件的模板的闭轮廓特征进行提取和训练，以得到分拣时用于零件识别的闭轮廓特征参数，而且得到空间定位时用于匹配的模板特征。
优选地，自动训练处理包括：
将目标零件置于相机初始位置正下方，控制相机拍摄1张零件的样本图片或模板图片；
将样本图片进行图像变换，生成多张样本，通过机器学习方法，训练得到目标零件的模型图片的闭轮廓特征参数；
对模板图片进行处理，从用于特征点匹配的闭轮廓特征参数中筛选出4个锚特征，并构造圆形模板用于物体的姿态识别；
处理模板图片，得到圆形模板的中心特征或轮廓，用于镜像判断，并提取辅助特征参数。
优选地，自动分拣处理包括对目标散乱零件的识别，上下层判断，镜像判断，对零件的空间3D定位，坐标转换，控制机器人进行零件的分拣和放置。
优选地，自动分拣处理包括：
第一步：在机械臂初始位置，控制相机拍照，通过机器学习得到的参数和模型对图像中零件进行识别和平面位置定位；
第二步：对所有第一步识别出的零件进行上下层关系判断，筛选出所有最上层零件并进行排序；
第三步：控制机器人机械臂末端按顺序移动到第二步筛选出的每个零件的正上方进行拍摄，处理拍摄图片，利用特征点匹配的方法对目标零件进行匹配和放射变换，得到物体的平面位置信息；
第四步：从物体的平面位置信息提取4个锚特征并构造椭圆，将构造的椭圆和模板圆进行比较计算得到目标零件的姿态信息；
第五步：提取零件表面特征的坐标，根据零件表面特征坐标与构造的椭圆的中心坐标之间的关系判断零件的镜像，从而校正零件的姿态坐标；
第六步：计算物体的深度信息；
第七步：将物体在物体坐标系下的6自由度空间坐标转换到机器人基坐标系，发送给机械臂，对目标零件进行抓取。
优选地，自动分拣处理还包括：
第八步：控制机械臂回到第三步的后续待抓取零件正上方进行拍摄，重复第三步到第七步，不断循环；直到最上层所有零件抓取完；
第九步：将所有最上层零件抓取完成后，控制机械臂回到初始位置，相机拍摄，重复第一步到第八步，不断循环，直到箱体中所有零件抓取完。
为实现上述目的，本发明还提供了一种用于散乱零件随机分拣的机器人单目引导系统，包括机器人、2D相机、抓取部件以及控制及处理装置，其中，抓取部件固定在机器人机械臂末端以组成工业机器人的末端执行机构；而且2D相机固定在机器人机械臂末端，所述系统用于执行上述用于散乱零件随机分拣的机器人单目引导方法。
本发明解决了单目3D定位技术无法应用于散乱零件机器人随机分拣领域的问题，实现了对三维空间和复杂背景下大量散乱相同零件的单目识别，能够对目标散乱零件的精确单目3D定位，满足了单目3D定位对不同种类散乱零件的通用性，有效提高了散乱零件随机分拣的效率。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1是根据本发明优选实施例的用于散乱零件随机分拣的机器人单目引导系统的示意图。
图2是根据本发明优选实施例的用于散乱零件随机分拣的机器人单目引导方法的流程图。
图3是根据本发明优选实施例的自动标定处理的流程图。
图4是根据本发明优选实施例的自动训练处理的流程图。
图5是根据本发明优选实施例的自动分拣处理的流程图。
图6是根据本发明优选实施例的镜像校正的示意图。
需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
图1是根据本发明优选实施例的用于散乱零件随机分拣的机器人单目引导系统的示意图。
如图1所示，根据本发明优选实施例的用于散乱零件随机分拣的机器人单目引导系统包括：机器人10、2D相机20、抓取部件40以及控制及处理装置50。优选地，一般还包括光源30。
其中，抓取部件40固定在机器人10机械臂末端以组成工业机器人的末端执行机构；而且2D相机20固定在机器人10机械臂末端。
优选地，光源是环形光源。
优选地，抓取部件是电动夹爪。例如，抓取部件通过法兰固定在机器人末端。
图2是根据本发明优选实施例的用于散乱零件随机分拣的机器人单目引导方法的流程图。其中采用图1所示的系统来执行图2所示的方法。
如图2所示，根据本发明优选实施例的用于散乱零件随机分拣的机器人单目引导方法包括：用于确定相机、相机图片以及机器人机械臂末端之间的位置关系的自动标定处理S1、用于对目标零件的模板的闭轮廓特征进行提取和训练的自动训练处理S2、以及用于自动训练处理得到的提取模板对散乱零件的实时分拣引导的自动分拣处理S3。
其中，自动标定处理S1包括相机自动标定处理和手眼自动标定处理，分别用于获取相机的内参和外参、镜头的畸变系数和手眼矩阵，用于计算物体坐标系到图片坐标系的转换关系、图片坐标系到相机坐标系的转换关系、以及相机坐标系到机械臂末端坐标系的转换关系。
具体地，如图3所示，自动标定处理S1可包括：
1)将标定板置于相机初始位置正下方，控制机器人末端连续运动到多个(例如20个)不同位置并停留，控制相机在每个位置拍摄1张图片；
2)对得到的多张图片进行相机标定处理，得到相机的内参和外参，提取相机初始位置的景深、像素点在标定平面的尺寸、以及镜头的畸变系数等参数；
3)选取预定张数(例如3张)的不同位置的图片，进行手眼标定处理，得到相机和机器人的手眼矩阵参数。
4)计算物体坐标系到图片坐标系的转换关系、图片坐标系到相机坐标系的转换关系、以及相机坐标系到机械臂末端坐标系的转换关系。
自动训练处理S2用于对目标零件的模板的闭轮廓特征进行提取和训练，以得到分拣时用于零件识别的闭轮廓特征参数，而且得到空间定位时用于匹配的模板特征。
具体地，如图4所示，自动训练处理S2可包括：
1)将目标零件置于相机初始位置正下方，控制相机拍摄1张零件的样本图片或模板图片；
2)将样本图片进行图像变换，生成多张(例如1000张)附样本，通过机器学习方法，训练得到目标零件的模型图片的闭轮廓特征参数；具体原理如下：
本机器学习模型适用于纹理简单的平面零件，或者主要部分是平面的简单立体零件。由于平面零件可以由单张正面图片，通过仿射或投影变换，获得任意姿态的零件样本，所以可以自动生成训练样本，来训练分类器。
算法的思路是，使用轮廓特征来代替点特征，因为在工业零件中，大多没有复杂的纹理，点特征检测和匹配往往会失败。为了匹配轮廓特征更准确，这里只使用闭轮廓，并且为了区分模板中不同的闭轮廓，训练了一个随机蕨(Random Ferns)分类器。当输入图片中检测到多个候选轮廓的时候，使用其空间位置相互验证，以便筛选出一组属于一个零件的轮廓。根据模板计算输入图像中每个轮廓的姿态，再通过这些轮廓估计整个零件的姿态。其中，为了使轮廓姿态估计更准确，使用梯度下降不断逼近实际图片轮廓，最小化模板与输入图像的距离变换图的差距。
3)对模板图片进行处理，从用于特征点匹配的闭轮廓特征参数中筛选出4个锚特征，并构造圆形模板用于物体的姿态识别；
4)处理模板图片，得到圆形模板的中心特征或轮廓，用于镜像判断，并提取辅助特征参数。
自动分拣处理S3用于自动训练处理得到的提取模板(例如上述圆形模板)对散乱零件的实时分拣引导，包括对目标散乱零件的识别，上下层判断，镜像判断，对零件的空间3D定位，坐标转换，控制机器人进行零件的分拣和放置。
具体地，如图5所示，自动分拣处理S3可包括：
第一步：在机械臂初始位置，控制相机拍照，通过机器学习得到的参数和模型对图像中零件进行识别和平面位置定位(粗定位)；
第二步：对所有第一步识别出的零件进行上下层关系判断，筛选出所有最上层零件并进行排序；
第三步：控制机器人机械臂末端按顺序移动到第二步筛选出的每个零件的正上方(相机对准目标零件)进行拍摄，处理拍摄图片，利用特征点匹配的方法对目标零件进行匹配和放射变换，得到物体的平面位置信息(精定位)；
第四步：从物体的平面位置信息提取4个锚特征并构造椭圆，将构造的椭圆和模板圆进行比较计算得到目标零件的姿态信息；
第五步：提取零件表面特征(例如，中心特征或轮廓的几何中心)的坐标，根据零件表面特征坐标与构造的椭圆的中心坐标之间的关系判断零件的镜像，从而校正零件的姿态坐标；
具体地说，例如对于轮廓规则的零件，在零件倾斜的情况下，对于两者相互对称的倾斜方式，这种镜像倾斜姿态会产生完全一样的投影轮廓，这个时候就需要判断零件的镜像情况，从而校正零件的姿态坐标。
具体原理如下：
计算公式推导：零件旋转示意图如图6所示，检测零件中心的小椭圆，利用小椭圆圆心与整个零件中心的偏移量Δx，Δy，根据公式，计算出真实的空间旋转角α，β。
其中已知：
OQ2＝Δx，Δy
OP1＝OP2＝OP＝L
Q1Q2＝|Δx|
OQ1＝|Δy|
可以得到：
rotX＝cos-1OQ1OP1＝sin-1ΔyL
rotY＝sin-1Q1Q2Q1P2＝sin-1ΔxL2-Δy2
第六步：计算物体的深度信息，即z坐标；
第七步：将物体在物体坐标系下的6自由度空间坐标转换到机器人基坐标系，发送给机械臂，对目标零件进行抓取；
第八步：控制机械臂回到第三步的后续待抓取零件正上方(相机对准目标零件)进行拍摄，重复第三步到第七步，不断循环；直到最上层所有零件抓取完；
第九步：将所有最上层零件抓取完成后，控制机械臂回到初始位置，相机拍摄，重复第一步到第八步，不断循环，直到箱体中所有零件抓取完。
本发明的优势至少体现在如下几个方面：
1)物体的单目3D定位技术
提出了一种利用物体的2D成像提取物体空间6个自由度坐标的新方法；
2)散乱零件机器人随机分拣策略
提出了一种用于散乱零件机器人随机分拣视觉引导的新策略；
3)对不同种类零件的通用性
利用机器学习技术，实现了一种对物体散乱堆叠时快速识别的方法，对不同种类的零件或物体具有通用性；
4)物体的镜像判断
提出了一种判断物体在二维平面成像时是否是镜像的新方法：通过检测零件中心特征或轮廓的几何中心，利用这个中心与整个零件中心的投影偏移量Δx、Δy，根据公式，计算出旋转角RX和RY。
总之，本发明适合用于散乱零件机器人随机分拣时工业机器人的3D引导，适用于但不限于任意工业随机分拣场景中，以及不同种类、大小、形态和用途的任何散乱堆叠的零件。成功解决了散乱零件随机分拣机器人引导的问题，相较其他视觉引导方法，本方法显著提高了分拣的效率，提高了对不同种类零件的通用性，采用单目相机就可以实现机器人的3D引导，显著降低了系统的复杂程度，从而大大降低了系统的成本。
在本发明的实施方式的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。附图为原理图或者概念图，各部分厚度与宽度之间的关系，以及各部分之间的比例关系等等，与其实际值并非完全一致。
上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种用于散乱零件随机分拣的机器人单目引导方法，采用了一种包括机器人、2D相机、抓取部件以及控制及处理装置的机器人单目引导系统，其中，抓取部件固定在机器人机械臂末端以组成工业机器人的末端执行机构，而且2D相机固定在机器人机械臂末端，其特征在于所述方法包括：用于确定相机、相机图片以及机器人机械臂末端之间的位置关系的自动标定处理；用于对目标零件的模板的闭轮廓特征进行提取和训练的自动训练处理；以及用于自动训练处理得到的提取模板对散乱零件的实时分拣引导的自动分拣处理。
2.如权利要求1所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动标定处理用于获取相机的内参和外参、镜头的畸变系数和手眼矩阵，用于计算物体坐标系到图片坐标系的转换关系、图片坐标系到相机坐标系的转换关系、以及相机坐标系到机械臂末端坐标系的转换关系。
3.如权利要求1或2所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动标定处理包括：
将标定板置于相机初始位置正下方，控制机器人末端连续运动到多个不同位置并停留，控制相机在每个位置拍摄1张图片；
对得到的多张图片进行相机标定处理，得到相机的内参和外参，提取相机初始位置的景深、像素点在标定平面的尺寸、以及镜头的畸变系数；
选取预定张数的不同位置的图片，进行手眼标定处理，得到相机和机器人的手眼矩阵参数；
计算物体坐标系到图片坐标系的转换关系、图片坐标系到相机坐标系的转换关系、以及相机坐标系到机械臂末端坐标系的转换关系。
4.如权利要求1或2所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动训练处理用于对目标零件的模板的闭轮廓特征进行提取和训练，以得到分拣时用于零件识别的闭轮廓特征参数，而且得到空间定位时用于匹配的模板特征。
5.如权利要求1或2所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动训练处理包括：
将目标零件置于相机初始位置正下方，控制相机拍摄1张零件的样本图片或模板图片；
将样本图片进行图像变换，生成多张样本，通过机器学习方法，训练得到目标零件的模型图片的闭轮廓特征参数；
对模板图片进行处理，从用于特征点匹配的闭轮廓特征参数中筛选出4个锚特征，并构造圆形模板用于物体的姿态识别；
处理模板图片，得到圆形模板的中心特征或轮廓，用于镜像判断，并提取辅助特征参数。
6.如权利要求1或2所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动分拣处理包括对目标散乱零件的识别，上下层判断，镜像判断，对零件的空间3D定位，坐标转换，控制机器人进行零件的分拣和放置。
7.如权利要求1或2所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动分拣处理包括：
第一步：在机械臂初始位置，控制相机拍照，通过机器学习得到的参数和模型对图像中零件进行识别和平面位置定位；
第二步：对所有第一步识别出的零件进行上下层关系判断，筛选出所有最上层零件并进行排序；
第三步：控制机器人机械臂末端按顺序移动到第二步筛选出的每个零件的正上方进行拍摄，处理拍摄图片，利用特征点匹配的方法对目标零件进行匹配和放射变换，得到物体的平面位置信息；
第四步：从物体的平面位置信息提取4个锚特征并构造椭圆，将构造的椭圆和模板圆进行比较计算得到目标零件的姿态信息；
第五步：提取零件表面特征的坐标，根据零件表面特征坐标与构造的椭圆的中心坐标之间的关系判断零件的镜像，从而校正零件的姿态坐标；
第六步：计算物体的深度信息；
第七步：将物体在物体坐标系下的6自由度空间坐标转换到机器人基坐标系，发送给机械臂，对目标零件进行抓取。
8.如权利要求7所述的用于散乱零件随机分拣的机器人单目引导方法，其特征在于，自动分拣处理还包括：
第八步：控制机械臂回到第三步的后续待抓取零件正上方进行拍摄，重复第三步到第七步，不断循环；直到最上层所有零件抓取完；
第九步：将所有最上层零件抓取完成后，控制机械臂回到初始位置，相机拍摄，重复第一步到第八步，不断循环，直到箱体中所有零件抓取完。
9.一种用于散乱零件随机分拣的机器人单目引导系统，包括机器人、2D相机、抓取部件以及控制及处理装置，其中，抓取部件固定在机器人机械臂末端以组成工业机器人的末端执行机构；而且2D相机固定在机器人机械臂末端，
其特征在于用于执行如权利要求1至8之一所述的用于散乱零件随机分拣的机器人单目引导方法。
CN201711330917.8A 2017-12-13 2017-12-13 一种用于散乱零件随机分拣的机器人单目引导方法和系统 Active CN108109174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711330917.8A CN108109174B (zh) 2017-12-13 2017-12-13 一种用于散乱零件随机分拣的机器人单目引导方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711330917.8A CN108109174B (zh) 2017-12-13 2017-12-13 一种用于散乱零件随机分拣的机器人单目引导方法和系统

Publications (2)

Publication Number Publication Date
CN108109174A true CN108109174A (zh) 2018-06-01
CN108109174B CN108109174B (zh) 2022-02-18

Family

ID=62215814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711330917.8A Active CN108109174B (zh) 2017-12-13 2017-12-13 一种用于散乱零件随机分拣的机器人单目引导方法和系统

Country Status (1)

Country Link
CN (1) CN108109174B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108994844A (zh) * 2018-09-26 2018-12-14 广东工业大学 一种打磨操作臂手眼关系的标定方法和装置
CN109188902A (zh) * 2018-08-08 2019-01-11 重庆两江微链智能科技有限公司 一种机器人学习方法、控制方法、装置、存储介质及主控设备
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109727181A (zh) * 2019-01-08 2019-05-07 上海卓畅信息技术有限公司 一种零件定位方法及设备
CN109760047A (zh) * 2018-12-28 2019-05-17 浙江工业大学 一种基于视觉传感器的舞台机器人预测控制方法
CN109848994A (zh) * 2019-02-22 2019-06-07 浙江启成智能科技有限公司 一种机器人视觉引导定位算法
CN109895095A (zh) * 2019-02-11 2019-06-18 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN109927033A (zh) * 2019-04-01 2019-06-25 杭州电子科技大学 一种应用于传送带分拣的目标物体动态适配方法
CN110259067A (zh) * 2019-06-11 2019-09-20 清华大学 机器人的瓷砖铺设位置识别方法和系统
CN110355754A (zh) * 2018-12-15 2019-10-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN110420867A (zh) * 2019-07-26 2019-11-08 华南理工大学 一种使用平面检测的自动分拣的方法
CN111037558A (zh) * 2019-12-23 2020-04-21 北京航天计量测试技术研究所 一种自动识别抓取方法及系统
CN111104542A (zh) * 2020-01-07 2020-05-05 成都睿琪科技有限责任公司 零件识别管理方法及装置
CN111334901A (zh) * 2020-02-18 2020-06-26 常熟理工学院 一种基于忆阻神经网络的山羊原绒自动分拣装置
CN111464723A (zh) * 2020-04-02 2020-07-28 上海电气集团股份有限公司 一种扩大光照强度范围的方法及手眼系统
CN111805532A (zh) * 2020-03-27 2020-10-23 高雪亚 云端计算型机器人驱动控制系统
CN111906781A (zh) * 2020-07-08 2020-11-10 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
CN111993420A (zh) * 2020-08-10 2020-11-27 广州瑞松北斗汽车装备有限公司 一种固定式双目视觉3d引导上件系统
CN112405543A (zh) * 2020-11-23 2021-02-26 长沙理工大学 一种基于深度强化学习的机械臂密集物体温度优先抓取方法
CN112509145A (zh) * 2020-12-22 2021-03-16 珠海格力智能装备有限公司 基于三维视觉的物料分拣方法和装置
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法
CN112883881A (zh) * 2021-02-25 2021-06-01 中国农业大学 一种条状农产品无序分拣方法及装置
CN113601500A (zh) * 2021-07-12 2021-11-05 广东工业大学 一种单目视觉机器人及应用其的三维匹配定位方法
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人
CN114055501A (zh) * 2021-11-17 2022-02-18 长春理工大学 一种机器人抓取系统及其控制方法
CN114800533A (zh) * 2022-06-28 2022-07-29 诺伯特智能装备（山东）有限公司 一种用于工业机器人的分拣控制方法及系统
CN115488066A (zh) * 2021-06-18 2022-12-20 江苏宁达环保股份有限公司 一种废冰箱回收料中混杂铜铝自动分拣装置
CN115582840A (zh) * 2022-11-14 2023-01-10 湖南视比特机器人有限公司 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统
CN116276938A (zh) * 2023-04-11 2023-06-23 湖南大学 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN116843631A (zh) * 2023-06-20 2023-10-03 安徽工布智造工业科技有限公司 一种轻钢行业非标零件叠料的3d视觉分料方法
CN117710396A (zh) * 2023-12-14 2024-03-15 安徽工布智造工业科技有限公司 一种基于3d点云的轻钢行业非标零件的识别方法
CN117834836A (zh) * 2022-09-29 2024-04-05 长广溪智能制造(无锡)有限公司 一种物料抓取系统、方法、计算设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259304A1 (en) * 2008-10-14 2013-10-03 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN105930854A (zh) * 2016-04-19 2016-09-07 东华大学 一种机械臂视觉系统
CN107009391A (zh) * 2017-04-24 2017-08-04 珠海格力智能装备有限公司 机器人抓取定位装置、机器人抓取系统以及抓取方法
CN107081755A (zh) * 2017-01-25 2017-08-22 上海电气集团股份有限公司 一种机器人单目视觉引导系统的自动标定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259304A1 (en) * 2008-10-14 2013-10-03 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN105930854A (zh) * 2016-04-19 2016-09-07 东华大学 一种机械臂视觉系统
CN107081755A (zh) * 2017-01-25 2017-08-22 上海电气集团股份有限公司 一种机器人单目视觉引导系统的自动标定装置
CN107009391A (zh) * 2017-04-24 2017-08-04 珠海格力智能装备有限公司 机器人抓取定位装置、机器人抓取系统以及抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING-YU LIU ET AL.: "Fast object localization and pose estimation in heavy clutter for robotic bin picking", 《 THE INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH》 *
尤卫卫: "机器人分拣作业中工件识别实用技术的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188902A (zh) * 2018-08-08 2019-01-11 重庆两江微链智能科技有限公司 一种机器人学习方法、控制方法、装置、存储介质及主控设备
CN108994844B (zh) * 2018-09-26 2021-09-03 广东工业大学 一种打磨操作臂手眼关系的标定方法和装置
CN108994844A (zh) * 2018-09-26 2018-12-14 广东工业大学 一种打磨操作臂手眼关系的标定方法和装置
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN110355754B (zh) * 2018-12-15 2023-09-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN110355754A (zh) * 2018-12-15 2019-10-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109685141B (zh) * 2018-12-25 2022-10-04 合肥哈工慧拣智能科技有限公司 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109760047A (zh) * 2018-12-28 2019-05-17 浙江工业大学 一种基于视觉传感器的舞台机器人预测控制方法
CN109727181A (zh) * 2019-01-08 2019-05-07 上海卓畅信息技术有限公司 一种零件定位方法及设备
CN109727181B (zh) * 2019-01-08 2023-07-28 上海卓畅信息技术有限公司 一种零件定位方法及设备
CN109895095A (zh) * 2019-02-11 2019-06-18 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN109895095B (zh) * 2019-02-11 2022-07-15 赋之科技(深圳)有限公司 一种训练样本的获取方法、装置和机器人
CN109848994A (zh) * 2019-02-22 2019-06-07 浙江启成智能科技有限公司 一种机器人视觉引导定位算法
CN109927033A (zh) * 2019-04-01 2019-06-25 杭州电子科技大学 一种应用于传送带分拣的目标物体动态适配方法
CN110259067A (zh) * 2019-06-11 2019-09-20 清华大学 机器人的瓷砖铺设位置识别方法和系统
CN110420867A (zh) * 2019-07-26 2019-11-08 华南理工大学 一种使用平面检测的自动分拣的方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN111037558A (zh) * 2019-12-23 2020-04-21 北京航天计量测试技术研究所 一种自动识别抓取方法及系统
CN111104542A (zh) * 2020-01-07 2020-05-05 成都睿琪科技有限责任公司 零件识别管理方法及装置
CN111104542B (zh) * 2020-01-07 2023-04-18 成都睿琪科技有限责任公司 零件识别管理方法及装置
CN111334901A (zh) * 2020-02-18 2020-06-26 常熟理工学院 一种基于忆阻神经网络的山羊原绒自动分拣装置
CN111805532A (zh) * 2020-03-27 2020-10-23 高雪亚 云端计算型机器人驱动控制系统
CN111805532B (zh) * 2020-03-27 2021-11-26 成芳 云端计算型机器人驱动控制系统
CN111464723A (zh) * 2020-04-02 2020-07-28 上海电气集团股份有限公司 一种扩大光照强度范围的方法及手眼系统
CN111464723B (zh) * 2020-04-02 2021-10-01 上海电气集团股份有限公司 一种扩大光照强度范围的方法及手眼系统
CN111906781B (zh) * 2020-07-08 2021-07-13 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
CN111906781A (zh) * 2020-07-08 2020-11-10 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
CN111993420A (zh) * 2020-08-10 2020-11-27 广州瑞松北斗汽车装备有限公司 一种固定式双目视觉3d引导上件系统
CN112405543B (zh) * 2020-11-23 2022-05-06 长沙理工大学 一种基于深度强化学习的机械臂密集物体温度优先抓取方法
CN112405543A (zh) * 2020-11-23 2021-02-26 长沙理工大学 一种基于深度强化学习的机械臂密集物体温度优先抓取方法
CN112509145A (zh) * 2020-12-22 2021-03-16 珠海格力智能装备有限公司 基于三维视觉的物料分拣方法和装置
CN112509145B (zh) * 2020-12-22 2023-12-08 珠海格力智能装备有限公司 基于三维视觉的物料分拣方法和装置
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法
CN112784717B (zh) * 2021-01-13 2022-05-13 中北大学 一种基于深度学习的管件自动分拣方法
CN112883881A (zh) * 2021-02-25 2021-06-01 中国农业大学 一种条状农产品无序分拣方法及装置
CN112883881B (zh) * 2021-02-25 2023-10-31 中国农业大学 一种条状农产品无序分拣方法及装置
CN115488066A (zh) * 2021-06-18 2022-12-20 江苏宁达环保股份有限公司 一种废冰箱回收料中混杂铜铝自动分拣装置
CN113601500A (zh) * 2021-07-12 2021-11-05 广东工业大学 一种单目视觉机器人及应用其的三维匹配定位方法
CN114055501A (zh) * 2021-11-17 2022-02-18 长春理工大学 一种机器人抓取系统及其控制方法
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人
CN114800533A (zh) * 2022-06-28 2022-07-29 诺伯特智能装备（山东）有限公司 一种用于工业机器人的分拣控制方法及系统
CN114800533B (zh) * 2022-06-28 2022-09-02 诺伯特智能装备（山东）有限公司 一种用于工业机器人的分拣控制方法及系统
CN117834836A (zh) * 2022-09-29 2024-04-05 长广溪智能制造(无锡)有限公司 一种物料抓取系统、方法、计算设备及介质
CN115582840A (zh) * 2022-11-14 2023-01-10 湖南视比特机器人有限公司 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统
CN116276938A (zh) * 2023-04-11 2023-06-23 湖南大学 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN116276938B (zh) * 2023-04-11 2023-11-10 湖南大学 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN116843631A (zh) * 2023-06-20 2023-10-03 安徽工布智造工业科技有限公司 一种轻钢行业非标零件叠料的3d视觉分料方法
CN116843631B (zh) * 2023-06-20 2024-04-02 安徽工布智造工业科技有限公司 一种轻钢行业非标零件叠料的3d视觉分料方法
CN117710396A (zh) * 2023-12-14 2024-03-15 安徽工布智造工业科技有限公司 一种基于3d点云的轻钢行业非标零件的识别方法
CN117710396B (zh) * 2023-12-14 2024-06-14 安徽工布智造工业科技有限公司 一种基于3d点云的轻钢行业非标零件的识别方法

Also Published As

Publication number Publication date
CN108109174B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN108109174A (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN104156726B (zh) 一种基于几何形状特征的工件识别方法及装置
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN109255813A (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN108932475A (zh) 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN106826815A (zh) 基于彩色图像与深度图像的目标物体识别与定位的方法
CN110497187A (zh) 基于视觉引导的太阳花模组装配系统
CN111089569A (zh) 一种基于单目视觉的大型箱体测量方法
CN109465809A (zh) 一种基于双目立体视觉定位识别的智能垃圾分类机器人
CN107590835A (zh) 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN108898634A (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
CN109341591A (zh) 一种基于手持式三维扫描仪的边缘检测方法及系统
CN109459984A (zh) 一种基于三维点云的定位抓取系统及其使用方法
CN112348890B (zh) 一种空间定位方法、装置及计算机可读存储介质
CN112067233A (zh) 一种用于风洞模型六自由度运动捕获方法
CN107595388A (zh) 一种基于反光球标记点的近红外双目视觉立体匹配方法
CN108171753A (zh) 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant