CN111775152B - 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 - Google Patents

基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 Download PDF

Info

Publication number
CN111775152B
CN111775152B CN202010606434.1A CN202010606434A CN111775152B CN 111775152 B CN111775152 B CN 111775152B CN 202010606434 A CN202010606434 A CN 202010606434A CN 111775152 B CN111775152 B CN 111775152B
Authority
CN
China
Prior art keywords
target
dimensional
workpiece
coordinates
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010606434.1A
Other languages
English (en)
Other versions
CN111775152A (zh
Inventor
刘晓利
喻菁
汤其剑
彭翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010606434.1A priority Critical patent/CN111775152B/zh
Publication of CN111775152A publication Critical patent/CN111775152A/zh
Application granted granted Critical
Publication of CN111775152B publication Critical patent/CN111775152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095—Means or methods for testing manipulators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统。方法包括：通过三维测量系统获得手眼标靶的二维图像和三维点云数据，然后根据手眼标靶的三维点云数据获得各标靶点在相机坐标系下的空间坐标，再根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，并将该手眼关系矩阵应用于具体场景中的目标工件的抓取，通过三维测量系统获取目标工件的二维图像和三维点云数据，然后获取目标工件在相机坐标系下的空间坐标，通过手眼关系矩阵，可获得目标工件在机械臂坐标系下的空间坐标，再通过粗匹配操作和精匹配操作得到所述目标工件的精准位置和姿态，即可实现控制机械臂对目标工件进行精准抓取。

Description

基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
技术领域
本发明涉及智能控制领域，尤其涉及一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统。
背景技术
目前，工业自动化装配受到越来越多的关注，由视觉引导机械手(或称机械臂)进行工业装配是实现工业自动化的重要途径，在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。
传统手眼标定(eye-to-hand)方法通常借助平面棋盘格作为标定靶，标定过程中将棋盘格固定于机械臂末端，并控制机械臂在相机视野范围内进行多次姿态变换，然而对于某些自由度较少的机械臂，例如在工业上常用的结构较为简单的四轴机械臂，末端的运动姿态范围平行于水平面，无法达到以上标定要求，并且在手眼标定的结构下标定过程会存在视觉遮挡等问题，所以传统的手眼标定方法在某些应用场景下具有一定的局限性；工业上针对四轴机械臂的标定方法一般采用的是Halcon(高性能通用图像处理算法软件)中所集成的平面九点法，该方法牺牲了空间中Z方向的自由度，导致机械臂运动过程中Z轴位置固定，机械臂末端只能在平面X、Y方向上移动，在工业上的应用局限于二维平面上的定位与抓取，限制了四自由度机械臂的使用场景，无法完全发挥其在空间中的运动状态。
基于点云信息进行位姿估计，传统的做法是采用迭代最近点算法(IterativeClosest Point，ICP)及其改进方法；但是其最大的一个缺点就是受初始给定位姿的精度影响，易陷入局部最优；目前解决的办法是采用全局配准加ICP的方法，来尽可能获得精确的位姿；全局位姿配准算法主要基于点云的特征，根据特征点对点云进行点对匹配，根据这些点可以计算点云的初始变换矩阵；但是基于点云特征求解初始位姿的方法都有一个问题，就是对于几何特征本来就不丰富的点云，求解效果不佳，因此导致ICP求解的位姿精度不高。
对于基于点云位姿估计问题，目前也有学者通过深度学习的方法进行尝试；通过将点云数据输入到三维的卷积神经网络中，可以直接预测物体的3D位姿；但是基于深度学习的方法，需要使用大量的数据进行训练，目前采用深度学习的方法进行基于点云的位姿估计，主要还是采用公开的数据集中的数据，主要针对生活场景下的一些物品的位姿估计，其位姿估计精度太低，并不能满足工业场景下机器人抓取和装配精度需求。同时深度学习的方法，需要消耗较多的时间做训练，并且其计算设备的价格都是极其昂贵的，目前工业还并不普及。
针对以上传统方法和深度学习的方法存在的问题，现有技术中的机器人对待抓取物品的位姿估计精度还有待提高。
发明内容
本发明的目的是提供一种基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统，旨在解决现有技术中的机器人对待抓取物品的位姿估计精度不高的问题。
第一方面，本发明实施例提供了一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其包括：
通过三维测量系统获得手眼标靶的二维图像和三维点云数据；
对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；
示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标；
根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；
通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；
选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；
根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；
以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；
根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。
第二方面，本发明实施例提供了一种基于三维测量引导机械臂抓取散乱堆叠工件的系统，其包括：设置于机械臂本体外的三维测量系统和引导系统；
所述三维测量系统用于获得手眼标靶的二维图像和三维点云数据；
所述引导系统用于对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；
所述引导系统还用于示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标；
所述引导系统还用于根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；
所述三维测量系统还用于获取目标工件的二维图像和三维点云数据；
所述引导系统还用于提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；
所述引导系统还用于选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；
所述引导系统还用于根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；
所述引导系统还用于以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；
所述引导系统还用于根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。
本发明实施例通过三维测量系统获得手眼标靶的二维图像和三维点云数据，然后根据手眼标靶的三维点云数据获得各标靶点在相机坐标系下的空间坐标，再根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，并将该手眼关系矩阵应用于具体场景中的目标工件的抓取，通过三维测量系统获取目标工件的二维图像和三维点云数据，然后获取目标工件在相机坐标系下的空间坐标，通过手眼关系矩阵，可获得目标工件在机械臂坐标系下的空间坐标，再通过粗匹配操作和精匹配操作得到所述目标工件的精准位置和姿态，即可控制机械臂对目标工件进行抓取。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于三维测量引导机械臂抓取散乱堆叠工件的方法的流程示意图；
图2为本发明实施例提供的手眼标靶的示意图；
图3为本发明实施例提供的螺母工件预处理前的二维图像；
图4为本发明实施例提供的螺母工件预处理后的二维图像；
图5为本发明实施例提供的螺母工件的两种位姿和匹配模板的示意图；
图6为本发明实施例提供的螺母工件的一种位姿的匹配原理示意图；
图7为本发明实施例提供的螺母工件的另一种位姿的匹配原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的基于三维测量引导机械臂抓取散乱堆叠工件的方法的流程图；
如图1所示，该方法包括步骤S101～S109。
S101、通过三维测量系统获得手眼标靶的二维图像和三维点云数据。
本实施例中，所述三维测量系统包括相机和投影仪，所述手眼标靶以黑色标定板为载体。所述手眼标靶为多个白色的标志图形。
在一实施例中，如图2所示，所述手眼标靶中设置有9个标志图形，并呈规格的3×3排布，所述标志图形为标志圆，所述标靶点为标志圆的圆心，并在第一行第一列和第二行第三列的标志圆中添加内圆，作为9点排序的标志圆。在其他实施例中，也可将所述标志图形设置为其他形状。
本实施例中，9个标志圆呈3×3的规格排布，第一行第一列设定为1号，第二行第三列设定为6号，在1号6号两个白色标志圆中心添加两个白色内圆作为九点排序的标志圆，以标记点为基础对其他标志圆进行排序，用于后续机械臂按排序进行测量。
S102、对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果。
本实施例中，识别所述二维图像的手眼标靶并进行边缘提取，接着按照边缘信息将手眼标靶从二维坐标映射至三维坐标，其中，映射的过程为：通过投影仪对手眼标靶投射双方向正弦条纹图和格雷码，由相机采集到一系列图片后进行相位展开得到标靶表面绝对相位，按照相位-三维映射关系得到对应三维坐标，即借助相位可以进行二维-三维映射；映射关系为：(x,y)→(X,Y,Z)。
然后对手眼标靶的三维点云数据进行分割并得到单个标志圆的三维坐标，再对单个标志圆进行拟合得到标靶点，拟合得到标靶点的原理为：
一个空间圆的产生可以看作该圆心的一个球体被一个经过该点的平面所截而得到，因此在求取空间圆的时候需要添加平面约束方程，即：
Figure BDA0002559291890000061
其中(x0,y0,z0)表示标靶点的中心坐标，也就是所求相机坐标系下标靶点的空间坐标，R表示标志圆半径，(xi,yi,zi)为标靶点的空间三维点云坐标，空间圆心拟合即为对平面约束方程中的参数{A,B,C,D,R,x0,y0,z0}进行求解，由于三维点云数据与真实值之间存在误差，这里使用最小二乘进行优化求解，另外标志圆半径R实际值已知，选取初值时可直接设为实际值进行迭代，缩短迭代时长。
最后再对各标靶点进行排序，得到排序结果，将该排序结果作为机械臂测量的顺序。
在一实施例中，所述对各标靶点进行排序得到排序结果，包括：
S201、连接两个排序标志圆的圆心确定一条直线。
S202、计算每个标靶点到该直线的距离。
S203、将其中距离最远的标记为7号标靶点，并标记出1号标靶点和6号标靶点。
S204、计算所述7号标靶点与各标靶点之间的距离，将其中距离最远的标记为3号标靶点。
S205、然后利用所述1号、3号、6号、7号标靶点的空间坐标，求得剩余标志圆的编码值。
本实施例中，首先连接1号、6号标靶点确定一条直线，计算每个标靶点到该直线的距离，其中距离可以确定最远的为7号标靶点；接着计算7号标靶点与各标靶点之间的距离，得到距离最远的3号标靶点；至此得到1号、3号、6号、7号四个标靶点空间坐标，最后利用得到的4个标靶点的位置计算标志圆所确定二维平面与标靶坐标系(手眼标靶所在二维坐标系)之间的单应性矩阵，可求得所有标志圆在1-9中对应的编码值，即得到所述标志圆的排序结果。
S103、示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标。
本实施例中，控制机械臂末端夹具张开，按排序结果依次对各个标靶点进行测量，抓取过程中使机械臂末端夹具的手爪边缘与标志圆的边缘重合，并读取到各个标靶点在机械臂坐标系下的空间坐标。也就是说，本步骤是示教机械臂末端夹具移动到标志圆处，使得末端夹具的中心与标志圆的中心(也就是标靶点)重合，机械臂末端手爪边缘与标志圆的边缘尽量重合，以便末端夹具中心与标志圆的中心尽量重合，确定好末端位置之后直接从机械臂软件可以得到各个标靶点在机械臂坐标系下的空间坐标。
S104、根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵。
本实施例中，选择同一姿态下的手眼标靶上的各个标靶点，对各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标进行坐标系转换，得到手眼关系矩阵。
在一实施例中，步骤S104包括：
按下式计算得到所述手眼关系矩阵：
Figure BDA0002559291890000071
其中
Figure BDA0002559291890000072
为各标靶点在相机坐标系下的空间坐标，pi tool＝(xi tool,yi tool,zi tool)为各标靶点在机械臂坐标系下的空间坐标以及在机械臂坐标下的空间坐标，R和T分别表示从相机坐标系到机械臂坐标系之间的旋转和平移矩阵。
本实施例中，根据上述公式，将各标靶点在相机坐标系下的空间坐标以及各标靶点在机械臂坐标系下的空间坐标带入公式，即可计算出手眼关系矩阵。
在一实施例中，步骤S104还包括：
S301、将手眼标靶处于一个姿态下，各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标作为同源点对；
S302、调整手眼标靶姿态，获取多组同源点对；
S303、根据所述多组同源点对进行标定，得到手眼关系矩阵。
本实施例中，通过调整手眼标靶姿态，改变各个标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到多组同源点对并进行标定，可提高标定精度，最后的手眼关系矩阵更精准。
在标定过程中pc i＝(xi c,yi c,zi c)和pi tool＝(xi tool,yi tool,zi tool)的实际取值会存在误差，采用最小二乘估计进行优化求解，目标函数为：
Figure BDA0002559291890000081
由于已知点对的个数大于未知参量的个数，该优化问题可使用奇异值分解(SingularValue Decomposition(SVD))对其进行计算，当F(R,T)取值最小时，R、T所构成的单应性矩阵获得最小二乘解，分别为：
Figure BDA0002559291890000082
其中
Figure BDA0002559291890000083
表示pi tool＝(xi tool,yi tool,zi tool)和pc i＝(xi c,yi c,zi c)平均中心。根据pi tool＝(xi tool,yi tool,zi tool)以及pc i＝(xi c,yi c,zi c)与各自的平均中心构建矩阵W＝BAT：
Figure BDA0002559291890000084
对W进行奇异值分解就可得到矩阵V和UT。
S105、通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标。
本实施例中，按照前述获取手眼标靶二维图像和三维点云数据类似的方式获取目标工件的二维图像和三维点云数据。获取目标工件的二维图像和三维点云数据后，提取所述目标工件的边缘信息，将目标工件的边缘信息与预设的标准工件进行相似度对比，根据对比结果识别出目标工件，预设的标准工件中包含有目标工件在内的多种工件；然后再确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标，根据目标工件的抓取排序和轮廓坐标即可控制机械臂夹具对目标工件进行夹取。
在一实施例中，步骤S105包括：
S201、通过所述三维测量系统获取目标工件的二维图像和三维点云数据；
S202、对所述目标工件的二维图像进行高斯滤波处理后再进行Canny边缘检测，得到所述目标工件的边缘信息；
S203、对所述目标工件的边缘信息进行形态学闭运算，以每个边缘像素为中心，遍历邻域范围内的所有点，对像素值为零的点进行填充，扩充所述目标工件的边缘信息，并得到边缘连通区域；
S204、对每个边缘连通区域进行划分并确定编号，遍历每个边缘连通区域，并计算每个边缘连通区域的Hu矩；
S205、计算所述边缘连通区域与预设的标准工件的轮廓的Hu矩的相似度，筛选出计算数值小于阈值的边缘连通区域，并按照计算数值大小确定目标工件的抓取顺序并进行编号，所述抓取顺序为计算数值小的先抓取，计算数值大的后抓取；
S206、返回筛选出边缘连通区域的轮廓坐标。
结合图3和图4所示，本实施例以螺母工件进行举例，机械臂需对工作台上散乱堆叠螺母工件进行抓取。
通过所述三维测量系统获取螺母工件的二维图像和三维点云数据；然后对螺母工件的二维图像进行高斯滤波处理，去除背景干扰信息中的高斯噪音，再对二维图像进行Canny边缘检测，得到所述螺母工件的边缘信息；然后对螺母工件的边缘信息进行形态学闭运算，通过膨胀和腐蚀操作去除无效的狭长边缘，接着以每个边缘像素为中心，遍历邻域范围内的所有点，对像素值为零的点进行填充，扩充螺母工件的边缘信息，并得到边缘联通区域；然后对每个连通区域进行划分并确定编号，遍历每个连通区域，计算每个联通区域的Hu矩；
结合图5所示，提取不同姿态下的标准工件的边缘轮廓，然后计算标准工件的边缘轮廓的Hu矩；再将联通区域的Hu矩与各姿态下的标准工件的边缘轮廓的Hu矩进行相似度比较，筛选出计算数值小于阈值的边缘连通区域，这里的阈值为0.1，即筛选出计算数值小于0.1的边缘连通区域，这部分边缘连通区域与标准工件的边缘轮廓匹配成功，然后继续根据计算数值大小对螺母工件进行抓取排序，计算数值的数值越小表示越匹配，故从数值最小的开始排序并得到排序结果；按照排序结果依次返回边缘连通区域的轮廓坐标与标号，并在二维图像上进行标注。
如表1所示，其为本发明实施例中各螺母工件边缘轮廓与两种模板之间相似度计算数值。
表1
Figure BDA0002559291890000101
根据上表，即可筛选出计算数值小于阈值的边缘连通区域，如图6和图7所示。
S106、选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标。
本实施例中，将筛选的计算数值小于阈值的边缘连通区域的轮廓坐标映射至三维空间，然后对目标工件的三维点云数据进行分割并得到单个目标工件的三维坐标，得到单个目标工件在相机坐标系下的空间坐标。
S107、根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标。
本实施例中，根据所述手眼关系矩阵的公式，代入单个螺母工件在相机坐标系下的空间坐标，即可计算出单个螺母工件在机械臂坐标系下的空间坐标。
S108、以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态。
结合图5所示，本实施例中，工业环境中螺母工件的混乱堆叠摆放姿态大致可分为两种情况：一种是螺母工件水平放置于工作空间，六条边界线连接形成的平面与水平面垂直，另一种是螺母工件垂直放置于工作空间，此时呈现出六角螺母边界六面的其中三面，交界处呈现较为明显的灰度变化，在这两种情况下，可以建立正六边形姿态的匹配模板和矩形姿态的匹配模板。
然后将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态。
在一实施例中，步骤S108包括：
S301、按照所述标准工件的实际尺寸大小建立三维模板并转化成三维点云数据，将所述标准工件的三维点云数据作为模板点云；
S302、提取所述模板点云中各个角点的三维坐标作为粗匹配过程中的参数；
S303、根据目标工件的边缘信息中查找角点的二维坐标，并将目标工件中角点的二维坐标映射至三维空间，得到目标工件中角点的三维坐标；
S304、利用模板点云中各个角点的三维坐标与目标工件中角点的三维坐标按下式进行粗匹配，求解模板点云与目标工件三维点云数据之间的初始旋转平移关系：
Figure BDA0002559291890000111
其中，(xi,yi,zi)表示目标工件三维点云(可简称为目标点云或螺母点云)中的角点的三维坐标Qi；(x′i,y′i,z′i)表示模板点云中的角点的三维坐标Pi，R0表示模板点云到目标点云的旋转矩阵，t0表示模板点云到目标点云的平移矩阵。
本实施例中，按照所述标准工件的实际尺寸大小在CAD或者其他制图软件中建立标准工件的三维模板，然后通过catia软件将三维模型转换成三维点云数据格式，并将所述标准工件的三维点云数据作为模板点云；然后提取所述模板点云中标准工件的角点的三维坐标，并作为粗匹配过程中的参数。
然后在螺母工件的边缘信息中查找螺母工件外边缘的角点的二维坐标，并将螺母工件中角点的二维坐标映射至三维空间，得到螺母工件中角点的三维坐标。
根据上述公式，代入目标点云中角点的三维坐标Qi＝(xi,yi,zi),i＝1,2,3...,n，以及模板点云中标准工件的角点的三维坐标Pi＝(x'i,y'i,z'i),i＝1,2,3...,n，即可计算出模板点云到目标点云的旋转矩阵R0，以及模板点云到目标点云的平移矩阵t0。
在一实施例中，步骤S303包括：
S401、建立以目标工件角点为中心的10×10的模板，确定目标工件角点邻域范围内像素所对应的三维坐标；
S402、对目标工件角点邻域范围内像素所对应的三维坐标中的非零三维坐标值取平均，将均值记做目标工件的角点的三维坐标，其中每一目标工件中角点个数不少于3个。
本实施例中，建立以螺母工件角点为中心，10个像素为边长的正方形像素邻域，确定该邻域范围内像素所对应的三维坐标；然后对螺母工件角点邻域范围内像素所对应的三维坐标中的非零三维坐标值取平均，取平均值的意义是因为对于二维空间找到的角点映射至三维空间时可能因为重建存在噪声和空洞导致三维空间坐标值为零，所以取这个角点附近的10×10范围内的其他二维坐标映射至三维空间然后取非零值的平均，这样就不会导致取得的角点三维坐标为零值；其中，每一螺母工件中角点个数不少于3个，确保对每个螺母工件进行更精准的位姿估计。
在一实施例中，步骤S108还包括：
以所述初始旋转平移关系为基础，利用ICP算法对目标工件的角点的三维坐标由低到高逐层与目标工件的三维点云进行精确匹配操作，获取精匹配结果。
本实施例中，根据粗匹配操作得到了模板点云数据与目标工件三维点云数据之间较准确的旋转变换关系将空间中互不重叠的两块点云经平移和旋转操作得到了粗略的匹配，对于工件抓取操作，粗匹配可能无法满足精密准确的姿态判断，即此时所求得的Z轴旋转角度γ与真实状态的准确度不高。故，基于该粗匹配结果作为初值，继续进行精确匹配操作，以最大程度匹配两组点云。
精匹配方法采用ICP算法，利用距离阈值即最近点原则，找到两组点云中的对应点；通过最小化所有对应点的距离误差来估计新的变换矩阵(旋转和平移)；以粗匹配结果作为初值，不断迭代更新变换矩阵值，直至收敛到最优的变换。本实施例通过对模板点云进行下采样处理，构建3个分辨率的点云模型，在匹配过程中逐步增大点云分辨率，构建多分辨的ICP匹配方法通过对模板点云进行下采样处理，构建3个分辨率的点云模型，在匹配过程中逐步增大点云分辨率，构建多分辨的ICP匹配方法。
模型点云P与数据集(目标点云)Q即分割出的单个工件重建点云集之间的匹配问题是求解使得代价函数取得最小值时的变换参数向量，即两个点云之间的旋转矩阵R1和平移矩阵T1，代价函数可以建立为：
Figure BDA0002559291890000121
其中，Pi表示模板点云P中的点，Qi表示目标点云Q中离Pi最近的点。其物理意义表示模板点云经过变换参数的刚性变换之后与目标点云之间的距离最小。
ICP算法主要步骤如下：
初始化变换参数向量，设置迭代次数k为0；
计算与模型点集P与目标点云Q的对应点，即：Qi＝C(Pi,Y),其中C()表示最近点计算算子，本发明实施例可采用两点间欧氏距离作为误差算子。
利用最小二乘法求解上述代价函数公式，得到新的平移旋转矩阵参数[R|T]以及两组点云之间的误差err。
将上述求解出来的平移旋转矩阵应用于模型点云P，得到一个新的模型点云。
判断此时两组点云之间的误差是否小于设定阈值，或者迭代次数是否大于设定迭代次数，如果两者满足其一则终止迭代，此时的R1、T1即为两组点云之间的精确匹配，否则继续计算与模型点云P与目标点云Q的对应点直至完成精确匹配。
利用上述ICP算法对三个分辨率的点云由低到高逐层匹配，最终可获取最精确的匹配结果。
S109、根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。
本实施例中，通过粗匹配和精匹配后得到所述目标工件的位置和姿态，即可控制所述机械臂按排序结果依次抓取所述目标工件。
本发明实施例还提供一种基于三维测量引导机械臂抓取散乱堆叠工件的系统，包括：设置于机械臂本体外的三维测量系统和引导系统；
所述三维测量系统用于获得手眼标靶的二维图像和三维点云数据；
所述引导系统用于对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；
所述引导系统还用于示教机械臂末端夹具根据排序结果依次对各个标靶点进行测量，得到各个标靶点在机械臂坐标系下的空间坐标；
所述引导系统还用于根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；
所述三维测量系统还用于获取目标工件的二维图像和三维点云数据；
所述引导系统还用于提取所述目标工件的边缘信息，根据所述边缘信息将目标工件与预设的标准工件进行相似度对比，根据对比结果确定对所述目标工件的抓取排序，以及目标工件的轮廓坐标；
所述引导系统还用于选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；
所述引导系统还用于根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；
所述引导系统还用于以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；
所述引导系统还用于根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。
关于上述系统的具体技术细节可参考前面方法实施例中的描述，此处不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，包括：
通过三维测量系统获得手眼标靶的二维图像和三维点云数据；
对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；
示教机械臂末端夹具根据排序结果依次对各个标靶点进行抓取测量，得到各个标靶点在机械臂坐标系下的空间坐标；
根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；
所述根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，包括：将手眼标靶处于一个姿态下，各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标作为同源点对，调整手眼标靶姿态，获取多组三维的同源点对，根据所述多组三维的同源点对进行标定；
通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，对所述目标工件的边缘信息进行形态学闭运算，通过膨胀和腐蚀操作去除无效的狭长边缘，接着以每个边缘像素为中心，遍历邻域范围内的所有点，对像素值为零的点进行填充，扩充所述目标工件的边缘信息，并得到边缘连通区域，对每个边缘连通区域进行划分并确定编号，遍历每个边缘连通区域，并计算每个边缘连通区域的Hu矩，计算所述边缘连通区域与预设的标准工件的轮廓的Hu矩的相似度，筛选出计算数值小于阈值的边缘连通区域，并按照计算数值大小确定目标工件的抓取顺序并进行编号，所述抓取顺序为计算数值小的先抓取，计算数值大的后抓取，返回筛选出边缘连通区域的轮廓坐标；
选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；
根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；
以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；
根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。
2.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述手眼标靶中设置有9个标志图形，并呈规格的3×3排布，所述标志图形为标志圆，所述标靶点为标志圆的圆心，并在第一行第一列和第二行第三列的标志圆中添加内圆，作为9点排序的标志圆。
3.根据权利要求2所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述对各标靶点进行排序得到排序结果，包括：
连接两个排序标志圆的圆心确定一条直线；
计算每个标靶点到该直线的距离；
将其中距离最远的标记为7号标靶点，并标记出1号标靶点和6号标靶点；
计算所述7号标靶点与各标靶点之间的距离，将其中距离最远的标记为3号标靶点；
然后利用所述1号、3号、6号、7号标靶点的空间坐标，求得剩余标靶点的编码值。
4.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标系下的空间坐标，得到手眼关系矩阵，包括：
按下式计算得到所述手眼关系矩阵：
Figure FDA0003181467330000021
其中pc i＝(xi c,yi c,zi c)为各标靶点在相机坐标系下的空间坐标，pi tool(xi tool,yi tool,zi tool)为各标靶点在机械臂坐标系下的空间坐标以及在机械臂坐标下的空间坐标，R和T分别表示从相机坐标系到机械臂坐标系之间的旋转和平移矩阵。
5.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态，包括：
按照所述标准工件的实际尺寸大小建立三维模板并转化成三维点云数据，将所述标准工件的三维点云数据作为模板点云；
提取所述模板点云中各个角点的三维坐标作为粗匹配过程中的参数；
根据目标工件的边缘信息中查找角点的二维坐标，并将目标工件中角点的二维坐标映射至三维空间，得到目标工件中角点的三维坐标；
利用模板点云中各个角点的三维坐标与目标工件中角点的三维坐标按下式进行粗匹配，求解模板点云与目标工件三维点云数据之间的初始旋转平移关系：
Figure FDA0003181467330000031
6.根据权利要求5所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述根据目标工件的边缘信息中查找角点的二维坐标，并将目标工件中角点的二维坐标映射至三维空间，得到目标工件中角点的三维坐标，包括：
建立以目标工件角点为中心的10×10的模板，确定目标工件角点邻域范围内像素所对应的三维坐标；
对目标工件角点邻域范围内像素所对应的三维坐标中的非零三维坐标值取平均，将均值记做目标工件的角点的三维坐标，其中每一目标工件中角点个数不少于3个。
7.根据权利要求5所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态，还包括：
以所述初始旋转平移关系为基础，利用ICP算法对目标工件的角点的三维坐标由低到高逐层与目标工件的三维点云进行精确匹配操作，获取精匹配结果。
8.一种基于三维测量引导机械臂抓取散乱堆叠工件的系统，其特征在于，包括：设置于机械臂本体外的三维测量系统和引导系统；
所述三维测量系统用于获得手眼标靶的二维图像和三维点云数据；
所述引导系统用于对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；
所述引导系统还用于示教机械臂末端夹具根据排序结果依次对各个标靶点进行抓取测量，得到各个标靶点在机械臂坐标系下的空间坐标；
所述引导系统还用于根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；
所述根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，包括：将手眼标靶处于一个姿态下，各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标作为同源点对，调整手眼标靶姿态，获取多组同源点对，根据所述多组同源点对进行标定，标定过程中采用最小二乘进行优化，得到手眼关系矩阵；
所述三维测量系统还用于获取目标工件的二维图像和三维点云数据；
所述引导系统还用于提取所述目标工件的边缘信息，对所述目标工件的边缘信息进行形态学闭运算，通过膨胀和腐蚀操作去除无效的狭长边缘，接着以每个边缘像素为中心，遍历邻域范围内的所有点，对像素值为零的点进行填充，扩充所述目标工件的边缘信息，并得到边缘连通区域，对每个边缘连通区域进行划分并确定编号，遍历每个边缘连通区域，并计算每个边缘连通区域的Hu矩，计算所述边缘连通区域与预设的标准工件的轮廓的Hu矩的相似度，筛选出计算数值小于阈值的边缘连通区域，并按照计算数值大小确定目标工件的抓取顺序并进行编号，所述抓取顺序为计算数值小的先抓取，计算数值大的后抓取，返回筛选出边缘连通区域的轮廓坐标；
所述引导系统还用于选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；
所述引导系统还用于根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；
所述引导系统还用于以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；
所述引导系统还用于根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。
CN202010606434.1A 2020-06-29 2020-06-29 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 Active CN111775152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010606434.1A CN111775152B (zh) 2020-06-29 2020-06-29 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010606434.1A CN111775152B (zh) 2020-06-29 2020-06-29 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统

Publications (2)

Publication Number Publication Date
CN111775152A CN111775152A (zh) 2020-10-16
CN111775152B true CN111775152B (zh) 2021-11-05

Family

ID=72761386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010606434.1A Active CN111775152B (zh) 2020-06-29 2020-06-29 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统

Country Status (1)

Country Link
CN (1) CN111775152B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485385B (zh) * 2020-10-23 2023-07-07 广东天机工业智能系统有限公司 工件坐标系校准方法、装置及系统
CN114529597A (zh) * 2020-11-02 2022-05-24 国网江苏省电力有限公司 基于深度图像的电力线缆盘自动识别方法
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN112476434B (zh) * 2020-11-24 2021-12-28 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统
CN112223300A (zh) * 2020-12-15 2021-01-15 佛山隆深机器人有限公司 一种基于双目视觉和姿态优化的工件无序抓取方法
CN113744298B (zh) * 2021-01-05 2024-07-19 北京京东乾石科技有限公司 数据处理方法、装置及存储介质
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN112847375B (zh) * 2021-01-22 2022-04-26 熵智科技(深圳)有限公司 一种工件抓取方法、装置、计算机设备及存储介质
CN113084867B (zh) * 2021-03-19 2022-04-22 北京航空航天大学 一种机械手的性能测试装置及方法
CN113246130B (zh) * 2021-05-26 2022-03-22 中国科学院宁波材料技术与工程研究所 一种工件抓取和拨动干预方法及系统
CN113610921B (zh) * 2021-08-06 2023-12-15 沈阳风驰软件股份有限公司 混合工件抓取方法、设备及计算机可读存储介质
CN113706610B (zh) * 2021-09-03 2024-06-07 西安电子科技大学广州研究院 基于rgb-d相机的栈板位姿计算方法
CN113762157B (zh) * 2021-09-08 2024-08-13 中建钢构工程有限公司 一种基于视觉识别的机器人分拣方法及存储介质
CN113706621B (zh) * 2021-10-29 2022-02-22 上海景吾智能科技有限公司 基于带标记图像的标志点定位及姿态获取方法和系统
CN114102593B (zh) * 2021-11-24 2023-03-28 航天晨光股份有限公司 基于二维低清晰度图像的机器手抓取规则物料方法
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人
CN114179090A (zh) * 2021-12-28 2022-03-15 苏州优速软件研发有限公司 机械手的旋转组装控制方法、系统、设备及存储介质
CN114193440B (zh) * 2022-01-04 2023-09-12 中船重工鹏力（南京）智能装备系统有限公司 基于3d视觉的机器人自动抓取系统及方法
CN114074331A (zh) * 2022-01-19 2022-02-22 成都考拉悠然科技有限公司 一种基于视觉的无序抓取方法及机器人
CN114519711B (zh) * 2022-02-22 2024-07-02 中冶赛迪信息技术(重庆)有限公司 一种库区钢卷测量方法、系统、介质及电子终端
CN115213896A (zh) * 2022-05-10 2022-10-21 浙江西图盟数字科技有限公司 基于机械臂的物体抓取方法、系统、设备及存储介质
CN114939891B (zh) * 2022-06-28 2024-03-19 上海仙工智能科技有限公司 一种基于物体平面特征的复合机器人3d抓取方法及系统
CN115674186A (zh) * 2022-08-13 2023-02-03 苏州深浅优视智能科技有限公司 机械臂与3d相机的标定方法、系统、电子设备及存储介质
CN115781673B (zh) * 2022-11-18 2024-10-11 节卡机器人股份有限公司 一种零件抓取方法、装置、设备及介质
CN115816471B (zh) * 2023-02-23 2023-05-26 无锡维度机器视觉产业技术研究院有限公司 多视角3d视觉引导机器人的无序抓取方法、设备及介质
CN115965628B (zh) * 2023-03-16 2023-06-02 湖南大学 一种工件涂装质量在线动态检测方法及检测系统
CN116652970B (zh) * 2023-07-28 2023-10-31 上海仙工智能科技有限公司 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN118288292A (zh) * 2024-05-10 2024-07-05 中原动力智能机器人有限公司 一种棒状工件的无序抓取方法、装置、设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718233B2 (en) * 2002-03-29 2004-04-06 Nortel Networks, Ltd. Placement of an optical component on a substrate
JP2012232363A (ja) * 2011-04-28 2012-11-29 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
CN108555908B (zh) * 2018-04-12 2020-07-28 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109927036A (zh) * 2019-04-08 2019-06-25 青岛小优智能科技有限公司 一种三维视觉引导机械手抓取的方法及系统
CN110148174A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 标定板、标定板识别方法及装置

Also Published As

Publication number Publication date
CN111775152A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
CN103678754B (zh) 信息处理装置及信息处理方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN110634161A (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN110553600B (zh) 一种用于工件检测的结构光传感器仿真激光线的生成方法
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN113269723B (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN115774265B (zh) 用于工业机器人的二维码和激光雷达融合定位方法与装置
JP2012026895A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN110992422B (zh) 一种基于3d视觉的药盒姿态估计方法
CN111784655A (zh) 一种水下机器人回收定位方法
CN113706621A (zh) 基于带标记图像的标志点定位及姿态获取方法和系统
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN112734844A (zh) 一种基于正八面体的单目6d位姿估计方法
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN113799130B (zh) 一种人机协作装配中的机器人位姿标定方法
CN118122642A (zh) 一种板簧压力分拣方法及分拣系统
CN115112098B (zh) 一种单目视觉的一维二维测量方法
CN112734843B (zh) 一种基于正十二面体的单目6d位姿估计方法
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
CN115953465A (zh) 基于模块化机器人实训平台的三维视觉随机抓取处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant