CN107300100B - 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法 - Google Patents

一种在线cad模型驱动的级联式机械臂视觉引导逼近方法 Download PDF

Info

Publication number
CN107300100B
CN107300100B CN201710363788.6A CN201710363788A CN107300100B CN 107300100 B CN107300100 B CN 107300100B CN 201710363788 A CN201710363788 A CN 201710363788A CN 107300100 B CN107300100 B CN 107300100B
Authority
CN
China
Prior art keywords
pose
image
mechanical arm
template
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710363788.6A
Other languages
English (en)
Other versions
CN107300100A (zh
Inventor
赵昕玥
江智伟
何再兴
张树有
吴晨睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710363788.6A priority Critical patent/CN107300100B/zh
Publication of CN107300100A publication Critical patent/CN107300100A/zh
Application granted granted Critical
Publication of CN107300100B publication Critical patent/CN107300100B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法。本发明在预估位姿阶段通过匹配预先计算完毕的位姿层次树获得预估位姿，之后根据预估位姿和目标位姿自动规划出轨迹，在程序中在线生成若干张路径模板图像，引导机械臂按预设路径接近零件，最后在精确引导阶段利用基于图像的视觉伺服方法完成精确对准。本发明引导精度高，轨迹可控，避免了使用单一方法的不足，可满足实际工业应用的需求。

Description

一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法
技术领域
本发明涉及计算机视觉及工业自动化技术领域，具体涉及一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法。
背景技术
机械臂的精确引导一直以来都是工业自动化的一个重要组成部分，但目前很多工业流水线上的机器人只能完成重复单调的动作，在使用机械臂对随机摆放的零件进行接近并执行动作这一方面做得还不够充分，当零件相对于机械臂末端执行器的位姿不确定时，机械臂就无法完成一些精确的工作，因此研究一种可靠的机械臂精确引导逼近方法就显得尤为重要。
目前对于零件进行位姿识别并引导机械臂接近的方法主要分两大类：其一是通过视觉伺服的方法，计算当前图像(或位置)与目标图像(或位置)之间的误差，利用该误差信号作为反馈控制机械臂的运动，这种方法的优点在于控制的精度高，缺点在于运动过程中可能使零件脱离摄像机的视域范围丢失图像特征，致使机械臂无法收敛到期望目标状态；其二是直接通过当前图像与目标图像计算相对位姿，之后控制机械臂完成接近，这种方法的优点在于能够仅依靠起始位置的图像计算得到零件的位姿，将路径规划的部分交由机械臂控制器完成，缺点在于两张图像之间的差别不能太大、不能对路径进行规划，并且其控制方式为开环控制，无法对最后的精度做出保证。
针对目前方法的不足，本发明考虑结合使用这两种方法以避免各自的缺点，并利用双视图三维重建方法引导机械臂按设定路径运动。通过基于模板的位姿匹配定位大致位姿，之后在线生成路径上的零件虚拟图像引导机械臂按指定轨迹接近零件，最后利用视觉伺服方法完成精确引导。如此，既避免了单一使用视觉伺服方法可能使零件脱离摄像机的视域范围丢失图像特征，又避免了单一使用位姿估计方法精度不高的问题，同时使得轨迹可控，满足实际工业应用的需求。
发明内容
本发明为解决上述机械臂引导方法的不足，提出一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，
如图2所示，本发明的技术方案包括以下步骤：
方法实施前，机械臂末端安装摄像机，并进行手眼标定。
步骤1，离线准备阶段：建立被抓取零件的CAD模型，使用OpenGL图形程序接口读取该模型，使用虚拟摄像机对零件的CAD模型在不同位姿下拍摄生成一系列模板图像，对模板图像进行边缘检测提取获得模板边缘图像，然后对模板边缘图像进行聚类，构造位姿层次树；
步骤2，位姿预估阶段：将实际拍摄的实际边缘图像和位姿层次树中的模板边缘图像进行相似度计算，以相似度最高的模板边缘图像拍摄时对应的位姿作为预估位姿；
步骤3，接近阶段：以预估位姿设定机械臂的运动轨迹，在运动轨迹上生成多张路径模板图像，通过路径模板图像引导机械臂按运动轨迹接近被抓取零件；
步骤4，精确引导阶段：接近被抓取零件后，用机械臂末端的摄像机实时采集获得实际图像，根据被抓取零件的目标位姿实际图像和实际图像利用基于图像的视觉伺服方法进行最后精确引导，进行抓取或装配操作。
本发明融合了模板位姿估计方法(步骤1+2)、双视图三维重建方法(步骤3)和基于图像的视觉伺服方法(步骤4)进行机械臂视觉引导逼近。
所述步骤1中，OpenGL图形程序接口中的光源设置应与实际情况相同，使模板图像中的零件不同表面之间的灰度变化与机械臂摄像机拍摄到的实际零件不同表面之间的灰度变化相同。
所述步骤1和2中进行边缘检测提取具体是：对图像采用边缘Sobel算子进行卷积(即进行边缘检测)，得到边缘图像，并将边缘图像中低于阈值的像素点全部置0，避免捕捉到圆弧面上由多边形拟合出的错误边缘。
所述的步骤1中，对模板边缘图像进行聚类构造位姿层次树具体是：对模板边缘图像按相似度进行层次聚类，每完成一层的聚类，对模板图像进行向下采样，再次进行边缘检测及聚类，直至类别数达到设定数量，即完成了位姿姿态树的构造。具体包括：
1.1针对所有图像，相似计算每两个图像之间的相似度，将相互之间均相似的多张图像归为一类，从而进行分类；
1.2先对模板边缘图像采用步骤1.1进行处理获得第一层分类；
1.3再针对第一层分类后的每一类，取位姿位于中心的模板边缘图像作为该层该类的中心图像，接着将该层的所有中心图像采用步骤1.1进行处理
1.4获得下一层分类，再迭代重复步骤1.3直至类别数达到预设数量阈值，完成位姿姿态树构建。
从第一层到最高一层的图像大小作逐渐减小处理，使得能够快速完成层次聚类。
所述的步骤2具体为：用机械臂末端的摄像机实时采集获得实际图像，并进行边缘检测提取获得实际边缘图像，将实际边缘图像和位姿层次树中的模板边缘图像进行相似度计算，并使用终止条件加速相似度计算，获得相似度最高的模板边缘图像，以模板边缘图像拍摄时对应的位姿作为预估位姿。
未加特殊说明的情况下，所述位姿均为机械臂末端执行器与零件坐标系的相对位姿，包括位置和姿态。
所述的预估位姿目的是便于进行后续的路径规划，并非仅依靠该方法引导机械臂全程的运动。
更具体地：先将实际边缘图像与位姿层次树中最高层的模板边缘图像进行相似度计算，再根据最高层相似度结果将实际边缘图像与位姿层次树中第二高层中包含最高层匹配成功的模板图像的那一类中的模板边缘图像进行相似度计算，以此类推直到与第一层的模板边缘图像进行相似度计算后，以相似度最高的模板边缘图像拍摄时对应的位姿作为预估位姿。
所述的相似度采用以下公式计算：
其中，为一图像中的任意一点p处的梯度向量，为另一图像中点p’处的梯度向量，点p与点p’在各自图像中的坐标相同，n为图像中的所有像素点的总数，i代表计算的是第i对点，s为两张图像之间的相似度；
若相似度大于相似阈值Tm，则认为两张图像相似；否则不相似；
并且在相似度值计算过程中，为了加快模板边缘图像与实际边缘图像之间相似度计算的速度，第k对点时的相似度值sk满足条件时，则立即终止计算，认为两张图像不相似，以加速整体的计算速度。
第k对点时的相似度值sk采用以下公式计算：
若此时即便之后所有点对的两个边缘向量的内积均为1，最终的相似度s也将小于Tm。因此在满足条件时，则认为两张图像不相似，以终止计算、加速整体的计算速度。
所述的步骤3具体为：以预估位姿和目标位姿之间的连接直线作为机械臂的运动轨迹，在运动轨迹上设置多个位置点，用虚拟摄像机沿轨迹运动在每个位置点生成零件的路径模板图像，利用路径模板图像控制机械臂进行逐位置点移动；在每次需要移动到下一个位置点时，将实际图像与下一个位姿的路径模板图像进行特征点匹配，计算两张图像之间的本质矩阵，进而计算旋转和平移向量来移动机械臂，如此逐位置点移动直至机械臂末端到达目标位姿。
所述的步骤3包括：以预估位姿和目标位姿的位置之间的连接直线作为机械臂的运动轨迹，在连接直线上均匀取n个位置点，在预估位姿和目标位姿的姿态(朝向方向)之间插入n个姿态(这里的每个姿态，其视线方向均为由当前位置点指向零件坐标系原点，其上方方向可以在始末两个姿态的上方方向之间均匀插值得到)，n个姿态分别作为n个位置点的姿态，用虚拟摄像机在每个位置点以对应的位姿拍摄获得n张路径模板图像；
在每次需要移动到下一个位置点时，提取当前位置位姿下的实际图像和下一位置位姿下的路径模板图像的特征点，根据特征点对两幅图像的特征点进行匹配得到匹配点对，用匹配点对采用求解计算获得本质矩阵E，然后对本质矩阵E进行奇异值分解得到旋转矩阵R和平移向量t，使机械臂末端按照旋转矩阵R进行旋转并按照平移向量t进行平移。
本发明仅在机械臂末端执行器接近零件之后使用基于图像的视觉伺服方法，并非在机械臂全程的运动使用。
本发明的有益效果是：
1)本发明结合使用基于模板的位姿估计、基于双视图的三维重建方法及基于图像的视觉伺服以对零件进行视觉引导逼近，避免了单一使用视觉伺服方法可能使零件脱离摄像机的视域范围丢失图像特征，又避免了单一使用位姿估计方法精度不高的问题，同时使得轨迹可控。
2)本发明通过CAD模型生成模板图像和路径模板图像进行位姿估计与路径引导。
通过使用CAD模型生成模板图像和路径模板图像，避免实际操作中需要拍摄大量模板图像的问题，简化了工作的流程，并且提高了模板图像的精度。
通过单目图像信息与CAD模型生成的模板图像进行相似度计算可以获得预估位姿信息，在机械臂接近零件的过程中，位姿的误差随着距离的缩短而减小，能够更精确地完成引导任务。
3)本发明仅通过单目视觉信息并结合已知模型的CAD信息就能完成视觉引导逼近。本发明引导精度高，轨迹可控，避免了单一使用视觉伺服方法可能使零件脱离摄像机的视域范围丢失图像特征和单一使用位姿估计方法精度不高的问题，同时使得轨迹可控，可满足实际工业应用的需求。
附图说明
图1为本发明实施例的机器人组件设备示意图；
图2为本发明方法流程图；
图3为实施例四种可能的摄像机相对位姿示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
图1显示了能够使用本发明的实施方式的机器人组件设备。系统包括六轴机械臂1，单目摄像机2及末端执行器3，需要抓取的零件为4。其中单目摄像机2固连在末端执行器3上。
方法实施前，对机械臂末端安装的摄像机使用棋盘格标定板通过TSAI-LENZ方法进行手眼标定。
第一步离线准备。建立被抓取零件的三维CAD模型。为了获得三维CAD模型的二维图像，本发明优选地使用OpenGL读取该模型，但不限于该图形程序接口，可以使用诸如DirectX等其他的图形程序接口。视线方向对准零件坐标系原点，保证零件处于图像中心，均匀改变视点位置(3个参数)及绕视线旋转角度(1个参数)共4个参数的值，保存在这些位姿下所获得的零件二维图像,即模板图像。采用Sobel算子对模板图像进行卷积(即进行边缘检测)，获得模板图像在水平方向及竖直方向的梯度值，也即提取出了边缘。由于在OpenGL中的零件表面是由面片组成的，因此如圆弧之类的表面也是由许多面片来近似的，所以圆弧表面相邻面片之间的灰度值会略有不同，这就会被边缘算子所捕捉到。因此之后需要对获得的梯度值进行阈值处理，将低于阈值的梯度全部置0，因为圆弧面上相邻面片的灰度值相差不大，所以经过卷积得到的值也很小，阈值处理就可以将圆弧面上的错误边缘除去，经过处理后的该图像称为模板边缘图像。
为加速单目摄像机2拍摄到的实际图像提取边缘后的实际边缘图像与模板边缘图像的匹配过程，需要对模板边缘图像构造位姿层次树，减少搜索的时间。位姿层次树构造方法如下：首先任取一张模板边缘图像，计算位姿相邻的另一张模板边缘图像与其的相似度，若该相似度大于相似阈值Tm，则将其归为一类。
计算与该类中的模板的位姿相邻(还没有被划入其他类)的另一个模板边缘图像与类内所有图像的相似度，若所有相似度均大于Tm，则将其加入该类；如此往复，直至与该类中的模版的位姿相邻的模板边缘图像均不能满足前述的条件。然后再任取一个还未被分类的模板边缘图像，重复上述过程，直至所有位姿的模板边缘图像均被分类完毕，完成第一层的分类。
将处于每一类中心位置的模板边缘图像和模板图像作为该类的模板边缘图像和模板图像。随后将每一类的模板图像进行向下采样(图像大小缩小为原先的四分之一)，获得第二层的模板图像，之后提取边缘获得第二层的模板边缘图像，以同样的方式对第二层的模板边缘图像进行分类。如此往复，直至某层的类别数量减小至设定的阈值。
第二步位姿预估阶段。获取机械臂起始位置处拍摄到的实际图像，对实际图像进行若干次向下采样操作(该操作次数取决于之前生成的位姿层次树的层数)，对这些图像进行边缘提取，获得若干实际边缘图像，将这些实际边缘图像与位姿层次树内的模板边缘图像进行相似度计算，从上层至下层逐步搜索。例如：预先构造完毕的位姿层次树有2层，第一层有30张模板边缘图像(100*100大小)(共分为5类，每类6张模板)，第二层有5张模板边缘图像(50*50大小)。则对实际图像(100*100大小)首先进行1次向下采样，得到50*50的图像，再对这两张图像提取边缘。首先使用50*50的实际边缘图像与第二层的5张模板边缘图像计算相似度，假设与第一张匹配，则之后再使用100*100的实际边缘图像与第一层中包含第二层第一张模板边缘图像的那一类中的图像计算相似度，假设与第三张图像匹配，则返回该图像所对应的位姿信息作为预估位姿。
第三步接近阶段。
首先按照路径最短的条件规划出轨迹：在第二步中估计出的与零件的相对位置与预设的最终的与零件之间的相对位置之间沿直线均匀取n个位置点；
在第二步中估计出的与零件的相对姿态与预设的最终的与零件之间的相对姿态之间插入n个姿态(这里的每个姿态，其视线方向均为由当前位置点指向零件坐标系原点，其上方方向可以在始末两个姿态的上方方向之间均匀插值得到)，分别作为之前n个位置点的姿态，这样就获得了n个相对零件的位姿，在计算机中将虚拟摄像机的位姿设定为这n个位姿，就获得了n张路径模板图像。
利用基于尺度不变、旋转不变的特征提取算法，提取当前位姿下摄像机实际图像和第1张路径模板图像中的特征点，根据特征点的描述信息对这两幅图像的特征点进行匹配，得到若干对匹配点对。
为了提高最后的计算得到的本质矩阵E的精度，可使用RANSAC方法进行优化。本发明使用OpenCV自带的findEssentialMat()函数进行本质矩阵E的求解，findEssentialMat()函数中使用RANSAC方法进行优化求解过程。
在得到本质矩阵E之后，对它进行奇异值分解得到两个旋转矩阵R和两个平移向量t，由此可以组合出4种情况，如图3所示。图中，A和B分别代表摄像机的两个位置，“T”字型符号的横线代表成像平面，竖线代表摄像机的光轴方向，竖线的下端点代表摄像机的光心位置。可以发现，除了(a)以外，物体均会出现在某个(或两个)摄像机的后方，据此，可以排除三种错误的情况，获得唯一的R和t的解。在本发明中通过调用OpenCV中的recoverPose()函数得到正确的R和t。
之后使机械臂末端按照矩阵R进行旋转并按照向量t进行平移，即可运动至第1张路径模板图像拍摄时所处的相对位姿。之后再读取第2张路径模板图像，进行类似的动作，如此往复，直至接近阶段完成。
第四步精确引导阶段。将最终位姿时刻机械臂末端摄像机拍摄到的实际图像作为目标图像(手动获得第一个零件的目标图像，由于机械臂接近的对象是若干相同的零件，所以该图像可以用于之后零件的引导，因为机械臂末端执行器在执行动作时相对于每个零件的相对位姿都是相同的)，利用基于图像的视觉伺服方法完成最后的精确引导，并执行动作。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其中机械臂末端安装摄像机，并进行手眼标定，其特征在于：
步骤1，离线准备阶段：建立被抓取零件的CAD模型，使用虚拟摄像机对零件的CAD模型在不同位姿下拍摄生成一系列模板图像，对模板图像进行边缘检测提取获得模板边缘图像，然后对模板边缘图像进行聚类，构造位姿层次树；
步骤2，位姿预估阶段：将实际拍摄的实际边缘图像和位姿层次树中的模板边缘图像进行相似度计算，以相似度最高的模板边缘图像拍摄时对应的位姿作为预估位姿；
步骤3，接近阶段：以预估位姿设定机械臂的运动轨迹，在运动轨迹上生成多张路径模板图像，通过路径模板图像引导机械臂按设定的运动轨迹接近被抓取零件；
步骤4，精确引导阶段：接近被抓取零件后，用机械臂末端的摄像机实时采集获得实际图像，根据被抓取零件的目标位姿实际图像和实际图像利用基于图像的视觉伺服方法进行最后精确引导，进行抓取或装配操作。
2.根据权利要求1所述的一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其特征在于：所述的步骤1中，对模板边缘图像进行聚类构造位姿层次树具体是：
1.1针对所有图像，计算每两个图像之间的相似度，将相互之间均相似的多张图像归为一类，从而进行分类；
1.2先对模板边缘图像采用步骤1.1进行处理获得第一层分类；
1.3再针对第一层分类后的每一类，取位姿位于中心的模板边缘图像作为该层该类的中心图像，接着将该层的所有中心图像采用步骤1.1进行处理
1.4获得下一层分类，再迭代重复步骤1.3直至类别数达到预设数量阈值，完成位姿层次树构建。
3.根据权利要求1所述的一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其特征在于：所述的步骤2具体为：用机械臂末端的摄像机实时采集获得实际图像，并进行边缘检测提取获得实际边缘图像，将实际边缘图像和位姿层次树中的模板边缘图像进行相似度计算，并使用终止条件加速相似度计算，获得相似度最高的模板边缘图像，以模板边缘图像拍摄时对应的位姿作为预估位姿。
4.根据权利要求3所述的一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其特征在于：所述步骤2将实际边缘图像和位姿层次树中的模板边缘图像进行相似度计算，并使用终止条件加速相似度计算，具体为：先将实际边缘图像与位姿层次树中最高层的模板边缘图像进行相似度计算，再根据最高层相似度结果将实际边缘图像与位姿层次树中第二高层的模板边缘图像进行相似度计算，以此类推直到与第一层的模板边缘图像进行相似度计算后，以相似度最高的模板边缘图像拍摄时对应的位姿作为预估位姿。
5.根据权利要求1-4任一所述的一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其特征在于：所述的相似度采用以下公式计算：
其中，为一图像中的任意一点p处的梯度向量，为另一图像中点p’处的梯度向量，点p与点p’在各自图像中的坐标相同，n为图像中的所有像素点的总数，i代表计算的是第i对点，s为两张图像之间的相似度；
若相似度大于相似阈值Tm，则认为两张图像相似；否则不相似；
并且在相似度值计算过程中，第k对点时的相似度值sk满足条件时，则立即终止计算，认为两张图像不相似，以加速整体的计算速度。
6.根据权利要求1所述的一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其特征在于：所述的步骤3具体为：以预估位姿和目标位姿之间的连接直线作为机械臂的运动轨迹，在运动轨迹上设置多个位置点，用虚拟摄像机沿轨迹运动在每个位置点生成零件的路径模板图像，利用路径模板图像控制机械臂进行逐位置点移动；在每次需要移动到下一个位置点时，将实际图像与下一个位姿的路径模板图像进行特征点匹配，计算两张图像之间的本质矩阵，进而计算旋转和平移向量来移动机械臂，如此逐位置点移动直至机械臂末端到达目标位姿。
7.根据权利要求1所述的一种在线CAD模型驱动的级联式机械臂视觉引导逼近方法，其特征在于：所述的步骤3包括：
以预估位姿和目标位姿的位置之间的连接直线作为机械臂的运动轨迹，在连接直线上均匀取n个位置点，在预估位姿和目标位姿的姿态之间插入n个姿态，n个姿态分别作为n个位置点的姿态，用虚拟摄像机在每个位置点以对应的位姿拍摄获得n张路径模板图像；
在每次需要移动到下一个位置点时，提取当前位置位姿下的实际图像和下一位置位姿下的路径模板图像的特征点，根据特征点对两幅图像的特征点进行匹配得到匹配点对，用匹配点对采用求解计算获得本质矩阵E，然后对本质矩阵E进行奇异值分解得到旋转矩阵和平移向量，使机械臂末端按照旋转矩阵进行旋转并按照平移向量进行平移。
CN201710363788.6A 2017-05-22 2017-05-22 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法 Expired - Fee Related CN107300100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710363788.6A CN107300100B (zh) 2017-05-22 2017-05-22 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710363788.6A CN107300100B (zh) 2017-05-22 2017-05-22 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法

Publications (2)

Publication Number Publication Date
CN107300100A CN107300100A (zh) 2017-10-27
CN107300100B true CN107300100B (zh) 2019-05-14

Family

ID=60137606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710363788.6A Expired - Fee Related CN107300100B (zh) 2017-05-22 2017-05-22 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法

Country Status (1)

Country Link
CN (1) CN107300100B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6685052B2 (ja) * 2018-08-30 2020-04-22 リバーフィールド株式会社 推定装置、推定方法およびプログラム
CN109531566B (zh) * 2018-11-16 2022-08-19 国网江苏省电力有限公司盐城供电分公司 一种基于虚拟现实系统的机器人带电作业控制方法
CN109887030A (zh) * 2019-01-23 2019-06-14 浙江大学 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN113551661A (zh) * 2020-04-23 2021-10-26 曰轮法寺 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN113093356B (zh) * 2021-03-18 2022-08-12 北京空间机电研究所 一种基于机械臂的大型分块光学组件装配方法
CN113892848B (zh) * 2021-10-08 2022-10-14 杭州景吾智能科技有限公司 可翻转物体的翻转跟随轨迹规划方法、装置及系统
CN113822946B (zh) * 2021-10-09 2023-10-20 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN117464686A (zh) * 2023-11-30 2024-01-30 广州富唯智能科技有限公司 一种3d视觉高精度定位引导方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE452379T1 (de) * 2007-10-11 2010-01-15 Mvtec Software Gmbh System und verfahren zur 3d-objekterkennung
US8306314B2 (en) * 2009-12-28 2012-11-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of objects
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN104408408A (zh) * 2014-11-10 2015-03-11 杭州保迪自动化设备有限公司 基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置
CN104626206B (zh) * 2014-12-17 2016-04-20 西南科技大学 一种非结构环境下机器人作业的位姿信息测量方法
CN104596502B (zh) * 2015-01-23 2017-05-17 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN104915957B (zh) * 2015-05-29 2017-10-27 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN105096341B (zh) * 2015-07-27 2018-04-17 浙江大学 基于三焦张量和关键帧策略的移动机器人位姿估计方法

Also Published As

Publication number Publication date
CN107300100A (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN107300100B (zh) 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN109886124B (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
JP2011085971A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム
JP2017532695A (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
CN108876852A (zh) 一种基于3d视觉的在线实时物体识别定位方法
Gratal et al. Virtual visual servoing for real-time robot pose estimation
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
Lehnert et al. 3d move to see: Multi-perspective visual servoing for improving object views with semantic segmentation
Chen et al. Progresslabeller: Visual data stream annotation for training object-centric 3d perception
Chen et al. Stereo-based 3D localization for grasping known objects with a robotic arm system
Lopez-Nicolas et al. Homography-based visual control of nonholonomic vehicles
Yang et al. Fast programming of peg-in-hole actions by human demonstration
Zhang et al. Vision-based six-dimensional peg-in-hole for practical connector insertion
JP2020527270A (ja) オブジェクト姿勢を決定するための電子デバイス、システムおよび方法
Sumi et al. Recognition of 3D free-form objects using segment-based stereo vision
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
Gans et al. Visual servoing to an arbitrary pose with respect to an object given a single known length
CN116206189A (zh) 一种曲面图形标识码及其识别方法
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
Walck et al. Automatic observation for 3d reconstruction of unknown objects using visual servoing
JP2011174891A (ja) 位置姿勢計測装置、位置姿勢計測方法、及びプログラム
Wang et al. Robot grasping in dense clutter via view-based experience transfer
CN112589795B (zh) 一种基于不确定性多帧融合的真空吸盘机械臂抓取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190514

Termination date: 20200522

CF01 Termination of patent right due to non-payment of annual fee