CN113500593B - 一种抓取轴类工件指定部位进行上料的方法 - Google Patents

一种抓取轴类工件指定部位进行上料的方法 Download PDF

Info

Publication number
CN113500593B
CN113500593B CN202110713859.7A CN202110713859A CN113500593B CN 113500593 B CN113500593 B CN 113500593B CN 202110713859 A CN202110713859 A CN 202110713859A CN 113500593 B CN113500593 B CN 113500593B
Authority
CN
China
Prior art keywords
picture
point
workpiece
shaft
shaft workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110713859.7A
Other languages
English (en)
Other versions
CN113500593A (zh
Inventor
韩雪松
余江宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110713859.7A priority Critical patent/CN113500593B/zh
Publication of CN113500593A publication Critical patent/CN113500593A/zh
Application granted granted Critical
Publication of CN113500593B publication Critical patent/CN113500593B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q7/00—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting
    • B23Q7/04—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting by means of grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种抓取轴类工件指定部位进行上料的方法,通过识别料箱四角处的特定颜色矩形贴纸，获得料箱中心三维坐标以及轴类工件所在区域；在该区域中选择一个工件轮廓进行描粗，并根据粗轮廓的外边缘获得工件的质心和轴线；将相机拍摄的左图旋转至轴线水平，并获得该工件此时的最小外接矩形，将其与预先保存的模板图片建立联系，从而实现由模板图片中标注的待夹取点和卡盘夹持点，获得左图中工件对应点的三维坐标；机械臂上的末端执行器夹取工件待夹取点，并送入机床卡盘，工件在卡盘夹持点被夹紧。本发明可指定夹取部位，适用于各种轴类工件，实用性强。

Description

一种抓取轴类工件指定部位进行上料的方法
技术领域
本发明涉及自动上料的方法，尤其涉及一种使用机器视觉进行定位并用六自由度串联机械臂抓取轴类零件进行上料的方法。
背景技术
在自动化上下料领域，往往需要设计复杂的机构来保证运动的轨迹以及精确的位置。这些设备往往只能适应一小类或几种类似的工件，缺乏通用性。另一方面，随着多自由度机械臂的发展，机械臂的定位精度和重复定位精度有了较大的提升。在计算工件的位置时，往往会采用相机作为传感器。通过合适算法，相机能够得到工件的位姿，且精度能满足大部分上下料的需求。
轴类零件是工件中的一大类，主要在车床上加工。目前已经有了不少针对轴类工件的上下料设备。其中不少设备是将机器视觉和机械臂结合，从而进行抓取作业。例如中国专利CN209036140U中公开了一种用于车床的机器人自动上下料装置，该装置可以利用机械臂对工件进行抓取，但被夹取测试物必须被放于平台指定区域内，采用模板匹配仅确定工件的重心位置用于抓取。在一篇上下料论文中(论文参见吴高德,陈俊华,詹建民,马剑强,刘年福,周甫.单目视觉在棒料全自动上下料系统中的应用[J].传感器与微系统,2017,36(1):157-160.)，描述了识别棒料位姿并抓取的一种方法，但针对对象仅是光轴，且抓取点仍为中心点。目前抓取设备大部分只是抓取质心或几何中心，难以指定轴的抓取的位置。在实际生产加工中，轴类零件的成型往往需要多道工序，不同工序中三爪卡盘需要夹紧轴不同的位置，这就对上料的灵活性产生了要求。
对轴类工件进行上料时，涉及到轴线的求取。中国专利CN108335332A中公开了一种测量轴线三维姿态的方法。该方法采用最小旋转外接矩形逼近左右图像中匹配到的轴轮廓。有一篇会议论文(丁宁,路士州,许超,王延刚,毛维顺,刘鑫.基于单目机器视觉的阶梯轴零件分类与定位[A].中国高科技产业化研究会智能信息处理产业化分会.第十四届全国信号和智能信息处理与应用学术会议论文集[C].中国高科技产业化研究会智能信息处理产业化分会:《计算机工程与应用》编辑部,2021:5.)采用最小外接矩形求取平面上轴线的角度。通过最小外接矩形来求得轴线的方法，要求与矩形接触处的轮廓是清晰的。而实际上由于光源存在倾斜，轴的轮廓边缘有黑影或反光，这会导致该方法获取的轴线角度不准确。
发明内容
本发明的目的在于克服已有技术的缺点，提供一种能自动识别料框且能指定轴类工件待抓取部位和卡盘夹持部位的自动上料的方法。
本发明一种抓取轴类工件指定部位进行上料的方法，包括以下步骤：
步骤一、连接设备并在敞口料箱边框顶部的四个角处粘贴特定颜色的矩形贴纸；
所述的敞口料箱为无顶的矩形体，料箱内平放若干个无重叠轴类零件，轴类工件所在区域为料箱内容纳轴类零件的矩形区域；
所述的连接设备过程为：将末端执行器安装在机械臂末端上，并将末端执行器的控制线连接至机械臂外部的视觉控制器上，视觉控制器与机械臂的控制系统连接，所述的机械臂为六自由度串联机械臂，所述的末端执行器包括固定在机械臂末端的末端执行器支架，在所述的末端执行器支架上左右平行间隔设置有两个工业相机，在所述的末端执行器支架底部安装有两个舵机，在每一个所述的舵机底部输出轴安装有一个夹臂，两个夹臂左右平行间隔设置，在所述的两个夹臂相对的内侧的下部分别设置有用于夹紧轴类工件的凹槽，在所述的视觉控制器内保存有待抓取上料的轴类工件模板图片，所述的待抓取上料的轴类工件模板图片是将一个待抓取上料的轴类工件以轴线水平的方式放置拍摄的模板图片，并在模板图片上用绿色圆和蓝色圆分别标注工件待夹取点和卡盘夹持点，轴类工件模板图片大小与图片中轴类工件的最小外接矩形相等，待抓取上料的轴类工件模板图片中工件的轴线与模板图片默认的图片坐标系的x轴平行；
步骤二、在视觉控制器中从左侧相机拍摄的敞口料箱的俯视图片中分割出敞口料箱中轴类工件所在区域，具体步骤为：
第一步，启动机械臂，将两个工业相机移动到敞口料箱的上方，两个工业相机将各自拍摄得到的敞口料箱的俯视图片传输给视觉控制器，视觉控制器采用张正友标定法将左右相机的俯视图片合成三维点云图，所述的三维点云图包含左侧俯视图片中每一个像素点在默认的相机坐标系下的三维坐标，根据左侧俯视图片像素点的像素坐标可以查找三维点云图对应像素点在默认相机坐标系下的三维坐标；
第二步，通过视觉控制器在左侧俯视图片中找到四个特定颜色的矩形贴纸，将每个矩形贴纸各自的中心视为一个点，根据这四个点构建一个新矩形RCL，新矩形RCL的中心点PCL的像素坐标即为敞口料箱中心点PCL在左侧俯视图片中的像素坐标，查找三维点云图中与料箱中心点PCL对应的像素点的三维坐标，得到料箱中心点PCL在相机坐标系下的三维坐标，然后视觉控制器向机械臂的控制系统输出料箱中心点PCL的三维坐标，控制系统将相机坐标系下料箱中心点PCL的三维坐标转换为机械臂工具坐标系下的料箱中心点坐标或者在视觉控制器中利用手眼标定得到的变换矩阵，将相机坐标系下料箱中心点PCL的三维坐标转换为机器人坐标系下的料箱中心点坐标，再传输给控制系统，控制系统控制机械臂带动工业相机运动至料箱中心点PCL上方；
第三步，在左侧俯视图片中，在四个特定颜色矩形贴纸的16个角点中，以离料箱中心点PCL最近的4个角点为新角点，构建矩形RCC，在左侧俯视图片中分割出矩形RCC区域，作为轴类工件所在区域；
步骤三、在轴类工件所在区域，先识别出各个轴类工件的粗轮廓Lc，将各个轴类工件的粗轮廓Lc的外边缘作为轴类工件的外轮廓Lw，具体步骤如下：
在视觉控制器中采用Python程序调用Canny算法，在轴类工件所在区域进行轴类工件的外轮廓识别，分别得到所有轴类工件的外轮廓；然后对所有轴类工件的外轮廓进行着色和描粗处理，从而将可能存在的轮廓断点消除，形成一个完整的粗轮廓Lc；最后选择一个待抓取上料的轴类工件，将该待抓取上料的轴类工件的粗轮廓Lc的外边缘作为轴类工件的外轮廓Lw；
步骤四、在视觉控制器中使用Python程序，利用轮廓矩的原理，计算选定的待抓取上料的轴类工件的外轮廓Lw在当前左侧俯视图片中的质心Pc位置；然后拟合出外轮廓Lw的轴线，并计算外轮廓轴线在左侧俯视图片坐标系下与x轴的夹角θi；
步骤五、根据视觉控制器内保存的待抓取上料的轴类工件模板，获得轴类工件模板图片中轴类工件最小的外接矩形图片，记为Rm；然后通过将左侧俯视图片旋转θi并进行相关度计算，在左侧俯视图片中获得与轴类工件模板中轴类工件最小外接矩形图片Rm恰好匹配的待抓取的轴类工件最小外接矩形图片，记为Rcm；
步骤六、根据轴类模板图片中轴类工件待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图中待夹取的轴类工件的待夹取点和卡盘夹持点像素坐标；然后，结合步骤二求得的三维点云图以及步骤四求得的质心Pc的像素坐标，找到三维点云图中与待夹取点、卡盘夹持点、质心Pc对应的像素点的三维坐标，得到轴类工件待夹取点、轴类工件卡盘夹持点、轴类工件质心Pc在相机坐标系下的三维坐标；
步骤七、视觉控制器向机械臂的控制系统发送信号，控制系统将相机坐标系下轴类工件待夹取点、卡盘夹持点、工件质心Pc在相机坐标系下的三维坐标，转换为机械臂工具坐标系下的三维坐标或者在视觉控制器中利用手眼标定得到的变换矩阵，将相机坐标系下的三维坐标转换为机器人坐标系下的三维坐标，再传输给控制系统；然后，控制系统控制机械臂末端先运动至轴类工件质心Pc的正上方，同时控制机械臂的第六个旋转关节绕着垂直方向旋转θi+90°；接着机械臂带动末端执行器运动至轴类工件待夹取点正上方，两个舵机进行相对旋转，带动夹臂绕舵机的输出轴旋转，使得两个夹臂的凹槽处夹紧轴类工件，从而抓取轴类工件；
步骤八、视觉控制器根据三爪卡盘中心点、轴类工件被夹取点以及卡盘夹持点各自在机器人坐标系下的三维坐标，计算出机械臂末端在三爪卡盘附近的送料位置点在机器人坐标系下的三维坐标，并将坐标输出给控制系统，然后控制系统控制机械臂运动至送料位置点，轴类工件被送入三爪卡盘后，机械臂控制系统发送信号给机床，卡盘自动夹紧，待卡盘夹紧后，夹臂松开工件；
步骤九、机械臂重新运动至料箱中心点PCL上方，按照步骤三选择一个待上料的轴类工件，然后重复步骤四至步骤九，直至轴类工件所在区域内无工件，视觉控制器在显示屏上显示提醒，并向机械臂控制系统发出待机信号，机械臂待机。
与现有技术相比，本发明具有以下有益效果：
实用性强：在多工序加工阶梯轴等轴类零件中，需要对不同的圆柱面进行车削等加工，这就要求夹具紧轴类零件的不同圆柱面，让待加工的圆柱面出现在夹具外，对于精加工过的圆柱面，应当减少抓取和碰触。不同工序有不同的抓取要求。本发明可满足上料时，将轴类零件的指定圆柱面、圆柱端送入夹具，同时让轴类零件在指定的部位被夹具夹紧，避免损伤精加工面，更贴近实际的生产实践。另外，本发明利用轴类轮廓的对称性，来求取轴类工件的轴线，而非最小外接矩形，获取轴线更加稳定可靠；
适用性广：本发明是利用视觉进行轮廓识别，用末端夹臂进行抓取，可适应光轴、阶梯轴等各类尺寸合适的轴孔类零件；
灵活性高：本发明利用图像特征进行料箱定位，利用机器视觉确定轴类工件的位姿。因此，对料箱和工件的位置约束少。料箱位置可以在相机视野范围内任意变动，轴类零件可以任意角度平放。
附图说明
图1是末端执行器与机械臂安装示意图。
图2是末端执行器组成图。
图3是视觉控制器示意图。
图4是根据轮廓计算轴线角度的程序流程图。
图5是根据步骤二中的识别工件所在区域的流程图。
具体实施方式
以下结合附图和具体实施例对本发明加以详细说明。
如附图所示，本发明的一种抓取轴类工件指定部位进行上料的方法，包括以下步骤：
步骤一、连接设备并在敞口料箱4边框顶部的四个角处粘贴特定颜色的矩形贴纸11；
所述的敞口料箱4为无顶的矩形体，料箱内平放若干个无重叠轴类零件。轴类工件所在区域为料箱4内容纳轴类零件的矩形区域，即：敞口料箱4除去边框后的矩形区域。
所述的连接设备过程为：将末端执行器2安装在机械臂1末端上，并将末端执行器2的控制线连接至机械臂外部的视觉控制器9上。视觉控制器9与机械臂1的控制系统3连接，可以传递信息。所述的机械臂1为六自由度串联机械臂，所述的六自由度串联机械臂采用现有结构即可，如：可以采用湖南博创有限公司研制的型号为LT1850-D-6的通用串联六自由度机械臂，所述的末端执行器2包括固定在机械臂1末端的末端执行器支架6，在所述的末端执行器支架6上左右平行间隔设置有两个工业相机5，在所述的末端执行器支架6底部安装有两个舵机7，所述的舵机7为可以控制旋转角度的电机，采用现有结构即可，如：可以采用达盛舵机DS3218，在每一个所述的舵机7底部输出轴安装有一个夹臂8。两个夹臂8左右平行间隔设置，在所述的两个夹臂8相对的内侧的下部分别设置有用于夹紧轴类工件的凹槽，所述的视觉控制器9可采用树莓派4B等可运行Python的硬件系统，在所述的视觉控制器9上有显示屏10显示提示信息。在所述的视觉控制器9内保存有待抓取上料的轴类工件模板图片，所述的待抓取上料的轴类工件模板图片是将一个待抓取上料的轴类工件以轴线水平的方式放置拍摄的模板图片，并在模板图片上用绿色圆和蓝色圆分别标注工件待夹取点和卡盘夹持点。轴类工件模板图片大小与图片中轴类工件的最小外接矩形相等。待抓取上料的轴类工件模板图片中工件的轴线与模板图片默认的图片坐标系的x轴平行。所述的图片坐标系是以待抓取上料的轴类工件模板图片的左上角为原点，水平向右为x轴，竖直向下为y轴。所述的待抓取上料的轴类工件模板图由待上料的轴类工件决定，不同种类的轴类工件在上料前，需将对应种类的工件模板保存在视觉控制器9内。
本方法中的图片坐标系均是以每个图片各自的左上角为原点，水平向右为x轴，竖直向下为y轴。
步骤二、在视觉控制器9中从左侧相机拍摄的敞口料箱4的俯视图片中分割出敞口料箱4中轴类工件所在区域，流程如图5所示，具体步骤为：
第一步，启动机械臂1，将两个工业相机5移动到敞口料箱4的上方，两个工业相机5将各自拍摄得到的敞口料箱4的俯视图片(包含敞口料箱4边框顶部和敞口料箱4内部放置的轴类工件)传输给视觉控制器9。视觉控制器9采用张正友标定法(张正友标定法参见Zhang,Zhengyou.A Flexible New Technique for Camera Calibration.[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2000.；张正友.一种灵活的摄像机标定新技术[J].IEEE模式分析与机器智能学报,2000.)将左右相机的俯视图片合成三维点云图，所述的三维点云图包含左侧俯视图片中每一个像素点在默认的相机坐标系下的三维坐标，根据左侧俯视图片像素点的像素坐标可以查找三维点云图对应像素点在默认相机坐标系下的三维坐标。所述的默认相机坐标系以左相机的相机透镜几何中心为原点，左相机的相机透镜几何中心到右相机的的相机透镜几何中心连线为x轴正方向，垂直于左右相机的相机透镜几何中心连线竖直向下为y轴正方向，以左相机沿光轴向外为z轴正方向。
第二步，通过视觉控制器9在左侧俯视图片中找到四个特定颜色的矩形贴纸11，将每个矩形贴纸各自的中心视为一个点，根据这四个点构建一个新矩形RCL。由于特定颜色矩形贴纸放置在敞口料箱4四个角处，因此新矩形RCL的中心点PCL的像素坐标即为敞口料箱4中心点PCL在左侧俯视图片中的像素坐标。查找三维点云图中与料箱中心点PCL对应的像素点的三维坐标，得到料箱中心点PCL在相机坐标系下的三维坐标。然后视觉控制器9向机械臂1的控制系统3输出料箱中心点PCL的三维坐标，控制系统3将相机坐标系下料箱中心点PCL的三维坐标转换为机械臂工具坐标系下的料箱中心点坐标或者在视觉控制器中利用手眼标定得到的变换矩阵(所述的手眼标定参见Tsai R Y,Lenz R K.A new technique forfully autonomous and efficient 3D robotics hand/eye calibration[J].IEEETransactions on Robotics&Automation,1989,5(3):345-358.；Tsai R Y,Lenz R K.一种全自主高效三维机器人手眼标定新技术[J].IEEE机器人技术与自动化学报,1989,5(3):345-358.)，将相机坐标系下料箱中心点PCL的三维坐标转换为机器人坐标系下的料箱中心点坐标，再传输给控制系统3。控制系统控制机械臂1带动工业相机4运动至料箱中心点PCL上方(由于料箱可能会被人为移动，料箱有可能整体偏右或者偏左。为了最后拍摄的图片有一个良好的视野(即料箱居中)，通过算出料箱中心点PCL，可将工业相机4移动到料箱中心点PCL正上方)。
本步骤中寻找特定颜色的矩形贴纸11的过程如下：
步骤101，将左相机拍摄的左侧俯视图片，在视觉控制器9的Python程序中由RBG颜色空间图转换为HSV颜色空间图(HSV颜色空间转换参见Smith A R.Color gamutstransform pairs[J].ACM-SIGGRAPH 78Conf.Proc,1978.；Smith A R.色域变换对[J].第78届ACM-SIGGRAPH会议,1978.)。
步骤102，在HSV颜色空间图中，判断像素点的HSV值是否在预先设定的HSV阈值内。将符合HSV阈值的像素块图像转换成黑白掩膜，并寻找黑白掩膜图像中的轮廓。然后计算找到的轮廓与标准矩形轮廓的误差值，如果误差值小于预设值，则视为找到了符合要求的矩形。当仅找到四个符合要求的矩形后，则认为找到了四个特定颜色的矩形贴纸。
第三步，在左侧俯视图片中，在四个特定颜色矩形贴纸的16个角点中，以离料箱中心点PCL最近的4个角点为新角点，构建矩形RCC，在左侧俯视图片中分割出矩形RCC区域，作为轴类工件所在区域。
步骤三、在轴类工件所在区域，先识别出各个轴类工件的粗轮廓Lc，将各个轴类工件的粗轮廓Lc的外边缘作为轴类工件的外轮廓Lw，具体步骤如下：
在视觉控制器9中采用Python程序调用Canny算法，在轴类工件所在区域进行轴类工件的外轮廓识别，分别得到所有轴类工件的外轮廓。然后对所有轴类工件的外轮廓进行着色和描粗处理，从而将可能存在的轮廓断点消除，形成一个完整的粗轮廓Lc。最后选择一个待抓取上料的轴类工件，将该待抓取上料的轴类工件的粗轮廓Lc的外边缘作为轴类工件的外轮廓Lw。所述的Canny算法具体参见：Canny J.A Computational Approach to EdgeDetection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,PAMI-8(6):679-698.；Canny J.一种边缘检测的计算方法[J].IEEE模式分析与机器智能学报,1986,PAMI-8(6):679-698.。轴类工件的外轮廓Lw距离轴类工件的真正边缘有一段距离，并不是真正的轴类工件外轮廓。但外轮廓Lw具有连续、清晰的特点，适合用于描述工件的大致位置与姿态。
步骤四、在视觉控制器9中使用Python程序，利用轮廓矩的原理，计算选定的待抓取上料的轴类工件的外轮廓Lw在当前左侧俯视图片中的质心Pc位置。然后拟合出外轮廓Lw的轴线，并计算外轮廓轴线在左侧俯视图片坐标系下与x轴的夹角θi，所述的左侧俯视图片坐标系是以左侧俯视图片的左上角为原点，水平向右为x轴，竖直向下为y轴。
计算外轮廓Lw质心Pc位置以及外轮廓Lw轴线与当前左侧俯视图片坐标系的x轴夹角的具体过程如下：
步骤101，根据轮廓矩的原理(轮廓矩原理参见Hu M K.Visual PatternRecognition by Moment Invariants[J].IRE Transactions on Information Theory,1962,8(2):179-187.；Hu M K.基于不变矩的视觉模式识别[J].信息论学报,1962,8(2):179-187.)，求出轴类工件外轮廓Lw的零阶矩M00和两个一阶矩M01、M10，并求得轴类工件外轮廓Lw质心Pc的横纵坐标为x0和y0，公式如下所示：
Figure BDA0003134024770000101
Figure BDA0003134024770000102
Figure BDA0003134024770000103
Figure BDA0003134024770000104
Figure BDA0003134024770000105
x——外轮廓Lw中的各点在当前左侧俯视图片坐标系下的x方向的坐标值；
y——外轮廓Lw中的各点在当前左侧俯视图片坐标系下的y方向的坐标值；
f(x,y)——(x,y)在当前图片坐标系下对应的像素值；
M00——图像的零阶矩；
M10——图像的x方向一阶矩；
M01——图像的y方向一阶矩；
x0——外轮廓质心在当前左侧俯视图片坐标系下的x方向的值；
y0——外轮廓质心在当前左侧俯视图片坐标系下的y方向的值；
步骤102，过外轮廓质心Pc构造一条直线Lp，xi、yi表示构造的直线Lp上任意一点的横纵坐标，k为直线Lp的斜率，由于构造的直线Lp过质心Pc，所以可建立方程：
yi＝k·(xi-x0)+y0
步骤103，xj，yj分别表示左侧俯视图片坐标系下外轮廓Lw上点的横纵坐标，以所有外轮廓Lw上的点到所构造的直线Lp的距离的平方和，建立估值函数e(k)：
Figure BDA0003134024770000111
通过改变k的值，可得到不同斜率下的估值函数e(k)。估值函数e(k)越小，所构造的直线Lp与轴类工件实际轴线的夹角越小。
步骤104，设轴类工件实际轴线与左侧俯视图片坐标系x轴所成角度为α，所构建的直线Lp与左侧俯视图片坐标系x轴所成角度为θi，初始角度为0度。步长dθ初始值为2度。
步骤105，利用斜率公式ki＝tan(θi)，得到角度θi对应的斜率ki。将ki带入估值函数中，计算出相应的估值函数e(ki)。
步骤106，利用角度变化规律θi+1＝θi+dθ可得θi+1。然后，利用斜率公式可得ki+1，将ki+1带入估值函数，得到e(ki+1)。
步骤107，当连续两次计算得到的角度值θi+1和θi的差值的绝对值大于等于0.1度，则需要根据e(ki+1)与e(ki)的大小比较结果，对步长dθ进行不同处理。如果e(ki+1)≤e(ki)，说明估值函数变小，保持步长dθ不变，并重复步骤105-107；如果e(ki+1)＞e(ki)，说明估值函数变大，则令步长dθ变为相反数并缩小一半，再重复步骤105-107。否则，认为当前的θi基本不变，已收敛于所设的α，可视为θi约等于α，即θi等于轴类工件实际轴线与左侧俯视图片坐标系x轴所成角度。步骤104-107的具体流程如图4所示。
步骤五、根据视觉控制器9内保存的待抓取上料的轴类工件模板，获得轴类工件模板图片中轴类工件最小的外接矩形图片，记为Rm。然后通过将左侧俯视图片旋转θi并进行相关度计算，在左侧俯视图片中获得与轴类工件模板中轴类工件最小外接矩形图片Rm恰好匹配的待抓取的轴类工件最小外接矩形图片，记为Rcm。
本步骤中获得与工件模板中轴类工件最小外接矩形图片Rm恰好匹配的轴类工件最小外接矩形图片Rcm的具体步骤为：
步骤101，将左侧俯视图片旋转θi，使步骤四的左侧俯视图片中选定的轴类工件的轴线处于水平状态，接着将轴线处于水平状态的待抓取的轴类工件的最小外接矩形图片Rc从旋转后的左侧俯视图片中裁剪下来，同时获取从旋转后的左俯视图中裁剪下来的最小外接矩形图片Rc的左上角点和右下角点在旋转前左侧俯视图片中对应的像素坐标(xRcL,yRcL)、(xRcR,yRcR)。然后将从旋转后的左俯视图中裁剪下来的最小外接矩形图片Rc缩放至与模板图片中轴类工件最小的外接矩形图片Rm同一尺寸，缩放比例为kp。最后将从旋转后的左俯视图中裁剪下来的最小外接矩形图片Rc旋转180°，获得Rc旋转后的矩形图片，记为Rc'。由于矩形图片Rm中轴类工件轴线与矩形图片Rc中轴类工件轴线均水平，因此轴线平行。轴线平行且同一尺寸后，会出现两种情况：矩形图片Rc与矩形图片Rm恰好匹配(此时称轴类工件轮廓处于正方向)；矩形图片Rc与矩形图片Rm相差180°(此时称轴类工件轮廓处于反方向)。矩形图片Rc和矩形图片Rc'其中一个是处于轮廓正方向，即其中一个为所求的矩形图片Rcm。
步骤102，利用归一化相关匹配法进行图片相关度计算(图像匹配实现方法参见Bradski G,Kaehler A.OpenCV Library.2014.；Bradski G,Kaehler A.OpenCV库.2014.)，获得Rc与Rm的相关度以及Rc'与Rm的相关度，将与Rm相关度大的Rc或者Rc'作为与工件模板中轴类工件最小外接矩形图片Rm恰好匹配的待抓取的轴类工件最小外接矩形图片，记为Rcm。
通过判断相关度大小，可确定轮廓正方向。如果Rc与Rm的相关度大，则认为矩形图片Rc是恰好匹配的待抓取的轴类工件的最小外接矩形图片Rcm；如果Rc'与Rm的相关度大，则认为矩形图片Rc'是恰好匹配的待抓取的轴类工件的最小外接矩形图片Rcm。
步骤六、根据轴类模板图片中轴类工件待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图中待夹取的轴类工件的待夹取点和卡盘夹持点像素坐标。然后，结合步骤二求得的三维点云图以及步骤四求得的质心Pc的像素坐标，找到三维点云图中与待夹取点、卡盘夹持点、质心Pc对应的像素点的三维坐标，得到轴类工件待夹取点、轴类工件卡盘夹持点、轴类工件质心Pc在相机坐标系下的三维坐标。
根据模板图片中轴类工件的待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图片中待夹取的轴类工件待夹取点和卡盘夹持点的像素坐标的具体步骤如下：
步骤101，待夹取点在模板图片默认的图片坐标系下的像素坐标为xRmc、yRmc。由于Rm与Rcm恰好匹配，因此待夹取点和卡盘夹持点在Rm和Rcm中一一对应，即待夹取点在矩形图片Rcm坐标系下的像素坐标也为xRmc、yRmc。
步骤102，从步骤五的步骤101中已知缩放比例为kp，Rc的左上角点在旋转前左侧俯视图片中对应像素坐标为xRcL，yRcL；Rc的右下角点在旋转前左侧俯视图片中对应的像素坐标为xRcR，yRcR。从步骤四中已知旋转角为θi。设xLc，yLc为待夹取点在旋转前左侧俯视图片的像素坐标。
如果Rcm对应Rc，则
xLc＝xRcL+(xRmc·cos(θi)-yRmc·sin(θi))·kp；
yLc＝yRcL+(yRmc·cos(θi)+xRmc·sin(θi))·kp；
如果Rcm对应Rc'，则
xLc＝xRcR+(xRmc·cos(θi+180)-yRmc·sin(θi+180))·kp；
yLc＝yRcR+(yRmc·cos(θi+180)+xRmc·sin(θi+180))·kp；
步骤103，由于卡盘夹持点与待夹取点性质类似，同理可得卡盘夹持点在左侧俯视图坐标系下的像素坐标。
步骤七、视觉控制器9向机械臂的控制系统3发送信号，控制系统将相机坐标系下轴类工件待夹取点、卡盘夹持点、工件质心Pc在相机坐标系下的三维坐标，转换为机械臂工具坐标系下的三维坐标或者在视觉控制器9中利用手眼标定得到的变换矩阵，将相机坐标系下的三维坐标转换为机器人坐标系下的三维坐标，再传输给控制系统3。然后，控制系统3控制机械臂1末端先运动至轴类工件质心Pc的正上方，同时控制机械臂的第六个旋转关节(第六个旋转关节为行业内默认的通用串联六自由度机械臂的关节顺序所指的旋转关节，所述的第六个旋转关节在机械臂末端处。)绕着垂直方向旋转θi+90°。由于末端执行器2固定在机械臂末端，因此末端执行器2与机械臂关节六旋转同样角度，从而保证夹臂8的夹取方向能恰好符合夹取轴类工件的要求。接着机械臂1带动末端执行器2运动至轴类工件待夹取点正上方，两个舵机7进行相对旋转，带动夹臂8绕舵机7的输出轴旋转，使得两个夹臂8的凹槽处夹紧轴类工件，从而抓取轴类工件。
本步骤先运动到轴类工件质心，再运动到轴类工件待夹取点，将平移运动分成了两段是为了确认质心的计算是否正确，便于后续查找问题。另外，在运动到轴类工件质心的过程中，还旋转了第六个旋转关节，调整了夹取的姿态。
步骤八、由于机床位置一般不变动，三爪卡盘处的中心点在机器人坐标系下的三维坐标可预先获得。视觉控制器9根据三爪卡盘中心点、轴类工件被夹取点以及卡盘夹持点各自在机器人坐标系下的三维坐标，计算出机械臂末端在三爪卡盘附近的送料位置点在机器人坐标系下的三维坐标(送料位置点＝卡盘中心点+(待夹取点-卡盘中心点))，并将坐标输出给控制系统3，然后控制系统3控制机械臂1运动至送料位置点，轴类工件被送入三爪卡盘后，机械臂控制系统3发送信号给机床，卡盘自动夹紧。待卡盘夹紧后，夹臂8松开工件。
步骤九、机械臂重新运动至料箱中心点PCL上方，按照步骤三选择一个待上料的轴类工件，然后重复步骤四至步骤九，直至轴类工件所在区域内无工件，视觉控制器在显示屏上显示提醒，并向机械臂控制系统发出待机信号，机械臂待机。

Claims (5)

1.一种抓取轴类工件指定部位进行上料的方法，其特征在于包括以下步骤：
步骤一、连接设备并在敞口料箱(4)边框顶部的四个角处粘贴特定颜色的矩形贴纸(11)；
所述的敞口料箱为无顶的矩形体，料箱内平放若干个无重叠轴类零件，轴类工件所在区域为料箱内容纳轴类零件的矩形区域；
所述的连接设备过程为：将末端执行器(2)安装在机械臂(1)末端上，并将末端执行器的控制线连接至机械臂外部的视觉控制器(9)上，视觉控制器与机械臂的控制系统(3)连接，所述的机械臂为六自由度串联机械臂，所述的末端执行器包括固定在机械臂末端的末端执行器支架(6)，在所述的末端执行器支架上左右平行间隔设置有两个工业相机(5)，在所述的末端执行器支架底部安装有两个舵机(7)，在每一个所述的舵机底部输出轴安装有一个夹臂(8)，两个夹臂左右平行间隔设置，在所述的两个夹臂相对的内侧的下部分别设置有用于夹紧轴类工件的凹槽，在所述的视觉控制器(9)内保存有待抓取上料的轴类工件模板图片，所述的待抓取上料的轴类工件模板图片是将一个待抓取上料的轴类工件以轴线水平的方式放置拍摄的模板图片，并在模板图片上用绿色圆和蓝色圆分别标注工件待夹取点和卡盘夹持点，轴类工件模板图片大小与图片中轴类工件的最小外接矩形相等，待抓取上料的轴类工件模板图片中工件的轴线与模板图片默认的图片坐标系的x轴平行；
步骤二、在视觉控制器中从左侧相机拍摄的敞口料箱的俯视图片中分割出敞口料箱中轴类工件所在区域，具体步骤为：
第一步，启动机械臂，将两个工业相机移动到敞口料箱的上方，两个工业相机将各自拍摄得到的敞口料箱的俯视图片传输给视觉控制器，视觉控制器采用张正友标定法将左右相机的俯视图片合成三维点云图，所述的三维点云图包含左侧俯视图片中每一个像素点在默认的相机坐标系下的三维坐标，根据左侧俯视图片像素点的像素坐标可以查找三维点云图对应像素点在默认相机坐标系下的三维坐标；
第二步，通过视觉控制器在左侧俯视图片中找到四个特定颜色的矩形贴纸，将每个矩形贴纸各自的中心视为一个点，根据这四个点构建一个新矩形RCL，新矩形RCL的中心点PCL的像素坐标即为敞口料箱中心点PCL在左侧俯视图片中的像素坐标，查找三维点云图中与料箱中心点PCL对应的像素点的三维坐标，得到料箱中心点PCL在相机坐标系下的三维坐标，然后视觉控制器向机械臂的控制系统输出料箱中心点PCL的三维坐标，控制系统将相机坐标系下料箱中心点PCL的三维坐标转换为机械臂工具坐标系下的料箱中心点坐标或者在视觉控制器中利用手眼标定得到的变换矩阵，将相机坐标系下料箱中心点PCL的三维坐标转换为机器人坐标系下的料箱中心点坐标，再传输给控制系统，控制系统控制机械臂带动工业相机运动至料箱中心点PCL上方；
第三步，在左侧俯视图片中，在四个特定颜色矩形贴纸的16个角点中，以离料箱中心点PCL最近的4个角点为新角点，构建矩形RCC，在左侧俯视图片中分割出矩形RCC区域，作为轴类工件所在区域；
步骤三、在轴类工件所在区域，先识别出各个轴类工件的粗轮廓Lc，将各个轴类工件的粗轮廓Lc的外边缘作为轴类工件的外轮廓Lw，具体步骤如下：
在视觉控制器中采用Python程序调用Canny算法，在轴类工件所在区域进行轴类工件的外轮廓识别，分别得到所有轴类工件的外轮廓；然后对所有轴类工件的外轮廓进行着色和描粗处理，从而将可能存在的轮廓断点消除，形成一个完整的粗轮廓Lc；最后选择一个待抓取上料的轴类工件，将该待抓取上料的轴类工件的粗轮廓Lc的外边缘作为轴类工件的外轮廓Lw；
步骤四、在视觉控制器中使用Python程序，利用轮廓矩的原理，计算选定的待抓取上料的轴类工件的外轮廓Lw在当前左侧俯视图片中的质心Pc位置；然后拟合出外轮廓Lw的轴线，并计算外轮廓轴线在左侧俯视图片坐标系下与x轴的夹角θi；
步骤五、根据视觉控制器内保存的待抓取上料的轴类工件模板，获得轴类工件模板图片中轴类工件最小的外接矩形图片，记为Rm；然后通过将左侧俯视图片旋转θi并进行相关度计算，在左侧俯视图片中获得与轴类工件模板中轴类工件最小外接矩形图片Rm恰好匹配的待抓取的轴类工件最小外接矩形图片，记为Rcm；
步骤六、根据轴类模板图片中轴类工件待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图中待夹取的轴类工件的待夹取点和卡盘夹持点像素坐标；然后，结合步骤二求得的三维点云图以及步骤四求得的质心Pc的像素坐标，找到三维点云图中与待夹取点、卡盘夹持点、质心Pc对应的像素点的三维坐标，得到轴类工件待夹取点、轴类工件卡盘夹持点、轴类工件质心Pc在相机坐标系下的三维坐标；
步骤七、视觉控制器向机械臂的控制系统发送信号，控制系统将相机坐标系下轴类工件待夹取点、卡盘夹持点、工件质心Pc在相机坐标系下的三维坐标，转换为机械臂工具坐标系下的三维坐标或者在视觉控制器中利用手眼标定得到的变换矩阵，将相机坐标系下的三维坐标转换为机器人坐标系下的三维坐标，再传输给控制系统；然后，控制系统控制机械臂末端先运动至轴类工件质心Pc的正上方，同时控制机械臂的第六个旋转关节绕着垂直方向旋转θi+90°；接着机械臂带动末端执行器运动至轴类工件待夹取点正上方，两个舵机进行相对旋转，带动夹臂绕舵机的输出轴旋转，使得两个夹臂的凹槽处夹紧轴类工件，从而抓取轴类工件；
步骤八、视觉控制器根据三爪卡盘中心点、轴类工件被夹取点以及卡盘夹持点各自在机器人坐标系下的三维坐标，计算出机械臂末端在三爪卡盘附近的送料位置点在机器人坐标系下的三维坐标，并将坐标输出给控制系统，然后控制系统控制机械臂运动至送料位置点，轴类工件被送入三爪卡盘后，机械臂控制系统发送信号给机床，卡盘自动夹紧，待卡盘夹紧后，夹臂松开工件；
步骤九、机械臂重新运动至料箱中心点PCL上方，按照步骤三选择一个待上料的轴类工件，然后重复步骤四至步骤九，直至轴类工件所在区域内无工件，视觉控制器在显示屏上显示提醒，并向机械臂控制系统发出待机信号，机械臂待机。
2.根据权利要求1所述的抓取轴类工件指定部位进行上料的方法，其特征在于：寻找特定颜色的矩形贴纸的过程如下：
步骤101，将左相机拍摄的左侧俯视图片，在视觉控制器的Python程序中由RBG颜色空间图转换为HSV颜色空间图；
步骤102，在HSV颜色空间图中，判断像素点的HSV值是否在预先设定的HSV阈值内，将符合HSV阈值的像素块图像转换成黑白掩膜，并寻找黑白掩膜图像中的轮廓；然后计算找到的轮廓与标准矩形轮廓的误差值，如果误差值小于预设值，则视为找到了符合要求的矩形，当仅找到四个符合要求的矩形后，则认为找到了四个特定颜色的矩形贴纸。
3.根据权利要求1或者2所述的抓取轴类工件指定部位进行上料的方法，其特征在于：
计算外轮廓Lw质心Pc位置以及外轮廓Lw轴线与当前左侧俯视图片坐标系的x轴夹角的具体过程如下：
步骤101，根据轮廓矩的原理求出轴类工件外轮廓Lw的零阶矩M00和两个一阶矩M01、M10，并求得轴类工件外轮廓Lw质心Pc的横纵坐标为x0和y0，公式如下所示：
Figure FDA0003742288930000041
Figure FDA0003742288930000042
Figure FDA0003742288930000043
Figure FDA0003742288930000044
Figure FDA0003742288930000045
x——外轮廓Lw中的各点在当前左侧俯视图片坐标系下的x方向的坐标值；
y——外轮廓Lw中的各点在当前左侧俯视图片坐标系下的y方向的坐标值；
f(x,y)——(x,y)在当前图片坐标系下对应的像素值；
M00——图像的零阶矩；
M10——图像的x方向一阶矩；
M01——图像的y方向一阶矩；
x0——外轮廓质心在当前左侧俯视图片坐标系下的x方向的值；
y0——外轮廓质心在当前左侧俯视图片坐标系下的y方向的值；
步骤102，过外轮廓质心Pc构造一条直线Lp，xi、yi表示构造的直线Lp上任意一点的横纵坐标，k为直线Lp的斜率，由于构造的直线Lp过质心Pc，所以能够建立方程：
yi＝k·(xi-x0)+y0
步骤103，xj，yj分别表示左侧俯视图片坐标系下外轮廓Lw上点的横纵坐标，以所有外轮廓Lw上的点到所构造的直线Lp的距离的平方和，建立估值函数e(k)：
Figure FDA0003742288930000051
通过改变k的值，得到不同斜率下的估值函数e(k)；
步骤104，设轴类工件实际轴线与左侧俯视图片坐标系x轴所成角度为α，所构建的直线Lp与左侧俯视图片坐标系x轴所成角度为θi，初始角度为0度，步长dθ初始值为2度；
步骤105，利用斜率公式ki＝tan(θi)，得到角度θi对应的斜率ki，将ki带入估值函数中，计算出相应的估值函数e(ki)；
步骤106，利用角度变化规律θi+1＝θi+dθ得到θi+1；然后，利用斜率公式得到ki+1，将ki+1带入估值函数，得到e(ki+1)；
步骤107，当连续两次计算得到的角度值θi+1和θi的差值的绝对值大于等于0.1度，则比较e(ki+1)与e(ki)的大小；如果e(ki+1)≤e(ki)，说明估值函数变小，保持步长dθ不变，并重复步骤105-107；如果e(ki+1)＞e(ki)，说明估值函数变大，则令步长dθ变为相反数并缩小一半，再重复步骤105-107；否则，认为当前的θi基本不变，已收敛于所设的α，视为θi约等于α，即θi等于轴类工件实际轴线与左侧俯视图片坐标系x轴所成角度。
4.根据权利要求3所述的抓取轴类工件指定部位进行上料的方法，其特征在于：获得与工件模板中轴类工件最小外接矩形图片Rm恰好匹配的轴类工件最小外接矩形图片Rcm的具体步骤为：
步骤101，将左侧俯视图片旋转θi，使步骤四的左侧俯视图片中选定的轴类工件的轴线处于水平状态，接着将轴线处于水平状态的待抓取的轴类工件的最小外接矩形图片Rc从旋转后的左侧俯视图片中裁剪下来，同时获取从旋转后的左俯视图中裁剪下来的最小外接矩形图片Rc的左上角点和右下角点在旋转前左侧俯视图片中对应的像素坐标(xRcL,yRcL)、(xRcR,yRcR)；然后将从旋转后的左俯视图中裁剪下来的最小外接矩形图片Rc缩放至与模板图片中轴类工件最小的外接矩形图片Rm同一尺寸，缩放比例为kp；最后将从旋转后的左俯视图中裁剪下来的最小外接矩形图片Rc旋转180°，获得Rc旋转后的矩形图片，记为Rc'；
步骤102，利用归一化相关匹配法进行图片相关度计算，获得Rc与Rm的相关度以及Rc'与Rm的相关度，将与Rm相关度大的Rc或者Rc'作为与工件模板中轴类工件最小外接矩形图片Rm恰好匹配的待抓取的轴类工件最小外接矩形图片，记为Rcm。
5.根据权利要求4所述的抓取轴类工件指定部位进行上料的方法，其特征在于：根据模板图片中轴类工件的待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图片中待夹取的轴类工件待夹取点的像素坐标的具体步骤如下：
步骤101，待夹取点在模板图片默认的图片坐标系下的像素坐标为xRmc、yRmc，待夹取点在矩形图片Rcm坐标系下的像素坐标也为xRmc、yRmc；
步骤102，已知缩放比例为kp，Rc的左上角点在旋转前左侧俯视图片中对应像素坐标为xRcL，yRcL；Rc的右下角点在旋转前左侧俯视图片中对应的像素坐标为xRcR，yRcR，从步骤四中已知旋转角为θi，设xLc，yLc为待夹取点在旋转前左侧俯视图片的像素坐标；
如果Rcm对应Rc，则
xLc＝xRcL+(xRmc·cos(θi)-yRmc·sin(θi))·kp；
yLc＝yRcL+(yRmc·cos(θi)+xRmc·sin(θi))·kp；
如果Rcm对应Rc'，则
xLc＝xRcR+(xRmc·cos(θi+180)-yRmc·sin(θi+180))·kp；
yLc＝yRcR+(yRmc·cos(θi+180)+xRmc·sin(θi+180))·kp。
CN202110713859.7A 2021-06-25 2021-06-25 一种抓取轴类工件指定部位进行上料的方法 Expired - Fee Related CN113500593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713859.7A CN113500593B (zh) 2021-06-25 2021-06-25 一种抓取轴类工件指定部位进行上料的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713859.7A CN113500593B (zh) 2021-06-25 2021-06-25 一种抓取轴类工件指定部位进行上料的方法

Publications (2)

Publication Number Publication Date
CN113500593A CN113500593A (zh) 2021-10-15
CN113500593B true CN113500593B (zh) 2022-12-06

Family

ID=78010950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713859.7A Expired - Fee Related CN113500593B (zh) 2021-06-25 2021-06-25 一种抓取轴类工件指定部位进行上料的方法

Country Status (1)

Country Link
CN (1) CN113500593B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114227348B (zh) * 2022-02-22 2022-05-31 佛山市通润热能科技有限公司 一种异形铝材夹紧机械手及其控制方法
CN117834836A (zh) * 2022-09-29 2024-04-05 长广溪智能制造(无锡)有限公司 一种物料抓取系统、方法、计算设备及介质
CN117961472B (zh) * 2024-03-28 2024-05-28 西安汉沣精密机械有限公司 一种零件自动拆装翻转装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105485425B (zh) * 2015-11-26 2019-03-22 天津市安维康家科技发展有限公司 大口径管道自动连续铺设作业机器人及其作业方法
CN107830813B (zh) * 2017-09-15 2019-10-29 浙江理工大学 激光线标记的长轴类零件图像拼接及弯曲变形检测方法
CN108335332A (zh) * 2018-01-22 2018-07-27 浙江大学 一种基于双目视觉的轴类零件中轴线测量方法
CN110014426B (zh) * 2019-03-21 2020-10-02 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN110751691B (zh) * 2019-09-24 2022-09-20 同济大学 一种基于双目视觉的管件自动抓取方法

Also Published As

Publication number Publication date
CN113500593A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113500593B (zh) 一种抓取轴类工件指定部位进行上料的方法
CN111791227B (zh) 机器人手眼标定方法、装置及机器人
CN113084808B (zh) 一种基于单目视觉的移动机械臂2d平面抓取方法
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
US8095237B2 (en) Method and apparatus for single image 3D vision guided robotics
WO2022061673A1 (zh) 用于机器人的标定方法和装置
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN110555878B (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
JP2011083882A (ja) ロボットシステム
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
JP2015136770A (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN114088738B (zh) 一种环状焊缝的高精度缺陷检测方法和装置
WO2021039775A1 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
Yang et al. Visual servoing of humanoid dual-arm robot with neural learning enhanced skill transferring control
CN112658643A (zh) 接插件装配方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN115042175A (zh) 一种机器人机械臂末端姿态的调整方法
Martinet et al. Stacking jacobians properly in stereo visual servoing
Lin et al. Vision based object grasping of industrial manipulator
CN115008477B (zh) 机械手移动补偿方法、装置、计算机可读存储介质
Marny et al. Configuration and programming of the fanuc irvision vision system for applications in the dynamic environment of manipulated elements
CN206912816U (zh) 识别机械工件位姿的装置
Liu et al. A visual positioning and measurement system for robotic drilling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221206