CN105965519A - 一种视觉引导下的离合器下料定位方法 - Google Patents

一种视觉引导下的离合器下料定位方法 Download PDF

Info

Publication number
CN105965519A
CN105965519A CN201610457274.2A CN201610457274A CN105965519A CN 105965519 A CN105965519 A CN 105965519A CN 201610457274 A CN201610457274 A CN 201610457274A CN 105965519 A CN105965519 A CN 105965519A
Authority
CN
China
Prior art keywords
circle
clutch
mechanical arm
coordinate
agv dolly
Prior art date
Application number
CN201610457274.2A
Other languages
English (en)
Inventor
潘丰
秦朗朗
王振宇
Original Assignee
江南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江南大学 filed Critical 江南大学
Priority to CN201610457274.2A priority Critical patent/CN105965519A/zh
Publication of CN105965519A publication Critical patent/CN105965519A/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明公开了一种视觉引导下的离合器下料定位方法,视觉定位单元用于获取下料环境即AGV小车的位置变化信息。采用双工业相机定位,定位对象是离合器所需下料的位置,即AGV小车的位置;工业相机1采集AGV小车右下方特征孔图像,工业相机2采集AGV小车右上方特征孔图像,通过与AGV小车标准位置信息的对比实现AGV小车的定位,由此实现离合器的下料定位。本发明方法能实现视觉引导下机械手快速、精确、稳定的实现离合器在AGV小车上的下料功能。

Description

一种视觉引导下的离合器下料定位方法
技术领域
[0001]本发明涉及一种产品在AGV小车下料位置的定位方法,尤其涉及一种视觉引导下的离合器下料定位方法,属于离合器下料于AGV小车的视觉定位领域。
背景技术
[0002]工件下料是机械臂在生产线上有效应用的重要环节,目前机械臂已广泛应用在工业生产线上,但很多都是在示教人员的示教编程或离线编程下完成一些预先设定的固定动作和功能。当机械臂和AGV小车搭配完成产品的固定位置下料时,如果工件下料的环境即AGV小车的位置发生了变化,则就很可能导致机械臂任务失败,这种由于机械臂无法识别外部环境变化的缺点极大的限制了机械臂在工业生产中的应用。
[0003]机器视觉顾名思义是使机械臂具有像人一样的视觉功能,从客观事物的图像中提取出有用的信息,从而实现各种检测、判断、识别和测量等功能。将机器视觉技术和机械臂技术相结合,利用机器视觉的定位功能使机械臂具有自己的“眼睛”来获取工件下料的位置等环境信息,引导机械臂完成抓取、搬运、下料等工作,对提高生产线的效率和扩展机械臂的应用范围都具有重要的意义。
[0004]在离合器组装生产线上,工人需要将组装完成的离合器准确地放置在AGV小车上,离合器体积大、质量重,人工劳动强度很大,采用机械臂和AGV小车代替人工下料,可实现离合器下料的完全自动化。在这个过程中,AGV小车每次入库的位置都是变化的,因此,如何使机械臂具有自己的“眼睛”,准确的获取AGV小车的位置信息,并引导自己完成下料任务是一个关键问题。
发明内容
[0005]为使机械臂能够通过自己的“眼睛”获取AGV小车的位置信息,并引导其完成准确下料任务,本发明专利提出了一种视觉引导下的离合器下料定位方法。
[0006]为达成所述目的,本发明专利所采用技术方案是:釆用图像处理方法获取离合器下料位置即AGV小车的位置变化信息,并发送给机械臂引导其下料,由于AGV小车尺寸较大,本方法采用双工业相机定位,工业相机I采集AGV小车的右下方特征孔图像,工业相机2采集AGV小车的右上方特征孔图像,通过与AGV小车标准位置信息的对比实现AGV小车的定位,具体包括如下步骤:
[0007] I)把AGV小车停放在标准位置,将机械臂工件坐标系Or的坐标原点建立在标准位置AGV小车右下方特征孔的圆心Ao处,并将圆心Ao视作基准点,作为标准位置坐标系的坐标原点(0,0);
[0008] 2)点Bo是右上方特征孔的圆心,把点Ao到点Bo的方向视为X轴正方向;把点Ao沿AGV小车短边方向视为Y轴正方向;将线AoBo与Y轴负方向的角度aQ = -90°作为标准位置角度,同时机械臂记下此时的标准下料位置;
[0009] 3)工业相机I和2分别采集AGV小车入库位置发生变化后AGV小车的两特征孔图像,并把采集的图像经相机与机械臂的双目系统标定把图像坐标系转换为机械臂工件坐标系;
[0010] 4)采用模板匹配方法,建立两特征孔的搜索区域与所选模板间的坐标对应关系,实现对特征孔搜索区域的粗定位,当来料位置变化时不影响特征孔的提取和拟合;
[0011 ] 5)由圆的拟合方法分别拟合离合器右下方特征孔圆C1和右上方特征孔圆C2;
[0012] 6)在机械臂工件坐标系中根据圆Ci求出圆心A的坐标(X,y),根据圆C2求出圆心B的坐标(Xi,yI);根据求出的点A和点B坐标计算出线AB的角度a = -arctan ((χι_χ) / (yi_y));
[0013] 7)计算位置变化信息:ΑΧ = χ, Δ Y = y, Δ Angle = a-aQ,并发送给机械臂。
[OOM]下料系统总体结构包括AGV小车单元、视觉定位单元、机械臂控制单元和上位机单元。AGV小车单元负责装载机械臂抓取后的离合器并沿着特定路线行走启停;视觉定位单元将采集到的图像进行软件处理分析和提取位置信息并发送给机械臂;机械臂控制单元根据视觉定位单元发送的位置信息,调整机械臂的位姿放置离合器下料;上位机单元除了和机械臂进行数据通信外,还提供了人机界面,用于实时显示当前下料情况,记录并保存下料数据及AGV小车特征孔图像。
[0015]与现有方法相比,本发明方法的有益之处是:(I)将视觉技术和AGV小车技术、机械臂技术相结合,机械臂能够获取AGV小车的位置信息,提高了机械臂工作的智能性和灵活性。(2)由于相机视野是有限的,采用双相机扩大视野的方法定位像AGV小车这样的大物件,保证定位的精确性和稳定性。(3)实现两个相机的图像坐标系到机械臂工件坐标系的精确转换,使计算出来的位置变化信息可以方便直接的为机械臂使用。
附图说明
[0016]附图1是一种视觉引导下的离合器下料定位方法的定位原理图。
[0017]附图2是一种视觉引导下的离合器下料定位方法的坐标系转换原理图。
[0018]附图3是一种视觉引导下的离合器下料的硬件结构图。
[0019]附图4是一种视觉引导下的离合器下料定位方法的流程图。
[0020] 附图3中编号I和2是工业相机、编号3和4是工业镜头、编号5和6是红外环形光源、编号7是机械臂、编号8是图像采集卡、编号9是工控机、编号10是机械臂控制柜、编号11是PLC、编号12、13是离合器、编号14是来料平台、编号15是AGV小车、编号16是AGV小车车身上离合器放置点、编号17是夹爪支架、编号18是夹爪。
具体实施方式
[0021]下面结合附图对本发明的具体实施方式做进一步说明。
[0022]附图1示出一种视觉引导下的离合器下料定位方法的定位原理图,视觉定位单元获取AGV小车15位置信息的具体方法如下:
[0023] I)把AGV小车15放置在标准位置,将机械臂工件坐标系Or的原点建立在标准位置时AGV小车15右下方特征孔的圆心Ao处,即点Ao为标准位置坐标系的坐标原点。点Bo是右上方特征孔的圆心,把点Ao到点Bo的方向视为X轴正方向;把Ao沿AGV小车短边的方向视为Y轴正方向。由此可将线AoBo与Y轴负方向的角度aQ =-90°作为标准位置角度,同时机械臂控制柜10记下此时的标准下料位置;
[0024] 2)工业相机I和2分别采集位置发生变化后的AGV小车15两特征孔的图像,采集的图像经双目视觉系统标定把图像坐标系转换为机械臂工件坐标系;
[0025] 3)米用Vis1nPro中的CogPMAlignToo I工具和CogFixtureToo I工具进行样板匹配和特征孔粗定位,建立两特征孔的搜索区域与所选模板间的坐标对应关系,实现对两特征孔的粗定位,当AGV小车入库位置变化时不影响特征孔的提取和圆的拟合;
[0026] 4)根据圆的拟合方法,采用Vi S1nPro中的CogFindCircleToo I工具,分别拟合AGV小车15两特征孔的圆C1X2;
[0027] 5)由拟合出的圆C1、C2计算出圆心A的坐标(X,y)和圆心B的坐标(xi,yι),并采用CogMath.AnglePointPointO 函数计算基准线AB的角度a = _arctan( (X1-X)/(y1-y));
[0028] 6)计算位置变化信息:ΑΧ = χ, Δ Y = y, Δ Angle = a-aQ,并发送给机械臂控制柜10。
[0029]附图2示出一种视觉引导下的离合器下料定位方法的坐标系转换原理图,图像坐标系到工件坐标系的转换分两步实现,具体方法步骤如下:
[0030] I)相机标定:采用Vis1nPro中的CogCal ibCheckerBoardTool工具把图像坐标系转换到世界坐标系,由于采集的图像存在畸变,采用非线性标定方法;相机标定由采集标定板图像、提取标定板特征点和计算标定内容组成;
[0031 ] 2)双目标定:采用Vis1nPro中的CalibNPointToNPointTool工具把世界坐标系转换到机械臂工件坐标系;双目标定由确定特征点、记录特征点坐标和计算标定内容组成。
[0032] 整个视觉定位过程实时显示于工控机9的人机界面上,同时将检测数据及图像进行记录,以便进行数据溯源。
[0033]本发明方法能够实现视觉引导机械臂快速、准确的完成离合器在AGV小车上的下料任务。
[0034]附图3示出一种视觉引导下的离合器下料装置硬件结构图,该装置由视觉定位单元、机械臂控制单元和上位机单元构成。视觉定位单元由工业相机I和2、工业镜头3和4、红色环形光源5和6和图像采集卡8组成;机械臂控制单元主要由PLC11、机械臂7、示教器、机械臂控制柜10、夹爪支架17和夹爪18组成;上位机单元由工控机9组成。
[0035]附图4示出一种视觉引导下的离合器下料定位方法的流程图,经过上一条生产线组装生产的离合器,需要进入下一条生产线一一变速箱组装。零部件组装完成的离合器12由托盘承载着依次放置在来料平台14上。下料定位系统启动后,首先判断AGV小车到位是否到位。AGV小车15确认到位后,由PLCll向工控机9发出采集AGV小车15位置信息的命令,此时视觉定位单元的工业相机I和2、工业镜头3和4和红外环形光源5和6开始工作,工控机9控制相机I和2采集图像,并通过图像采集卡8将图片传送给工控机9进行图像定位处理,提取AGV小车15的位置信息,如果获取位置信息失败系统将会降低相机的曝光量再次获取位置信息,如果两次获取位置信息都失败则由人工调整AGV小车15位置。位置信息提取成功后由工控机9将位置数据反馈给机械臂控制柜10。此时需要判断装载离合器的托盘是否到位,离合器确认到位后,启动机械臂抓取离合器。机械臂7准确抓取离合器之后,机械臂控制柜10根据获取的位置信息调整机械臂7的位姿后准确的放置离合器12,完成离合器12的下料任务。
[0036]离合器12下料成功后,通过传感器判断AGV小车15是否放满,如果未满,则继续执行下一个离合器的下料任务;如果小车已满,则满车出库,空车入库。机械臂7执行完离合器12的下料任务之后,返回来料平台14进行下一个离合器13的抓取,并完成其下料任务,保证整个系统和整条生产线的不间断运行。
[0037]以上是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化与修饰,均属于发明技术方案的范围内。

Claims (1)

1.一种视觉引导下的离合器下料定位方法,其特征在于,采用双工业相机定位,定位对象是离合器所需下料的位置,即AGV小车的位置;工业相机I采集AGV小车右下方特征孔图像,工业相机2采集AGV小车右上方特征孔图像,通过与AGV小车标准位置信息的对比实现AGV小车的定位,由此实现离合器的下料定位;具体包括如下步骤: 1)把AGV小车停放在标准位置,将机械臂工件坐标系Or的坐标原点建立在标准位置AGV小车右下方特征孔的圆心Ao处,并将圆心Ao视作基准点,作为标准位置坐标系的坐标原点(O1O)0 2)点Bo是右上方特征孔的圆心,把点Ao到点Bo的方向视为X轴正方向;把点Ao沿AGV小车短边方向视为Y轴正方向;将线AoBo与Y轴负方向的角度aQ = -90°作为标准位置角度,同时机械臂记下此时的标准下料位置; 3)工业相机I和2分别采集AGV小车入库位置发生变化后AGV小车的两特征孔图像,并把采集的图像经相机与机械臂的双目系统标定,把图像坐标系转换为机械臂工件坐标系; 4)采用模板匹配方法,建立两特征孔的搜索区域与所选模板间的坐标对应关系,实现对特征孔搜索区域的粗定位; 5)由圆的拟合方法分别拟合离合器右下方特征孔圆C1和右上方特征孔圆C2; 6)在机械臂工件坐标系中根据圆Ci求出圆心A的坐标(X,y),根据圆C2求出圆心B的坐标(Xi,yI);根据求出的点A和点B坐标计算出线AB的角度a = -arctan ((χι_χ) / (yi_y)); 7)计算位置变化信息:ΑΧ = χ, Δ Y = y, Δ Angle = a-aQ,并发送给机械臂。
CN201610457274.2A 2016-06-22 2016-06-22 一种视觉引导下的离合器下料定位方法 CN105965519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610457274.2A CN105965519A (zh) 2016-06-22 2016-06-22 一种视觉引导下的离合器下料定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610457274.2A CN105965519A (zh) 2016-06-22 2016-06-22 一种视觉引导下的离合器下料定位方法

Publications (1)

Publication Number Publication Date
CN105965519A true CN105965519A (zh) 2016-09-28

Family

ID=57022926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610457274.2A CN105965519A (zh) 2016-06-22 2016-06-22 一种视觉引导下的离合器下料定位方法

Country Status (1)

Country Link
CN (1) CN105965519A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106695792A (zh) * 2017-01-05 2017-05-24 中国计量大学 基于机器视觉的码垛机器人跟踪监控系统及方法
CN107053310A (zh) * 2017-04-28 2017-08-18 武汉科技大学 一种模压纤维板精准定位方法
CN107103624A (zh) * 2017-04-13 2017-08-29 宁波舜宇智能科技有限公司 立体视觉搬运系统及其搬运方法
CN107782305A (zh) * 2017-09-22 2018-03-09 郑州郑大智能科技股份有限公司 一种基于数字字母识别的移动机器人定位方法
CN108345307A (zh) * 2018-03-05 2018-07-31 菲尼克斯(南京)智能制造技术工程有限公司 视觉引导系统和视觉引导方法
CN108363508A (zh) * 2018-01-13 2018-08-03 江南大学 一种手机触控屏Mark定位非接触式视觉检测方法
CN108536151A (zh) * 2018-05-06 2018-09-14 长春北方化工灌装设备股份有限公司 一种视觉导引的闭环执行系统及视觉导引方法
CN108858191A (zh) * 2018-06-29 2018-11-23 易思维(杭州)科技有限公司 适用于汽车顶盖自动装载过程的视觉引导方法
CN109764807A (zh) * 2019-01-14 2019-05-17 广东原点智能技术有限公司 发动机缸体位置标定的2d视觉检测方法及检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175725A (ja) * 1992-12-04 1994-06-24 Mitsubishi Heavy Ind Ltd ロボットの位置決め方法及びその装置
JP2003194522A (ja) * 2002-10-21 2003-07-09 Meiko:Kk プリント基板穴位置穴径検査機
CN104084702A (zh) * 2014-06-26 2014-10-08 长春光华微电子设备工程中心有限公司 不锈钢基片上料自动对位装置
CN104959989A (zh) * 2015-07-01 2015-10-07 江南大学 一种视觉引导下的电梯门板上料定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175725A (ja) * 1992-12-04 1994-06-24 Mitsubishi Heavy Ind Ltd ロボットの位置決め方法及びその装置
JP2003194522A (ja) * 2002-10-21 2003-07-09 Meiko:Kk プリント基板穴位置穴径検査機
CN104084702A (zh) * 2014-06-26 2014-10-08 长春光华微电子设备工程中心有限公司 不锈钢基片上料自动对位装置
CN104959989A (zh) * 2015-07-01 2015-10-07 江南大学 一种视觉引导下的电梯门板上料定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄金凤: "基于视觉伺服的AGV小车停车精度", 《河北联合大学学报(自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106695792A (zh) * 2017-01-05 2017-05-24 中国计量大学 基于机器视觉的码垛机器人跟踪监控系统及方法
CN107103624A (zh) * 2017-04-13 2017-08-29 宁波舜宇智能科技有限公司 立体视觉搬运系统及其搬运方法
CN107053310A (zh) * 2017-04-28 2017-08-18 武汉科技大学 一种模压纤维板精准定位方法
CN107053310B (zh) * 2017-04-28 2019-03-22 武汉科技大学 一种模压纤维板精准定位方法
CN107782305A (zh) * 2017-09-22 2018-03-09 郑州郑大智能科技股份有限公司 一种基于数字字母识别的移动机器人定位方法
CN108363508B (zh) * 2018-01-13 2021-03-23 江南大学 一种手机触控屏Mark定位非接触式视觉检测方法
CN108363508A (zh) * 2018-01-13 2018-08-03 江南大学 一种手机触控屏Mark定位非接触式视觉检测方法
CN108345307A (zh) * 2018-03-05 2018-07-31 菲尼克斯(南京)智能制造技术工程有限公司 视觉引导系统和视觉引导方法
CN108536151A (zh) * 2018-05-06 2018-09-14 长春北方化工灌装设备股份有限公司 一种视觉导引的闭环执行系统及视觉导引方法
CN108858191A (zh) * 2018-06-29 2018-11-23 易思维(杭州)科技有限公司 适用于汽车顶盖自动装载过程的视觉引导方法
CN109764807A (zh) * 2019-01-14 2019-05-17 广东原点智能技术有限公司 发动机缸体位置标定的2d视觉检测方法及检测系统

Similar Documents

Publication Publication Date Title
JP6586532B2 (ja) ロボットの把持のための深層機械学習方法および装置
CN103064417B (zh) 一种基于多传感器的全局定位导引系统及方法
CN107356230B (zh) 一种基于实景三维模型的数字测图方法和系统
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN102922521B (zh) 一种基于立体视觉伺服的机械臂系统及其实时校准方法
JP3242108B2 (ja) ターゲットマークの認識・追跡システム及び方法
CN105538345B (zh) 一种基于多镜头的智能机械手及定位装配方法
CN105716539B (zh) 一种快速高精度的三维形面测量方法
CN102514002B (zh) 一种数控车床单目视觉上下料机器人系统及方法
CN101370624B (zh) 自动化攫握零件的方法和系统
CN110462343A (zh) 基于地图的用于车辆的自动图像标记
CN103406905B (zh) 一种具有视觉伺服及检测功能的机器人系统
JP2018169403A (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN104786865B (zh) 一种基于单目视觉为电动汽车提供充电对接的方法
CN105225269B (zh) 基于运动机构的三维物体建模系统
CN204479490U (zh) 一种激光打标产品在线检测分析系统
US9672630B2 (en) Contour line measurement apparatus and robot system
US10055667B2 (en) Generating a model for an object encountered by a robot
CN101876532B (zh) 测量系统中的摄像机现场标定方法
CN107144992B (zh) 基于aoi技术的全自动化lcd检测控制系统及方法
CN104057453B (zh) 机器人装置以及被加工物的制造方法
JP2005201824A (ja) 計測装置
CN104786226A (zh) 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN106226325B (zh) 一种基于机器视觉的座椅表面缺陷检测系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication