CN104369188B - 基于机器视觉和超声波传感器的工件抓取装置与方法 - Google Patents

基于机器视觉和超声波传感器的工件抓取装置与方法 Download PDF

Info

Publication number
CN104369188B
CN104369188B CN201410667072.1A CN201410667072A CN104369188B CN 104369188 B CN104369188 B CN 104369188B CN 201410667072 A CN201410667072 A CN 201410667072A CN 104369188 B CN104369188 B CN 104369188B
Authority
CN
China
Prior art keywords
workpiece
ultrasonic sensor
ccd camera
plc
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410667072.1A
Other languages
English (en)
Other versions
CN104369188A (zh
Inventor
孙坚
张振
沈鹏程
尤于训
王亚丽
陶伟
刘春学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU MAEN SCIENCE & TECHNOLOGY CO., LTD.
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201410667072.1A priority Critical patent/CN104369188B/zh
Publication of CN104369188A publication Critical patent/CN104369188A/zh
Application granted granted Critical
Publication of CN104369188B publication Critical patent/CN104369188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于机器视觉和超声波传感器的工件抓取装置与方法。步进电机与升降平台连接,电机驱动器分别与PLC和安装在步进电机上的编码器相连;在载物台上叠放待抓取的工件;支架的固定板上,安装有超声波传感器和CCD相机,超声波传感器与PLC相连,相机分别与PLC和计算机相连;超声波传感器的发射端与相机的镜头底面平行,待抓取的工件位于相机的视野内,液晶显示屏、PLC和工业抓取机器人分别与计算机相连。超声波传感器实时探测工件上表面到相机的距离,相机采集工件轮廓图像,用单目相机识别平面工件空间坐标并进行抓取,减少计算机和机器人通讯的复杂性,减轻相机硬件成本和标定复杂性,提高工件抓取的效率。

Description

基于机器视觉和超声波传感器的工件抓取装置与方法
技术领域
[0001] 本发明涉及工件的抓取装置与方法,具体涉及一种基于机器视觉和超声波传感器的工件抓取装置与方法。
背景技术
[0002] 现阶段,对待抓取目标的空间坐标通常采用双目视觉的识别方法,这种识别方法对相机精度要求较高,硬件平台成本高,图像处理算法比较繁琐,对工件的高度也有特定的要求,不能满足连续抓取的条件。
[0003] 超声波传感器是一种非接触高精度测量的测距单元,具有发送和接收声波的双重作用。超声波传感器是利用压电效应的原理将电能和超声波相互转化,即在发射超声波的时候,将电能转换,发射超声波;而在收到回波的时候,则将超声振动转换成电信号。具有指向性强,能量消耗缓慢,在介质中传播距离远的优点
发明内容
[0004] 针对背景技术中存在的问题,本发明的目的在于提供一种基于机器视觉和超声波传感器的工件抓取装置与方法,有效的解决工件识别设备成本高,对工件高度有特殊限定等问题。
[0005] 本发明采用的技术方案如下:
[0006] 一、一种基于机器视觉和超声波传感器的工件抓取装置:
[0007] 本发明包括升降平台、载物台、电机驱动器、PLC、步进电机、编码器、计算机、液晶显示屏、超声波传感器、夹具、CCD相机、支架、工业抓取机器人和固定板;步进电机与升降平台连接,电机驱动器安装在升降平台的底面上,电机驱动器分别与PLC和安装在步进电机上的编码器相连;在升降平台的顶面载物台上水平叠放上层待抓取的工件和下层待抓取的工件;支架一端的固定板上,安装有夹具和CCD相机,超声波传感器安装在夹具上,超声波传感器与PLC相连,CCD相机分别与PLC和计算机相连;超声波传感器的发射端与CCD相机的镜头底面平行,在待抓取的工件上面所成的图像位于CCD相机的拍摄视野内,液晶显示屏、PLC和工业抓取机器人分别与计算机相连。
[0008] 二、一种基于机器视觉和超声波传感器的工件抓取方法,该方法的步骤如下:
[0009] I) CXD相机垂直向下照射在待抓取的工件上表面,通过调节夹具调整超声波传感器的发射端位置,使超声波传感器的发射端与CCD相机的镜头底面保持平行;
[0010] 2)对CCD相机进行标定,标定出CCD相机相对于靶标的外参数;
[0011] 3)对工业抓取机器人进行手眼标定,标定工业抓取机器人的世界坐标系与靶标坐标系之间的关系,再用矩阵变换获得CXD相机坐标系相对于工业抓取机器人的世界坐标系的关系;
[0012] 4)对PLC进行参数设定,设超声波传感器采集到的实时距离为参数L,CCD相机的成像距离为D,将D设定为判定步进电机是否停转的阈值,当L=D时,步进电机停转,升降平台停止上升;
[0013] 5)步进电机通电,升降平台匀速上升,超声波传感器采集到上层待抓取的工件的距离信号实时反馈给PLC,当上层待抓取的工件上表面到传感器的距离LI等于相机的成像D距离时,PLC给步进电机驱动器低电平信号,步进电机停转,CCD相机采集图像,将采集到的图像传输至计算机进行图像处理,工业抓取机器人与计算机进行通讯,工业抓取机器人调节机械臂位姿进行对上层待抓取的工件的抓取过程;重复上述步骤5)完成对下层待抓取的工件的抓取。
[0014] 与背景技术相比,本发明具有的有益效果是:
[0015] 本发明将超声波传感技术应用到基于视觉的抓取机器人系统中,运用超声波传感器实时探测工件上表面到相机的距离,对不同高度的工件,CCD相机每次采集工件轮廓图像的位置都处于CCD相机最佳的成像距离,实现了用单目相机识别工件空间坐标并进行抓取,减少了计算机和机器人通讯的复杂性,减轻了相机硬件成本和标定复杂性,提高了工件抓取的效率。
附图说明
[0016] 图1是本发明装置的结构原理示意图。
[0017] 图2是本发明CXD相机和待抓取工件的主视图。
[0018] 图3是本发明待抓取工件的俯视图。
[0019] 图4是本发明方法的工作流程图。
[0020] 图中:1、升降平台,2、载物台,3、电机驱动器,4、PLC(可编程控制器),5、步进电机,6、编码器,7、计算机,8、液晶显示屏,9、超声波传感器,10、夹具,11、CXD相机,12、支架,13、上层待抓取工件,14、下层待抓取工件,15、工业抓取机器人(FANUC M-1OiA),16、固定板。
具体实施方式
[0021] 下面结合附图和具体实施例对本发明作进一步的说明。
[0022] 如图1所示,本发明包括升降平台1、载物台2、电机驱动器3、PLC 4、步进电机5、编码器6、计算机7、液晶显示屏8、超声波传感器9、夹具10、C⑶相机11、支架12、工业抓取机器人15和固定板16。步进电机5与升降平台I连接,电机驱动器3安装在升降平台I的底面上,电机驱动器3分别与PLC 4和安装在步进电机5上的编码器6相连;在升降平台I的顶面载物台2上水平叠放上层待抓取的工件13和下层待抓取的工件14 ;支架12 —端的固定板16上,安装有超声波传感器9和CXD相机11,超声波传感器9与PLC 4相连,CXD相机11分别与PLC 4和计算机相连;超声波传感器9的发射端与CCD相机11的镜头底面平行,在待抓取的工件上面所成的图像位于CCD相机11的拍摄视野内,、液晶显示屏8、PLC 4和工业抓取机器人15分别与计算机7相连。
[0023] 如图2所示,LI为上层待抓取工件13上表面到相机镜头的距离,调节CXD相机11垂直向下照射在抓取工件13的工件上表面,调整超声波传感器9使其发射端与CXD相机11镜头的底部平行,并且抓取工件13的上表面在传感器的探照范围内,LI为上层待抓取工件13到超声波传感器的距离,L2为下层待抓取工件到超声波传感器的距离,载物台上升过程中,当传感器实时探测到的距离L等于相机到工件的最佳成像距离D时,载物台停止上升,PLC触发相机拍照,上层待抓取工件13抓取完成后,超声波传感器到下层待抓取工件13的距离变成L2,此时载物台继续上升,进行下一个单元的抓取,直至工件全部抓取完成,相机拍到的图像在计算机中无法进行模板的匹配,抓取工作结束。
[0024] 如图3所示,当上层待抓取工件13到超声波传感器9的距离等于相机成像距离D时,载物台2上的工件不再上升,CXD相机11先后采集上层待抓取工件13和下层待抓取工件14的上表面图像,得到工件的外形特征,在计算机7中通过图像形态学和图像细化处理技术识别工件的外围轮廓及中心坐标,计算机7与工业抓取机器人上的多轴运动控制器相连,给工业抓取机器人发送指令,调节机械臂的位姿,完成对待抓取工件的精确抓取。
[0025] 本发明的工作原理是:
[0026] I)对CCD相机进行标定,标定出CCD相机相对于靶标的外参数。
[0027] 2)对工业抓取机器人进行手眼标定,标定工业抓取机器人的世界坐标系与靶标坐标系之间的关系,再用矩阵变换获得CCD相机坐标系相对于工业抓取机器人的世界坐标系的关系。
[0028] 3)对PLC进行参数设定,设超声波传感器采集到的实时距离为参数L,CXD相机的成像距离为D,将D设定为判定步进电机是否停转的阈值。
[0029] 4)如图4所示,基于视觉和超声波传感器的识别抓取原理是将待识别抓取的平面工件叠放在升降平台上,超声波传感器和CCD相机安装在同一高度,照射范围垂直于工件上表面,超声波传感器实时探测工件到CCD相机的距离,在PLC中预先设定判别电机停转的阈值,该阈值等于相机的成像距离D,通电后,电机驱动升降平台上升,超声波传感器实时采集距离信号,当工件到传感器的距离L等于阈值D时,PLC控制电机停转,升降台停止上升,并触发CCD相机采集工件图像,传输至计算机进行图像预处理和图像分割,计算机提取图像特征,进行工件的识别,输出到机器人调整机械臂的位姿,完成本单元抓取,平台继续上升,进入下一个抓取环节,直到相机采集到的图像中没有可识别的工件,抓取工作结束。
[0030] 以上所述实施方式适用于不同高度的平面工件识别和抓取,简化了视觉单元,降低了机器人抓取过程中计算机算法的复杂性,提高了工作效率。

Claims (2)

1.一种基于机器视觉和超声波传感器的工件抓取装置,其特征在于:包括升降平台(I)、载物台(2)、电机驱动器(3)、PLC (4)、步进电机(5)、编码器(6)、计算机(7)、液晶显示屏(8)、超声波传感器(9)、夹具(10)、C⑶相机(11)、支架(12)、工业抓取机器人(15)和固定板(16 );步进电机(5 )与升降平台(I)连接,电机驱动器(3 )安装在升降平台(I)的底面上,电机驱动器(3)分别与PLC (4)和安装在步进电机(5)上的编码器(6)相连;在升降平台(I)的顶面载物台(2)上水平叠放上层待抓取的工件(13)和下层待抓取的工件(14);支架(12 ) —端的固定板(16 )上,安装有夹具(10 )和C⑶相机(11),超声波传感器(9 )安装在夹具(10)上,超声波传感器(9)与PLC (4)相连,C⑶相机(11)分别与PLC (4)和计算机(7)相连;超声波传感器(9)的发射端与CCD相机(11)的镜头底面平行,在待抓取的工件上面所成的图像位于C⑶相机(11)的拍摄视野内,液晶显示屏(8)、PLC (4)和工业抓取机器人(15)分别与计算机(7)相连。
2.用于权利要求1所述装置的一种基于机器视觉和超声波传感器的工件抓取方法,其特征在于,该方法的步骤如下: 1) CCD相机垂直向下照射在待抓取的工件上表面,通过调节夹具调整超声波传感器的发射端位置,使超声波传感器的发射端与CCD相机的镜头底面保持平行; 2)对CCD相机进行标定,标定出CCD相机相对于靶标的外参数; 3)对工业抓取机器人进行手眼标定,标定工业抓取机器人的世界坐标系与靶标坐标系之间的关系,再用矩阵变换获得CCD相机坐标系相对于工业抓取机器人的世界坐标系的关系; 4)对PLC进行参数设定,设超声波传感器采集到的实时距离为参数L,CCD相机的成像距离为D,将D设定为判定步进电机是否停转的阈值,当L=D时,步进电机停转,升降平台停止上升; 5)步进电机通电,升降平台匀速上升,超声波传感器采集到上层待抓取的工件的距离信号实时反馈给PLC,当上层待抓取的工件上表面到传感器的距离L等于CCD相机的成像D距离时,PLC给步进电机驱动器低电平信号,步进电机停转,CCD相机采集图像,将采集到的图像传输至计算机进行图像处理,工业抓取机器人与计算机进行通讯,工业抓取机器人调节机械臂位姿进行对上层待抓取的工件的抓取过程;重复上述步骤5)完成对下层待抓取的工件的抓取。
CN201410667072.1A 2014-11-20 2014-11-20 基于机器视觉和超声波传感器的工件抓取装置与方法 Active CN104369188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410667072.1A CN104369188B (zh) 2014-11-20 2014-11-20 基于机器视觉和超声波传感器的工件抓取装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410667072.1A CN104369188B (zh) 2014-11-20 2014-11-20 基于机器视觉和超声波传感器的工件抓取装置与方法

Publications (2)

Publication Number Publication Date
CN104369188A CN104369188A (zh) 2015-02-25
CN104369188B true CN104369188B (zh) 2015-11-11

Family

ID=52548511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410667072.1A Active CN104369188B (zh) 2014-11-20 2014-11-20 基于机器视觉和超声波传感器的工件抓取装置与方法

Country Status (1)

Country Link
CN (1) CN104369188B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105084022B (zh) * 2015-07-04 2017-03-08 芜湖哈特机器人产业技术研究院有限公司 一种铅酸蓄电池上铅系统及其控制方法
CN105606481B (zh) * 2015-12-29 2019-01-01 西安双健包装有限公司 一种包装盒检测系统
CN106018415A (zh) * 2016-05-20 2016-10-12 哈尔滨理工大学 基于显微视觉的微小零件质量检测系统
CN106272424B (zh) * 2016-09-07 2017-10-27 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法
CN107248177B (zh) * 2017-05-24 2020-05-22 深圳优地科技有限公司 一种轮式机器人的定位方法和装置
CN107717987A (zh) * 2017-09-27 2018-02-23 西安华航唯实机器人科技有限公司 一种具有视觉系统的工业机器人及其控制方法
CN108908344A (zh) * 2018-08-17 2018-11-30 云南电网有限责任公司昆明供电局 一种巡检机器人机械臂末端空间定位方法
CN109278044A (zh) * 2018-09-14 2019-01-29 合肥工业大学 一种手眼标定及坐标转换方法
CN111583239B (zh) * 2020-05-09 2021-03-30 中南大学 蜂窝结构几何规整度图像识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2270162A (en) * 1992-08-31 1994-03-02 Samsung Electronics Co Ltd Rotatable ultrasonic scanning apparatus.
CN2747031Y (zh) * 2004-09-10 2005-12-21 中国科学院自动化研究所 一种移动机械手控制系统
CN101354323A (zh) * 2008-08-18 2009-01-28 莱芜钢铁股份有限公司 超声波检测自动采样装置及其工作方法
JP2009294033A (ja) * 2008-06-04 2009-12-17 Central Japan Railway Co パンタグラフのホーン監視装置
CN101770236A (zh) * 2008-12-31 2010-07-07 吉林市北华航天科技有限公司 环卫机器人控制系统
CN102124866A (zh) * 2011-01-19 2011-07-20 南京农业大学 一种轮式移动水果采摘机器人及水果采摘方法
CA2496935C (en) * 2002-08-28 2011-09-13 Wayne State University System and method for acoustic chaos in sonic infrared imaging
CN204295687U (zh) * 2014-11-20 2015-04-29 中国计量学院 一种基于机器视觉和超声波传感器的工件抓取装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2270162A (en) * 1992-08-31 1994-03-02 Samsung Electronics Co Ltd Rotatable ultrasonic scanning apparatus.
CA2496935C (en) * 2002-08-28 2011-09-13 Wayne State University System and method for acoustic chaos in sonic infrared imaging
CN2747031Y (zh) * 2004-09-10 2005-12-21 中国科学院自动化研究所 一种移动机械手控制系统
JP2009294033A (ja) * 2008-06-04 2009-12-17 Central Japan Railway Co パンタグラフのホーン監視装置
CN101354323A (zh) * 2008-08-18 2009-01-28 莱芜钢铁股份有限公司 超声波检测自动采样装置及其工作方法
CN101770236A (zh) * 2008-12-31 2010-07-07 吉林市北华航天科技有限公司 环卫机器人控制系统
CN102124866A (zh) * 2011-01-19 2011-07-20 南京农业大学 一种轮式移动水果采摘机器人及水果采摘方法
CN204295687U (zh) * 2014-11-20 2015-04-29 中国计量学院 一种基于机器视觉和超声波传感器的工件抓取装置

Also Published As

Publication number Publication date
CN104369188A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
US10667581B2 (en) Automated identification and assembly of shoe parts
US9959626B2 (en) Three-dimensional depth perception method and apparatus with an adjustable working range
CN104243828B (zh) 一种拍摄照片的方法、装置及终端
ES2730952T3 (es) Procedimiento para el filtrado de imágenes de objetos objetivo en un sistema robótico
CN104765367B (zh) 实现智能化越障的服务机器人
CN104808664B (zh) 一种实现智能化越障的方法
EP1878338B1 (en) An apparatus and method for recognising and determining a position
CN202438792U (zh) 焊接机器人控制系统
US10551821B2 (en) Robot, robot control apparatus and robot system
JP5630208B2 (ja) 形状計測装置、ロボットシステムおよび形状計測方法
WO2019071989A1 (zh) 一种智能设备的语音增强方法、装置及智能设备
CN108399639A (zh) 基于深度学习的快速自动抓取与摆放方法
CN100487724C (zh) 一种快速目标识别与定位系统及方法
CN105030280B (zh) 一种无线智能超声胎儿成像系统
WO2018108098A1 (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
EP2581178B1 (en) Workpiece takeout system and method for producing a to-be-processed material
CN104842362B (zh) 一种机器人抓取物料包的方法和机器人抓取装置
CN100361792C (zh) 一种移动机械手控制系统
CN106737673B (zh) 一种基于深度学习的端到端的机械臂控制的方法
CN105728972A (zh) 一种凹凸形变角焊缝自适应跟踪控制装置及其控制方法
CN105656260B (zh) 一种电机转子视觉组装生产线及组装工艺
CN101856773A (zh) 一种激光加工初始位置的对焦定位方法及激光加工装置
CN102514002A (zh) 一种数控车床单目视觉上下料机器人系统及方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
CP03 Change of name, title or address

Address after: 310018 No. 258, Xue Yuan Street, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee after: CHINA JILIANG UNIVERSITY

Address before: 310018 Xueyuan Street, Jianggan Economic Development Zone, Hangzhou City, Zhejiang Province

Patentee before: China Jiliang University

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20190328

Address after: Room A507-1, Building 9, Jiuhuan Road, Jianggan District, Hangzhou City, Zhejiang 310000

Patentee after: HANGZHOU MAEN SCIENCE & TECHNOLOGY CO., LTD.

Address before: 310018 No. 258, Xue Yuan Street, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee before: CHINA JILIANG UNIVERSITY

TR01 Transfer of patent right