CN104369188B - 基于机器视觉和超声波传感器的工件抓取装置与方法 - Google Patents
基于机器视觉和超声波传感器的工件抓取装置与方法 Download PDFInfo
- Publication number
- CN104369188B CN104369188B CN201410667072.1A CN201410667072A CN104369188B CN 104369188 B CN104369188 B CN 104369188B CN 201410667072 A CN201410667072 A CN 201410667072A CN 104369188 B CN104369188 B CN 104369188B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- ultrasonic sensor
- ccd camera
- camera
- plc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器视觉和超声波传感器的工件抓取装置与方法。步进电机与升降平台连接，电机驱动器分别与PLC和安装在步进电机上的编码器相连；在载物台上叠放待抓取的工件；支架的固定板上，安装有超声波传感器和CCD相机，超声波传感器与PLC相连，相机分别与PLC和计算机相连；超声波传感器的发射端与相机的镜头底面平行，待抓取的工件位于相机的视野内，液晶显示屏、PLC和工业抓取机器人分别与计算机相连。超声波传感器实时探测工件上表面到相机的距离，相机采集工件轮廓图像，用单目相机识别平面工件空间坐标并进行抓取，减少计算机和机器人通讯的复杂性，减轻相机硬件成本和标定复杂性，提高工件抓取的效率。
Description
技术领域
本发明涉及工件的抓取装置与方法，具体涉及一种基于机器视觉和超声波传感器的工件抓取装置与方法。
背景技术
现阶段，对待抓取目标的空间坐标通常采用双目视觉的识别方法，这种识别方法对相机精度要求较高，硬件平台成本高，图像处理算法比较繁琐，对工件的高度也有特定的要求，不能满足连续抓取的条件。
超声波传感器是一种非接触高精度测量的测距单元，具有发送和接收声波的双重作用。超声波传感器是利用压电效应的原理将电能和超声波相互转化，即在发射超声波的时候，将电能转换，发射超声波；而在收到回波的时候，则将超声振动转换成电信号。具有指向性强，能量消耗缓慢，在介质中传播距离远的优点
发明内容
针对背景技术中存在的问题，本发明的目的在于提供一种基于机器视觉和超声波传感器的工件抓取装置与方法，有效的解决工件识别设备成本高，对工件高度有特殊限定等问题。
本发明采用的技术方案如下：
一、一种基于机器视觉和超声波传感器的工件抓取装置：
本发明包括升降平台、载物台、电机驱动器、PLC、步进电机、编码器、计算机、液晶显示屏、超声波传感器、夹具、CCD相机、支架、工业抓取机器人和固定板；步进电机与升降平台连接，电机驱动器安装在升降平台的底面上，电机驱动器分别与PLC和安装在步进电机上的编码器相连；在升降平台的顶面载物台上水平叠放上层待抓取的工件和下层待抓取的工件；支架一端的固定板上，安装有夹具和CCD相机，超声波传感器安装在夹具上，超声波传感器与PLC相连，CCD相机分别与PLC和计算机相连；超声波传感器的发射端与CCD相机的镜头底面平行，在待抓取的工件上面所成的图像位于CCD相机的拍摄视野内，液晶显示屏、PLC和工业抓取机器人分别与计算机相连。
二、一种基于机器视觉和超声波传感器的工件抓取方法，该方法的步骤如下：
1)CCD相机垂直向下照射在待抓取的工件上表面，通过调节夹具调整超声波传感器的发射端位置，使超声波传感器的发射端与CCD相机的镜头底面保持平行；
2)对CCD相机进行标定，标定出CCD相机相对于靶标的外参数；
3)对工业抓取机器人进行手眼标定，标定工业抓取机器人的世界坐标系与靶标坐标系之间的关系，再用矩阵变换获得CCD相机坐标系相对于工业抓取机器人的世界坐标系的关系；
4)对PLC进行参数设定，设超声波传感器采集到的实时距离为参数L，CCD相机的成像距离为D，将D设定为判定步进电机是否停转的阈值，当L=D时，步进电机停转，升降平台停止上升；
5)步进电机通电，升降平台匀速上升，超声波传感器采集到上层待抓取的工件的距离信号实时反馈给PLC，当上层待抓取的工件上表面到传感器的距离L1等于相机的成像D距离时，PLC给步进电机驱动器低电平信号，步进电机停转，CCD相机采集图像，将采集到的图像传输至计算机进行图像处理，工业抓取机器人与计算机进行通讯，工业抓取机器人调节机械臂位姿进行对上层待抓取的工件的抓取过程；重复上述步骤5)完成对下层待抓取的工件的抓取。
与背景技术相比，本发明具有的有益效果是：
本发明将超声波传感技术应用到基于视觉的抓取机器人系统中，运用超声波传感器实时探测工件上表面到相机的距离，对不同高度的工件，CCD相机每次采集工件轮廓图像的位置都处于CCD相机最佳的成像距离，实现了用单目相机识别工件空间坐标并进行抓取，减少了计算机和机器人通讯的复杂性，减轻了相机硬件成本和标定复杂性，提高了工件抓取的效率。
附图说明
图1是本发明装置的结构原理示意图。
图2是本发明CCD相机和待抓取工件的主视图。
图3是本发明待抓取工件的俯视图。
图4是本发明方法的工作流程图。
图中：1、升降平台，2、载物台，3、电机驱动器，4、PLC(可编程控制器)，5、步进电机，6、编码器，7、计算机，8、液晶显示屏，9、超声波传感器，10、夹具，11、CCD相机，12、支架，13、上层待抓取工件，14、下层待抓取工件，15、工业抓取机器人(FANUCM-10iA)，16、固定板。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
如图1所示，本发明包括升降平台1、载物台2、电机驱动器3、PLC4、步进电机5、编码器6、计算机7、液晶显示屏8、超声波传感器9、夹具10、CCD相机11、支架12、工业抓取机器人15和固定板16。步进电机5与升降平台1连接，电机驱动器3安装在升降平台1的底面上，电机驱动器3分别与PLC4和安装在步进电机5上的编码器6相连；在升降平台1的顶面载物台2上水平叠放上层待抓取的工件13和下层待抓取的工件14；支架12一端的固定板16上，安装有超声波传感器9和CCD相机11，超声波传感器9与PLC4相连，CCD相机11分别与PLC4和计算机相连；超声波传感器9的发射端与CCD相机11的镜头底面平行，在待抓取的工件上面所成的图像位于CCD相机11的拍摄视野内，、液晶显示屏8、PLC4和工业抓取机器人15分别与计算机7相连。
如图2所示，L1为上层待抓取工件13上表面到相机镜头的距离，调节CCD相机11垂直向下照射在抓取工件13的工件上表面，调整超声波传感器9使其发射端与CCD相机11镜头的底部平行，并且抓取工件13的上表面在传感器的探照范围内，L1为上层待抓取工件13到超声波传感器的距离，L2为下层待抓取工件到超声波传感器的距离，载物台上升过程中，当传感器实时探测到的距离L等于相机到工件的最佳成像距离D时，载物台停止上升，PLC触发相机拍照，上层待抓取工件13抓取完成后，超声波传感器到下层待抓取工件13的距离变成L2，此时载物台继续上升，进行下一个单元的抓取，直至工件全部抓取完成，相机拍到的图像在计算机中无法进行模板的匹配，抓取工作结束。
如图3所示，当上层待抓取工件13到超声波传感器9的距离等于相机成像距离D时，载物台2上的工件不再上升，CCD相机11先后采集上层待抓取工件13和下层待抓取工件14的上表面图像，得到工件的外形特征，在计算机7中通过图像形态学和图像细化处理技术识别工件的外围轮廓及中心坐标，计算机7与工业抓取机器人上的多轴运动控制器相连，给工业抓取机器人发送指令，调节机械臂的位姿，完成对待抓取工件的精确抓取。
本发明的工作原理是：
1)对CCD相机进行标定，标定出CCD相机相对于靶标的外参数。
2)对工业抓取机器人进行手眼标定，标定工业抓取机器人的世界坐标系与靶标坐标系之间的关系，再用矩阵变换获得CCD相机坐标系相对于工业抓取机器人的世界坐标系的关系。
3)对PLC进行参数设定，设超声波传感器采集到的实时距离为参数L，CCD相机的成像距离为D，将D设定为判定步进电机是否停转的阈值。
4)如图4所示，基于视觉和超声波传感器的识别抓取原理是将待识别抓取的平面工件叠放在升降平台上，超声波传感器和CCD相机安装在同一高度，照射范围垂直于工件上表面，超声波传感器实时探测工件到CCD相机的距离，在PLC中预先设定判别电机停转的阈值，该阈值等于相机的成像距离D，通电后，电机驱动升降平台上升，超声波传感器实时采集距离信号，当工件到传感器的距离L等于阈值D时，PLC控制电机停转，升降台停止上升，并触发CCD相机采集工件图像，传输至计算机进行图像预处理和图像分割，计算机提取图像特征，进行工件的识别，输出到机器人调整机械臂的位姿，完成本单元抓取，平台继续上升，进入下一个抓取环节，直到相机采集到的图像中没有可识别的工件，抓取工作结束。
以上所述实施方式适用于不同高度的平面工件识别和抓取，简化了视觉单元，降低了机器人抓取过程中计算机算法的复杂性，提高了工作效率。
Claims (2)
1.一种基于机器视觉和超声波传感器的工件抓取装置，其特征在于：包括升降平台（1）、载物台（2）、电机驱动器（3）、PLC（4）、步进电机（5）、编码器（6）、计算机（7）、液晶显示屏（8）、超声波传感器（9）、夹具（10）、CCD相机（11）、支架（12）、工业抓取机器人（15）和固定板（16）；步进电机（5）与升降平台（1）连接，电机驱动器（3）安装在升降平台（1）的底面上，电机驱动器（3）分别与PLC（4）和安装在步进电机（5）上的编码器（6）相连；在升降平台（1）的顶面载物台（2）上水平叠放上层待抓取的工件（13）和下层待抓取的工件（14）；支架（12）一端的固定板（16）上，安装有夹具（10）和CCD相机（11），超声波传感器（9）安装在夹具（10）上，超声波传感器（9）与PLC（4）相连，CCD相机（11）分别与PLC（4）和计算机（7）相连；超声波传感器（9）的发射端与CCD相机（11）的镜头底面平行，在待抓取的工件上面所成的图像位于CCD相机（11）的拍摄视野内，液晶显示屏（8）、PLC（4）和工业抓取机器人（15）分别与计算机（7）相连。
2.用于权利要求1所述装置的一种基于机器视觉和超声波传感器的工件抓取方法，其特征在于，该方法的步骤如下：
1)CCD相机垂直向下照射在待抓取的工件上表面，通过调节夹具调整超声波传感器的发射端位置，使超声波传感器的发射端与CCD相机的镜头底面保持平行；
2)对CCD相机进行标定，标定出CCD相机相对于靶标的外参数；
3)对工业抓取机器人进行手眼标定，标定工业抓取机器人的世界坐标系与靶标坐标系之间的关系，再用矩阵变换获得CCD相机坐标系相对于工业抓取机器人的世界坐标系的关系；
4)对PLC进行参数设定，设超声波传感器采集到的实时距离为参数L，CCD相机的成像距离为D，将D设定为判定步进电机是否停转的阈值，当L=D时，步进电机停转，升降平台停止上升；
5)步进电机通电，升降平台匀速上升，超声波传感器采集到上层待抓取的工件的距离信号实时反馈给PLC，当上层待抓取的工件上表面到传感器的距离L等于CCD相机的成像D距离时，PLC给步进电机驱动器低电平信号，步进电机停转，CCD相机采集图像，将采集到的图像传输至计算机进行图像处理，工业抓取机器人与计算机进行通讯，工业抓取机器人调节机械臂位姿进行对上层待抓取的工件的抓取过程；重复上述步骤5)完成对下层待抓取的工件的抓取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410667072.1A CN104369188B (zh) | 2014-11-20 | 2014-11-20 | 基于机器视觉和超声波传感器的工件抓取装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410667072.1A CN104369188B (zh) | 2014-11-20 | 2014-11-20 | 基于机器视觉和超声波传感器的工件抓取装置与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104369188A CN104369188A (zh) | 2015-02-25 |
| CN104369188B true CN104369188B (zh) | 2015-11-11 |
Family
ID=52548511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410667072.1A Expired - Fee Related CN104369188B (zh) | 2014-11-20 | 2014-11-20 | 基于机器视觉和超声波传感器的工件抓取装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104369188B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105084022B (zh) * | 2015-07-04 | 2017-03-08 | 芜湖哈特机器人产业技术研究院有限公司 | 一种铅酸蓄电池上铅系统及其控制方法 |
| CN105606481B (zh) * | 2015-12-29 | 2019-01-01 | 西安双健包装有限公司 | 一种包装盒检测系统 |
| CN106018415A (zh) * | 2016-05-20 | 2016-10-12 | 哈尔滨理工大学 | 基于显微视觉的微小零件质量检测系统 |
| CN106272424B (zh) * | 2016-09-07 | 2017-10-27 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
| KR102576842B1 (ko) * | 2017-01-04 | 2023-09-12 | 삼성전자주식회사 | 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치 |
| CN110506297B (zh) * | 2017-04-17 | 2023-08-11 | 康耐视公司 | 高精确度校准系统和方法 |
| CN107248177B (zh) * | 2017-05-24 | 2020-05-22 | 深圳优地科技有限公司 | 一种轮式机器人的定位方法和装置 |
| CN109540105A (zh) * | 2017-09-22 | 2019-03-29 | 北京印刷学院 | 一种基于双目视觉的快递包裹抓取装置和抓取方法 |
| CN107717987A (zh) * | 2017-09-27 | 2018-02-23 | 西安华航唯实机器人科技有限公司 | 一种具有视觉系统的工业机器人及其控制方法 |
| CN108313748A (zh) * | 2018-04-18 | 2018-07-24 | 上海发那科机器人有限公司 | 一种3d视觉纸箱拆垛系统 |
| CN108608440A (zh) * | 2018-07-19 | 2018-10-02 | 深圳市寒武纪智能科技有限公司 | 服务机器人和服务机器人系统 |
| CN108709621B (zh) * | 2018-08-02 | 2024-04-26 | 河北工业大学 | 一种基于超声阵列的异形工件检测抓取装置 |
| CN108908344A (zh) * | 2018-08-17 | 2018-11-30 | 云南电网有限责任公司昆明供电局 | 一种巡检机器人机械臂末端空间定位方法 |
| CN109344728B (zh) * | 2018-09-07 | 2021-09-17 | 浙江大丰实业股份有限公司 | 舞台剪刀撑安全维护平台 |
| CN109278044A (zh) * | 2018-09-14 | 2019-01-29 | 合肥工业大学 | 一种手眼标定及坐标转换方法 |
| CN109278021B (zh) * | 2018-10-12 | 2023-09-01 | 大连豪森瑞德设备制造有限公司 | 一种用于抓取薄壁壳体类工件的机器人工具系统 |
| CN110370304A (zh) * | 2019-03-29 | 2019-10-25 | 共享智能铸造产业创新中心有限公司 | 一种桁架机械手的自动识别抓取方法 |
| CN110480685A (zh) * | 2019-05-15 | 2019-11-22 | 青岛科技大学 | 一种农用车轮自动加工生产线视觉机械手 |
| CN110293200A (zh) * | 2019-08-08 | 2019-10-01 | 中国矿业大学(北京) | 一种模锻设备机器人化辅助装置及锻件异位检测方法 |
| WO2021227285A1 (zh) * | 2020-05-09 | 2021-11-18 | 中南大学 | 蜂窝结构几何规整度图像识别方法及系统 |
| CN111583239B (zh) * | 2020-05-09 | 2021-03-30 | 中南大学 | 蜂窝结构几何规整度图像识别方法及系统 |
| WO2021227286A1 (zh) * | 2020-05-09 | 2021-11-18 | 中南大学 | 超大面积蜂窝产品规整度的移动式检测方法及装置 |
| CN111618830B (zh) * | 2020-06-09 | 2023-12-26 | 湖州职业技术学院 | 一种直角坐标抓禽机器人集成平台 |
| CN112528736A (zh) * | 2020-11-01 | 2021-03-19 | 泰州市出彩网络科技有限公司 | 应用定制数据处理的操控简化系统 |
| CN113211450A (zh) * | 2021-06-17 | 2021-08-06 | 宝武集团马钢轨交材料科技有限公司 | 火车车轮视觉识别定位校准装置及方法 |
| CN115674080B (zh) * | 2022-11-02 | 2024-09-06 | 一汽解放汽车有限公司 | 车窗装配系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2270162A (en) * | 1992-08-31 | 1994-03-02 | Samsung Electronics Co Ltd | Rotatable ultrasonic scanning apparatus. |
| CN2747031Y (zh) * | 2004-09-10 | 2005-12-21 | 中国科学院自动化研究所 | 一种移动机械手控制系统 |
| CN101354323A (zh) * | 2008-08-18 | 2009-01-28 | 莱芜钢铁股份有限公司 | 超声波检测自动采样装置及其工作方法 |
| JP2009294033A (ja) * | 2008-06-04 | 2009-12-17 | Meidensha Corp | パンタグラフのホーン監視装置 |
| CN101770236A (zh) * | 2008-12-31 | 2010-07-07 | 吉林市北华航天科技有限公司 | 环卫机器人控制系统 |
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CA2496935C (en) * | 2002-08-28 | 2011-09-13 | Wayne State University | System and method for acoustic chaos in sonic infrared imaging |
| CN204295687U (zh) * | 2014-11-20 | 2015-04-29 | 中国计量学院 | 一种基于机器视觉和超声波传感器的工件抓取装置 |
-
2014
- 2014-11-20 CN CN201410667072.1A patent/CN104369188B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2270162A (en) * | 1992-08-31 | 1994-03-02 | Samsung Electronics Co Ltd | Rotatable ultrasonic scanning apparatus. |
| CA2496935C (en) * | 2002-08-28 | 2011-09-13 | Wayne State University | System and method for acoustic chaos in sonic infrared imaging |
| CN2747031Y (zh) * | 2004-09-10 | 2005-12-21 | 中国科学院自动化研究所 | 一种移动机械手控制系统 |
| JP2009294033A (ja) * | 2008-06-04 | 2009-12-17 | Meidensha Corp | パンタグラフのホーン監視装置 |
| CN101354323A (zh) * | 2008-08-18 | 2009-01-28 | 莱芜钢铁股份有限公司 | 超声波检测自动采样装置及其工作方法 |
| CN101770236A (zh) * | 2008-12-31 | 2010-07-07 | 吉林市北华航天科技有限公司 | 环卫机器人控制系统 |
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN204295687U (zh) * | 2014-11-20 | 2015-04-29 | 中国计量学院 | 一种基于机器视觉和超声波传感器的工件抓取装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104369188A (zh) | 2015-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104369188B (zh) | 基于机器视觉和超声波传感器的工件抓取装置与方法 | |
| CN109483554B (zh) | 基于全局和局部视觉语义的机器人动态抓取方法及系统 | |
| CN204295687U (zh) | 一种基于机器视觉和超声波传感器的工件抓取装置 | |
| CN104018850B (zh) | 基于双目视觉的管片拼装机的管片定位及抓取系统 | |
| CN108107837B (zh) | 一种基于视觉引导的玻璃加工装置及方法 | |
| WO2018076776A1 (zh) | 机器人、机械臂及其控制方法和装置 | |
| CN111906788B (zh) | 一种基于机器视觉的卫浴智能打磨系统及其打磨方法 | |
| CN103895042A (zh) | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 | |
| CN107053173A (zh) | 机器人抓取系统及抓取工件的方法 | |
| CN104786865A (zh) | 一种基于单目视觉为电动汽车提供充电对接的装置和方法 | |
| CN106269548A (zh) | 一种物体自动分拣方法及其装置 | |
| CN107263468A (zh) | 一种利用数字图像处理技术的scara机器人装配方法 | |
| CN109459984B (zh) | 一种基于三维点云的定位抓取系统及其使用方法 | |
| CN106823312A (zh) | 一种智能捡球机器人及其控制方法 | |
| CN117067218B (zh) | 电芯抓取系统及其控制方法、产线模块 | |
| CN108161930A (zh) | 一种基于视觉的机器人定位系统及方法 | |
| CN117841041A (zh) | 基于多臂协同的机械臂组合装置 | |
| CN109278021A (zh) | 一种用于抓取薄壁壳体类工件的机器人工具系统 | |
| CN114463244A (zh) | 一种视觉机器人抓取系统及其控制方法 | |
| CN114193440B (zh) | 基于3d视觉的机器人自动抓取系统及方法 | |
| CN117548210B (zh) | 一种基于视频分析的堵塞检测及自动破碎处理系统 | |
| CN114055501A (zh) | 一种机器人抓取系统及其控制方法 | |
| CN110533717A (zh) | 一种基于双目视觉的目标抓取方法及装置 | |
| CN108814444B (zh) | 一种扫地机器人腿部跟随清扫方法及装置 | |
| CN111002349A (zh) | 一种机器人跟随转向方法及采用该方法的机器人系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 310018 No. 258, Xue Yuan Street, Xiasha Higher Education Park, Hangzhou, Zhejiang Patentee after: China Jiliang University Address before: 310018 Xueyuan Street, Jianggan Economic Development Zone, Hangzhou City, Zhejiang Province Patentee before: China Jiliang University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190328 Address after: Room A507-1, Building 9, Jiuhuan Road, Jianggan District, Hangzhou City, Zhejiang 310000 Patentee after: HANGZHOU MAEN SCIENCE & TECHNOLOGY Co.,Ltd. Address before: 310018 No. 258, Xue Yuan Street, Xiasha Higher Education Park, Hangzhou, Zhejiang Patentee before: CHINA JILIANG UNIVERSITY |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151111 Termination date: 20211120 |