CN108582075A - 一种智能机器人视觉自动化抓取系统 - Google Patents

一种智能机器人视觉自动化抓取系统 Download PDF

Info

Publication number
CN108582075A
CN108582075A CN201810442826.1A CN201810442826A CN108582075A CN 108582075 A CN108582075 A CN 108582075A CN 201810442826 A CN201810442826 A CN 201810442826A CN 108582075 A CN108582075 A CN 108582075A
Authority
CN
China
Prior art keywords
workpiece
image
host computer
intelligent robot
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810442826.1A
Other languages
English (en)
Inventor
梁瑞超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangmen Siyuan Mdt Infotech Ltd
Original Assignee
Jiangmen Siyuan Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangmen Siyuan Mdt Infotech Ltd filed Critical Jiangmen Siyuan Mdt Infotech Ltd
Priority to CN201810442826.1A priority Critical patent/CN108582075A/zh
Publication of CN108582075A publication Critical patent/CN108582075A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明涉及机器人视觉技术领域,提供一种智能机器人视觉自动化抓取系统,包括上位机、机器人、执行终端和工件,还包括工件图像获取系统和工件深度获取系统,工件图像获取系统和工件深度获取系统分别设置在执行终端的前端,且分别与上位机进行数据通信,上位机可实时显示工件图像获取系统的采集画面;本发明通过融合二维图像信息与深度信息进行工件识别与抓取的方法,有效地解决了现有的视觉系统对于外形相同,仅深度有差别的物体难以识别的问题。

Description

一种智能机器人视觉自动化抓取系统
技术领域
本发明涉及机器人视觉技术领域,具体涉及一种智能机器人视觉自动化抓取系统。
背景技术
机器人手臂大量运用与工业生产,大大提高了产业效率,节约了资源。仿人服务机器人也在特殊行业得到很大发展,对于服务机器人的运用来说,其抓取识别系统是主要关键。基本原理是同过视觉识别产品轮廓获得物体位置与抓取位置控制机械手臂内的伺服电机去完成抓取动作。
机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。正是由于机器视觉系统可以快速获取大量信息,而且易于自动处理,也易于同设计信息以及加工控制信息集成,因此,在现代自动化生产过程中,人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。
目前的机器人视觉抓取系统中,视觉传感器能直观反映物体的外部信息,但单个摄像头只能获得物体的二维图像,立体视觉虽能提供三维信息,但对于外形相同,仅深度有差别的物体难以识别包括带有孔、槽或阶梯状的待夹取工件。
发明内容
解决的技术问题
针对现有技术的不足,本发明提供了一种智能机器人视觉自动化抓取系统,解决了现有的视觉系统对于外形相同,仅深度有差别的物体难以识别的问题。
技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一种智能机器人视觉自动化抓取系统,包括上位机、机器人、执行终端和工件,还包括工件图像获取系统和工件深度获取系统,所述工件图像获取系统和工件深度获取系统分别设置在执行终端的前端,且分别与上位机进行数据通信,所述上位机可实时显示工件图像获取系统的采集画面。
更进一步地,所述工件图像获取系统包括CCD双目相机、图像采集卡和光源,所述CCD双目相机固定在执行终端上,图像采集卡通过RS232串口电缆与上位机相连,光源选用LED环形光源。
更进一步地,所述工件深度获取系统包括超声波收发探头和单片机系统,所述单片机系统与上位机采用无线串口通信,将超声距离信息发送至上位机。
更进一步地,所述机器人通过执行终端抓取工件包括以下操作步骤:
S1:图像预处理;
S2:通过区域处理求矩的方法确定工件的形心坐标;
S3:精确确定工件的轴向,使机械手能以正确的姿态抓取物体;
S4:引导机械手到达待测点,对工件深度进行测量,建立工件场景的三维信息;
S5:进行图像分割,并融合视觉信号与超声信号,可得到较完整的工件信息进行特征计算,获得工件在三维空间内的精确姿态;
S6:建立与CCD双目相机关联的世界坐标系,并控制机械手进行工件抓取。
更进一步地,所述图像预处理中,依次包括图像畸变矫正、图像边缘提取和周线跟踪,提取物体图像边缘后,采用周线跟踪进行边缘细化,去除伪边缘点及噪声点,并对组成封闭曲线的边缘点进Freeman编码,记录每一条链码方向和曲线上各点的X-Y坐标值。
更进一步地,所述执行终端设有传感器系统,用于对执行终端动作进行监控并反馈给机器人控制器,所述机器人控制器外部连接有语音警示模块。
更进一步地,所述超声波收发探头为了提高检测精度,在接收单元电路中,采用可变阈值检测、峰值检测、温度补偿和相位补偿。
有益效果
本发明提供了一种智能机器人视觉自动化抓取系统,与现有公知技术相比,本发明的具有如下有益效果:
1、通过在机械手的执行前端上设置工件图像获取系统和工件深度获取系统,融合二维图像信息与深度信息进行工件识别与抓取的方法,可准确对物体进行识别与定位,具有算法简单、计算量小、实时性好、可靠性高等特点,可为机器人与环境交互提供物体形状、类别及大小等信息,使机器人装配作业能适应各种复杂的环境与工艺过程,对实现工业生产过程的自动化、柔性化、智能化有良好的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的系统结构示意图;
图2为本发明的执行终端抓取工件流程示意图;
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
本实施例的一种智能机器人视觉自动化抓取系统,参照图1:包括上位机、机器人、执行终端和工件,还包括工件图像获取系统和工件深度获取系统,工件图像获取系统和工件深度获取系统分别设置在执行终端的前端,且分别与上位机进行数据通信,上位机可实时显示工件图像获取系统的采集画面。
工件图像获取系统包括CCD双目相机、图像采集卡和光源,CCD双目相机固定在执行终端上,图像采集卡通过RS232串口电缆与上位机相连,光源选用LED环形光源。
工件深度获取系统包括超声波收发探头和单片机系统,单片机系统与上位机采用无线串口通信,将超声距离信息发送至上位机。
参照图2:机器人通过执行终端抓取工件包括以下操作步骤:
S1:图像预处理;
S2:通过区域处理求矩的方法确定工件的形心坐标;
S3:精确确定工件的轴向,使机械手能以正确的姿态抓取物体;
S4:引导机械手到达待测点,对工件深度进行测量,建立工件场景的三维信息;
S5:进行图像分割,并融合视觉信号与超声信号,可得到较完整的工件信息进行特征计算,获得工件在三维空间内的精确姿态;
S6:建立与CCD双目相机关联的世界坐标系,并控制机械手进行工件抓取。
在S3中确定工件的轴向时,对于一些简单形状的物体,可采用如下简单轴向估计算法:a.确定物体的形心坐标;b.确定物体边缘轮廓闭合曲线前半段中离物体形心最近的点,用最小二乘法估算该点的切线方向,设其与图像平面X轴正方向夹角为α1;c.用同样方法确定下半段曲线中对应的切线方向α2;d.物体轴向可粗略估计为θ=(α1+α2)/2;该算法仅对物体边缘轮廓点进行处理,使运算时间大为减少。
图像预处理中,依次包括图像畸变矫正、图像边缘提取和周线跟踪,提取物体图像边缘后,采用周线跟踪进行边缘细化,去除伪边缘点及噪声点,并对组成封闭曲线的边缘点进Freeman编码,记录每一条链码方向和曲线上各点的X-Y坐标值。
工件图像边缘的提取,仅利用一个灰度阈值无法提取有意义的边缘。因此采用Sobel算子提取边缘,不仅实现容易、运算速度快,而且可提供最精确的边缘方向估计。Sobel算子由两个3×3相差90°的算子构成,由这两个算子同图像卷积,可得到图像的边缘及其方向。对于数字图像{f(i,j)},Sobel算子可表示为:
Gx(i,j)=f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)-f(i+1,j-1)-2f(i+1,j)-f(i+1,j+1);
Gy(i,j)=f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)-f(i-1,j+1)-2f(i,j+1)-f(i+1,j+1)。
采用G1=|Gx|+|Gy|得到梯度幅值后,为减少所抽取的边缘数目,可设置一个幅度门限,即只考虑对应灰度变化较大的那些边缘。再利用边缘点具有局部幅度最大的特点,将边缘细化。
执行终端设有传感器系统,用于对执行终端动作进行监控并反馈给机器人控制器,机器人控制器外部连接有语音警示模块。
超声波收发探头为了提高检测精度,在接收单元电路中,采用可变阈值检测、峰值检测、温度补偿和相位补偿。
工作原理:CCD双目相机获取的物体图像经处理后,可提取对象的某些特征,如物体的形心坐标、面积、曲率、边缘、角点及短轴方向等。根据这些特征信息,可得到对物体形状的基本描述,在图像处理的基础上,由视觉信息引导超声波传感器对待测点的深度进行测量,获取物体的深度信息,或沿工件的待测面移动,超声波传感器不断采集距离信息,扫描得到距离曲线,根据距离曲线分析出工件的边缘或外形。计算机将视觉信息和深度信息融合推断后,进行图像匹配、识别,并控制机械手以合适的位姿准确地抓取物体。
通过在机械手的执行前端上设置工件图像获取系统和工件深度获取系统,融合二维图像信息与深度信息进行工件识别与抓取的方法,可准确对物体进行识别与定位,具有算法简单、计算量小、实时性好、可靠性高等特点,可为机器人与环境交互提供物体形状、类别及大小等信息,使机器人装配作业能适应各种复杂的环境与工艺过程,对实现工业生产过程的自动化、柔性化、智能化有良好的应用前景。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种智能机器人视觉自动化抓取系统,包括上位机、机器人、执行终端和工件,其特征在于,还包括工件图像获取系统和工件深度获取系统,所述工件图像获取系统和工件深度获取系统分别设置在执行终端的前端,且分别与上位机进行数据通信,所述上位机可实时显示工件图像获取系统的采集画面。
2.根据权利要求1所述的一种智能机器人视觉自动化抓取系统,其特征在于,所述工件图像获取系统包括CCD双目相机、图像采集卡和光源,所述CCD双目相机固定在执行终端上,图像采集卡通过RS232串口电缆与上位机相连,光源选用LED环形光源。
3.根据权利要求1所述的一种智能机器人视觉自动化抓取系统,其特征在于,所述工件深度获取系统包括超声波收发探头和单片机系统,所述单片机系统与上位机采用无线串口通信,将超声距离信息发送至上位机。
4.根据权利要求1所述的一种智能机器人视觉自动化抓取系统,其特征在于,所述机器人通过执行终端抓取工件包括以下操作步骤:
S1:图像预处理;
S2:通过区域处理求矩的方法确定工件的形心坐标;
S3:精确确定工件的轴向,使机械手能以正确的姿态抓取物体;
S4:引导机械手到达待测点,对工件深度进行测量,建立工件场景的三维信息;
S5:进行图像分割,并融合视觉信号与超声信号,可得到较完整的工件信息进行特征计算,获得工件在三维空间内的精确姿态;
S6:建立与CCD双目相机关联的世界坐标系,并控制机械手进行工件抓取。
5.根据权利要求4所述的一种智能机器人视觉自动化抓取系统,其特征在于,所述图像预处理中,依次包括图像畸变矫正、图像边缘提取和周线跟踪,提取物体图像边缘后,采用周线跟踪进行边缘细化,去除伪边缘点及噪声点,并对组成封闭曲线的边缘点进Freeman编码,记录每一条链码方向和曲线上各点的X-Y坐标值。
6.根据权利要求1所述的一种智能机器人视觉自动化抓取系统,其特征在于,所述执行终端设有传感器系统,用于对执行终端动作进行监控并反馈给机器人控制器,所述机器人控制器外部连接有语音警示模块。
7.根据权利要求2所述的一种智能机器人视觉自动化抓取系统,其特征在于,所述超声波收发探头为了提高检测精度,在接收单元电路中,采用可变阈值检测、峰值检测、温度补偿和相位补偿。
CN201810442826.1A 2018-05-10 2018-05-10 一种智能机器人视觉自动化抓取系统 Pending CN108582075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810442826.1A CN108582075A (zh) 2018-05-10 2018-05-10 一种智能机器人视觉自动化抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810442826.1A CN108582075A (zh) 2018-05-10 2018-05-10 一种智能机器人视觉自动化抓取系统

Publications (1)

Publication Number Publication Date
CN108582075A true CN108582075A (zh) 2018-09-28

Family

ID=63636957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810442826.1A Pending CN108582075A (zh) 2018-05-10 2018-05-10 一种智能机器人视觉自动化抓取系统

Country Status (1)

Country Link
CN (1) CN108582075A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109794940A (zh) * 2019-03-01 2019-05-24 北京达盛智联教育技术有限公司 一种双目人工智能机械臂教学装置
CN111267095A (zh) * 2020-01-14 2020-06-12 大连理工大学 一种基于双目视觉的机械臂抓取控制方法
CN112098754A (zh) * 2020-09-11 2020-12-18 北京无线电测量研究所 一种电子组件老化测试座及含有其的老化测试装置
CN113219470A (zh) * 2021-04-29 2021-08-06 西安石油大学 一种钻杆自动定位及接头对准系统
CN113408993A (zh) * 2021-07-02 2021-09-17 南通市紫日机械有限公司 一种用于机械自动化的智能装配系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012015056A1 (de) * 2012-07-28 2014-02-13 Bsautomatisierung Gmbh Robotersteuerungsvorrichtung
CN206795821U (zh) * 2017-03-25 2017-12-26 广东安秀创客教育科技有限公司 一种积木式机器人
CN107870199A (zh) * 2016-09-26 2018-04-03 空中客车营运有限公司 检查工具

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012015056A1 (de) * 2012-07-28 2014-02-13 Bsautomatisierung Gmbh Robotersteuerungsvorrichtung
CN107870199A (zh) * 2016-09-26 2018-04-03 空中客车营运有限公司 检查工具
CN206795821U (zh) * 2017-03-25 2017-12-26 广东安秀创客教育科技有限公司 一种积木式机器人

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘文乐等: "《机械制造技术》", 31 December 2016, 中央广播电视大学出版社 *
周鹏: "机器人及视觉系统在卷烟辅材配盘系统中的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王敏等: "华中科技大学学报", 《华中科技大学学报 *
雍超等: "一种融合图像和传感信息的自主投篮机器人视觉系统", 《机械与电子》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109794940A (zh) * 2019-03-01 2019-05-24 北京达盛智联教育技术有限公司 一种双目人工智能机械臂教学装置
CN111267095A (zh) * 2020-01-14 2020-06-12 大连理工大学 一种基于双目视觉的机械臂抓取控制方法
CN111267095B (zh) * 2020-01-14 2022-03-01 大连理工大学 一种基于双目视觉的机械臂抓取控制方法
CN112098754A (zh) * 2020-09-11 2020-12-18 北京无线电测量研究所 一种电子组件老化测试座及含有其的老化测试装置
CN112098754B (zh) * 2020-09-11 2024-02-23 北京无线电测量研究所 一种电子组件老化测试座及含有其的老化测试装置
CN113219470A (zh) * 2021-04-29 2021-08-06 西安石油大学 一种钻杆自动定位及接头对准系统
CN113408993A (zh) * 2021-07-02 2021-09-17 南通市紫日机械有限公司 一种用于机械自动化的智能装配系统

Similar Documents

Publication Publication Date Title
CN108582075A (zh) 一种智能机器人视觉自动化抓取系统
Yang et al. Real-time tiny part defect detection system in manufacturing using deep learning
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN106204614B (zh) 一种基于机器视觉的工件外观缺陷检测方法
CN104423569A (zh) 指向位置侦测装置、方法及计算机可读取纪录媒体
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN110246127A (zh) 基于深度相机的工件识别与定位方法和系统、分拣系统
CN106824806A (zh) 基于机器视觉的小模数塑料齿轮的检测系统及检测方法
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
Jiang et al. Dual-camera-based method for identification and location of scattered self-plugging rivets for robot grasping
CN108182704A (zh) 基于形状上下文特征的定位方法
CN104316033A (zh) 汽车零部件视觉检测系统
KR20080032856A (ko) 조선소 소조립 용접부재 위치 인식 방법
CN101510295B (zh) 基于PCIe和Vision Assistant的机器视觉系统的设计方法
CN108109154A (zh) 一种工件的新型定位及数据获取方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN111487192A (zh) 一种基于人工智能的机器视觉表面缺陷检测装置及方法
Wu et al. Scale-adaptive pothole detection and tracking from 3-d road point clouds
Fu et al. Research and application of machine vision in intelligent manufacturing
CN110969357A (zh) 一种铝合金机加工零件孔洞视觉检测方法
Sun et al. Precision work-piece detection and measurement combining top-down and bottom-up saliency
CN109493369B (zh) 一种智能机器人视觉动态定位跟踪方法及系统
CN108181320A (zh) 工件表面缺陷识别、检测的方法、装置与系统
CN112991327A (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928