CN103406905A - 一种具有视觉伺服及检测功能的机器人系统 - Google Patents

一种具有视觉伺服及检测功能的机器人系统 Download PDF

Info

Publication number
CN103406905A
CN103406905A CN2013103642373A CN201310364237A CN103406905A CN 103406905 A CN103406905 A CN 103406905A CN 2013103642373 A CN2013103642373 A CN 2013103642373A CN 201310364237 A CN201310364237 A CN 201310364237A CN 103406905 A CN103406905 A CN 103406905A
Authority
CN
China
Prior art keywords
robot
control
image
motion
vision
Prior art date
Application number
CN2013103642373A
Other languages
English (en)
Other versions
CN103406905B (zh
Inventor
秦现生
王文杰
洪杰
牛军龙
张培培
沈东莹
薛婷
王润孝
谭小群
白晶
Original Assignee
西北工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西北工业大学 filed Critical 西北工业大学
Priority to CN201310364237.3A priority Critical patent/CN103406905B/zh
Publication of CN103406905A publication Critical patent/CN103406905A/zh
Application granted granted Critical
Publication of CN103406905B publication Critical patent/CN103406905B/zh

Links

Abstract

本发明公开了一种具有视觉伺服及检测功能的机器人系统,包括机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元,各单元间的数据和信号传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元发送或接收机器人的控制信号,并快速理解自身周围环境、同时构造视觉反馈控制模型,实现机器人的视觉识别和运动控制功能。机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,提高了机器人运动控制效率以及机器人的重复定位精度和柔性,且具有较高的智能性。机器人控制具备基于机器视觉的非接触质量检测功能,而且结构简单、操作方便。

Description

ー种具有视觉伺服及检测功能的机器人系统

技术领域

[0001] 本发明属于机器人及自动控制领域,具体地说,涉及ー种具有视觉伺服及检测功能的机器人系统。

背景技术

[0002] 机器人因末端执行器操作工具的不同,可以非常方便的用作各种自动化设备,完成如装配、检测、码垛、上下料、焊接、搬运、包装、拆垛、探伤、分类、喷涂、贴标、喷码、打码、目标跟随等一系列工作。机器人特别适用于多品种,变批量的柔性化作业,对于稳定提高产品质量,提高劳动生产效率,改善劳动条件和产品的快速更新换代起着十分重要的作用。机器人控制技术的主要任务就是控制机器人在工作空间中的运动位置、姿态和轨迹、操作顺序及动作的时间等。具有可编程、可软件菜单操作、可进行人机交互、使用方便的特点。

[0003]目前,机器人运动控制主要有两种方式,一是在线示教,ー是离线编程。在线示教是通过机器人示教盒控制机器人的运动,首先通过手动示教,记录机器人的运动轨迹,然后机器人沿示教时记录的轨迹自主运动,完成特定运动轨迹。这种方法的优点是对机器人模型精度要求低,不需标定机器人的工具坐标系,使用机器人的理论模型即可;但其不足是:机器人的在线示教编程过程繁琐、操作过程复杂、效率低、容易疲劳,精度完全靠示教者的经验目测决定,精度较低,占用宝贵的生产时间,而且使机器人系统成为一个相对単元,难以实现与其他系统或生产过程的集成,无法满足当今小批量、多品种柔性生产的需要。

[0004] 离线编程示教是将作业过程所需要路径模型信息输入到交互式机器人系统软件,根据输入信息该模块自动产生机器人运动轨迹和程序,并针对不同的加工过程设置相应的加工过程參数,对生产过程进行控制。与常用的手工在线逐点机器人编程法相比较,该模块的使用将大大缩短编程时间。采用离线编程的优点是避免了生产过程的中断,控制精度和设备使用率高。

[0005] 发明专利200510108256.5中公开了ー种具有视觉传感器的机器人系统,该系统针对单台或多台机器人通过视觉传感器计测机器人和周边物体的三维相对位置/姿势的误差,修正预先示教的位置/姿势,但其不具备质量检测功能。在发明专利201110026529.7中描述了ー种“基于视觉定位的エ业机器人控制系统及其控制方法”,该控制系统及其控制方法是针对エ业机器人通过机器视觉定位实现机器人的运动控制,但其不具备在线实时检测功能。

发明内容

[0006] 为了避免现有技术存在的不足,本发明提出ー种具有视觉伺服及检测功能的机器人系统,该系统通过机器视觉快速理解自身周围环境并同时构造视觉反馈控制模型,利用视觉引导和智能控制的方法,自主且闭环地完成作业任务;降低了控制系统的复杂度。本发明视觉伺服及检测功能的机器人系统具有较高的控制精度、柔性和工作效率,且具有更高的智能性。[0007] 本发明解决其技术问题所采用的技术方案是:包括机器人、图像采集及图像处理単元、机器人视觉伺服控制单元和连接各模块的通信网络单元,机器人包括机器人运动部分和机器人末端执行器部分;图像采集和图像处理单元包括照明、摄像、图像处理部分,图像采集及图像处理单元的图像采集卡及光源控制器、机器人视觉伺服控制单元安装在机器人控制柜中,摄像机和光源固定在机器人外围;机器人视觉伺服控制单元的运动控制卡、轴驱动器安装在机器人电气控制柜中;各单元间的数据和信号的传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元可发送或接收机器人的控制信号,控制机器人的动作;机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,具体步骤如下:

[0008] 步骤1.采用ROBCAD离线编程系统软件,通过离线编程示教的方式,生成机器人初步运动轨迹规划及控制程序;机器人坐标系进行标定后,将离线编程得到的程序转换成BAHR机器人控制程序,并通过通讯接ロ导入到机器人控制器中;

[0009] 步骤2.由步骤I生成的BAHR机器人控制程序,控制机器人进行运动、工作抓取、安放一系列上下料作业任务;

[0010] 步骤3.在执行步骤2的同吋,图像采集单元采用エ业C⑶摄像机和照明光源,获得工作的机器人末端执行器位置实时图像及目标图像;

[0011] 步骤4.对摄取的目标图像和机器人位置图像进行图像处理及特征提取,计算出当前图像特征与目标图像特征之间的位置偏差a epi。,并将得到的机器人位姿偏差信息A 0 pi。转换为机器人坐标系下的位置偏差A 0 bot ;

[0012] 步骤5.机器人控制单元根据得到的机器人位置偏差A 0b()t,通过修正控制单元生成机器人控制程序,对机器人末端执行器位姿进行调整,使位置偏差A 0b(rt最终为零,直至完成为数控机床的上料作业任务;

[0013] 步骤6.机器人完成基于视觉伺服作业任务后,根据步骤I离线编程生成的机器人运动轨迹,将エ件由数控机床取下放回エ件托盘;

[0014] 步骤7.由摄像机采集エ件托盘上加工后的零件图像,并进行图像处理与分析,检测零件的尺寸、外观、精度參量,并判断エ件是否合格,完成检测任务。

[0015] 有益效果

[0016] 本发明提出的ー种具有视觉伺服及检测功能的机器人系统,由机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元组成,各单元间的数据和信号传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元发送或接收机器人的控制信号,并快速理解自身周围环境、同时构造视觉反馈控制模型,实现机器人的视觉识别和运动控制功能。机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,提高了机器人运动控制效率以及机器人的重复定位精度和柔性,且具有较高的智能性。机器人控制具备基于机器视觉的非接触质量检测功能,而且结构简单、操作方便。

附图说明

[0017] 下面结合附图和实施方式对本发明ー种具有视觉伺服及检测功能的机器人系统作进ー步详细说明。[0018] 图1为机器人及加工单元总体结构示意图。

[0019] 图2为机器人工作流程图。

[0020] 图3为机器人运动控制过程及检测原理示意图。

[0021]图中:

[0022] 1.机器人2.机器人视觉伺服控制单元和连接各模块的通信网络单元3.数控机床

4.图像采集及图像处理单元

具体实施方式

[0023] 本实施例是一种具有视觉伺服及检测功能的机器人系统。

[0024] 参阅图1、图2,自动上、下料三坐标机器人单元及加工单元总体结构包括四部分,分别为机器人1、机器人视觉伺服控制单元和连接各模块的通信网络单元2、数控机床3、图像采集及图像处理单元4。机器人I安装在两个数控机床3中间,机器人I完成为数控机床3上料、下料的任务;机器人视觉伺服控制单元和连接各模块的通信网络单元2安装在数控机床3的旁边,控制三坐标机器人I的运动,数控机床3完成工件的加工;图像采集及图像处理单元4安置在机器上I支架上方,用于拍摄机器人工作现场,获得机器人末端执行器位置实时图像及目标图像,并通过图像处理及数据处理输出机器人相对于目标位置偏差信息,控制三坐标机器人I的运动。

[0025] 本发明机器人系统工 作流程:

[0026] 首先,根据作业任务进行机器人离线编程,初步规划机器人运动轨迹,并生成机器人运动控制程序,控制机器人运动;

[0027] 其次,图像采集单元实时拍摄机器人及目标位置图像,提取图像中机器人的目标特征,计算出图像坐标系中机器人相对目标位置的偏差信息;

[0028] 然后,通过坐标转换矩阵,转换为机器人坐标系下机器人实际轨迹相对于目标位置的偏差信息,并返馈回机器人所需的运动控制信号控制机器人运动,形成闭环控制回路,直至偏差Λ Θ pic为零;

[0029] 最后,由图像采集单元拍摄加工后的工件图像,返回给基于C++程序开发的图像实时处理单元,进行图像处理及分析,检测零件的尺寸、外观、精度参量,完成检测任务。

[0030] 如图3所示,机器人运动控制过程及检测原理示意图。机器人电气控制模块包括运动控制卡、数据总线、轴驱动器、驱动电机;图像采集模块包括图像采集卡、工业相机、光源、光源控制器;当三坐标机器人接受一项作业任务后,首先根据机器人工作的工艺要求,通过离线编程进行机器人运动轨迹规划,生成三坐标机器人电气控制单元能够识别的控制指令,输入到控制单元中,经由机器人运动控制卡、现场数据总线、轴驱动器控制驱动电机的运动,最终控制三坐标机器人进行协调作业。当机器人开始进行作业任务后,图像采集模块开始工作,首先机器人电气控制单元通过光源控制器开启工业光源,然后工业相机通过图像采集卡采集工作现场机器人位姿和工件位置图像,并返回给图像处理PC ;图像处理PC接收到返回的图像后,由图像实时处理单元进行实时处理,得到机器人实时位姿与目标位置偏差数据,然后输入到控制系统生成控制代码,通过运动控制卡精确控制机器人的运动轨迹,构成对机器人位姿的闭环控制,直至机器人完成上料作业任务;当数控机床将工件加工完成之后,三坐标机器人按照相同控制原理完成下料作业任务,将加工完成的工件放在エ件托盘,エ业相机获得现场加工后エ件的图像数据,传输给图像处理单元进行非接触识别检测,检测エ件是否合格。

Claims (1)

1.一种具有视觉伺服及检测功能的机器人系统,其特征在于:包括机器人、图像采集及图像处理单元、机器人视觉伺服控制单元和连接各模块的通信网络单元,机器人包括机器人运动部分和机器人末端执行器部分;图像采集和图像处理单元包括照明、摄像、图像处理部分,图像采集及图像处理单元的图像采集卡及光源控制器、机器人视觉伺服控制单元安装在机器人控制柜中,摄像机和光源固定在机器人外围;机器人视觉伺服控制单元的运动控制卡、轴驱动器安装在机器人电气控制柜中;各单元间的数据和信号的传输通过通信网络单元传输,机器人视觉伺服控制单元通过通信网络单元可发送或接收机器人的控制信号,控制机器人的动作;机器人的运动控制采用离线编程与机器视觉伺服控制结合的方法,对机器人及末端执行器进行自主控制,具体步骤如下: 步骤1.采用ROBCAD离线编程系统软件,通过离线编程示教的方式,生成机器人初步运动轨迹规划及控制程序;机器人坐标系进行标定后,将离线编程得到的程序转换成BAHR机器人控制程序,并通过通讯接口导入到机器人控制器中; 步骤2.由步骤I生成的BAHR机器人控制程序,控制机器人进行运动、工作抓取、安放一系列上下料作业任务; 步骤3.在执行步骤2的同时,图像采集单元采用工业CCD摄像机和照明光源,获得工作的机器人末端执行器位置实时图像及目标图像; 步骤4.对摄取的目标图像和机器人位置图像进行图像处理及特征提取,计算出当前图像特征与目标图像特征之间的位置偏差Λ 0pi。,并将得到的机器人位姿偏差信息Λ 0pic转换为机器人坐标系下的位置偏差Δ Θ bot ; 步骤5.机器人控制单元根据得到的机器人位置偏差△ ,通过修正控制单元生成机器人控制程序,对机器人末端执行器位姿进行调整,使位置偏差Λ Gbtrt最终为零,直至完成为数控机床的上料作业任务; 步骤6.机器人完成基于视觉伺服作业任务后,根据步骤I离线编程生成的机器人运动轨迹,将工件由数控机床取下放回工件托盘; 步骤·7.由摄像机采集工件托盘上加工后的零件图像,并进行图像处理与分析,检测零件的尺寸、外观、精度参量,并判断工件是否合格,完成检测任务。
CN201310364237.3A 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人系统 CN103406905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310364237.3A CN103406905B (zh) 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310364237.3A CN103406905B (zh) 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人系统

Publications (2)

Publication Number Publication Date
CN103406905A true CN103406905A (zh) 2013-11-27
CN103406905B CN103406905B (zh) 2015-07-08

Family

ID=49599972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310364237.3A CN103406905B (zh) 2013-08-20 2013-08-20 一种具有视觉伺服及检测功能的机器人系统

Country Status (1)

Country Link
CN (1) CN103406905B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104259670A (zh) * 2014-07-07 2015-01-07 河海大学常州校区 一种基于机器视觉及工业机器人的涡轮叶片激光切割系统
CN104354157A (zh) * 2014-10-29 2015-02-18 南京航空航天大学 一种轮胎搬运机器人及其控制方法
CN104708301A (zh) * 2015-02-09 2015-06-17 杭州自动化技术研究院有限公司 一种基于机器视觉的发热丝自动装配装置
CN105163063A (zh) * 2015-06-23 2015-12-16 中山明杰自动化科技有限公司 机器图像处理系统
CN105333819A (zh) * 2014-08-15 2016-02-17 苏州北硕检测技术有限公司 基于面激光传感器的机器人工件装配及形位公差检测系统及其检测方法
CN105729477A (zh) * 2016-05-05 2016-07-06 四川省桑瑞光辉标识系统股份有限公司 基于视觉定位的老化流水线灯管自动放置方法及系统
CN106182041A (zh) * 2014-08-20 2016-12-07 发那科株式会社 与机床一同使用的机器人的机器人控制装置以及加工系统
CN106393144A (zh) * 2016-11-26 2017-02-15 顺德职业技术学院 一种多机器人操作模式下视觉跟踪的方法及系统
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
CN107272578A (zh) * 2017-07-01 2017-10-20 华中科技大学 一种基于多核处理器的视觉伺服控制系统
CN108656120A (zh) * 2018-04-11 2018-10-16 陈小龙 一种基于图像对比的示教、加工方法
CN108748137A (zh) * 2018-04-11 2018-11-06 陈小龙 一种实物扫描建模方法及其应用
WO2019000640A1 (zh) * 2017-06-27 2019-01-03 巨轮(广州)机器人与智能制造有限公司 模块化视觉系统制作方法
CN109397249A (zh) * 2019-01-07 2019-03-01 重庆大学 基于视觉识别的二维码定位抓取机器人系统算法
CN109421050A (zh) * 2018-09-06 2019-03-05 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN109454501A (zh) * 2018-10-19 2019-03-12 江苏智测计量技术有限公司 一种车床在线监测系统
CN109760045A (zh) * 2018-12-27 2019-05-17 西安交通大学 一种离线编程轨迹生成方法及基于该方法的双机器人协同装配系统
CN110039520A (zh) * 2018-04-11 2019-07-23 陈小龙 一种基于图像对比的示教、加工系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072809A1 (en) * 2004-10-05 2006-04-06 Fanuc Ltd Robot system with vision sensor
CN101092031A (zh) * 2007-07-12 2007-12-26 上海交通大学 工业机器人离线编程系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072809A1 (en) * 2004-10-05 2006-04-06 Fanuc Ltd Robot system with vision sensor
JP2006105782A (ja) * 2004-10-05 2006-04-20 Fanuc Ltd ロボットビジョンによる計測装置及びロボット制御装置
CN100408282C (zh) * 2004-10-05 2008-08-06 发那科株式会社 具有视觉传感器的机器人系统
CN101092031A (zh) * 2007-07-12 2007-12-26 上海交通大学 工业机器人离线编程系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹秀岭等: "基于TMS320VC5402的图象采集与处理系统", 《微处理机》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104259670B (zh) * 2014-07-07 2016-07-13 河海大学常州校区 一种基于机器视觉及工业机器人的涡轮叶片激光切割系统
CN104259670A (zh) * 2014-07-07 2015-01-07 河海大学常州校区 一种基于机器视觉及工业机器人的涡轮叶片激光切割系统
CN105333819A (zh) * 2014-08-15 2016-02-17 苏州北硕检测技术有限公司 基于面激光传感器的机器人工件装配及形位公差检测系统及其检测方法
CN106182041A (zh) * 2014-08-20 2016-12-07 发那科株式会社 与机床一同使用的机器人的机器人控制装置以及加工系统
CN106182041B (zh) * 2014-08-20 2019-04-05 发那科株式会社 与机床一同使用的机器人的机器人控制装置以及加工系统
US10197989B2 (en) 2014-08-20 2019-02-05 Fanuc Corporation Robot controller of robot used with machine tool, and processing system
CN104354157B (zh) * 2014-10-29 2016-03-02 南京航空航天大学 一种轮胎搬运机器人及其控制方法
CN104354157A (zh) * 2014-10-29 2015-02-18 南京航空航天大学 一种轮胎搬运机器人及其控制方法
CN104708301A (zh) * 2015-02-09 2015-06-17 杭州自动化技术研究院有限公司 一种基于机器视觉的发热丝自动装配装置
CN105163063A (zh) * 2015-06-23 2015-12-16 中山明杰自动化科技有限公司 机器图像处理系统
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
CN105729477A (zh) * 2016-05-05 2016-07-06 四川省桑瑞光辉标识系统股份有限公司 基于视觉定位的老化流水线灯管自动放置方法及系统
CN105729477B (zh) * 2016-05-05 2018-04-27 四川省桑瑞光辉标识系统股份有限公司 基于视觉定位的老化流水线灯管自动放置方法及系统
CN106393144A (zh) * 2016-11-26 2017-02-15 顺德职业技术学院 一种多机器人操作模式下视觉跟踪的方法及系统
CN106393144B (zh) * 2016-11-26 2018-09-04 顺德职业技术学院 一种多机器人操作模式下视觉跟踪的方法及系统
WO2019000640A1 (zh) * 2017-06-27 2019-01-03 巨轮(广州)机器人与智能制造有限公司 模块化视觉系统制作方法
CN107272578A (zh) * 2017-07-01 2017-10-20 华中科技大学 一种基于多核处理器的视觉伺服控制系统
CN108656120A (zh) * 2018-04-11 2018-10-16 陈小龙 一种基于图像对比的示教、加工方法
CN108656120B (zh) * 2018-04-11 2020-10-30 陈小龙 一种基于图像对比的示教、加工方法
CN110039520B (zh) * 2018-04-11 2020-11-10 陈小龙 一种基于图像对比的示教、加工系统
CN108748137A (zh) * 2018-04-11 2018-11-06 陈小龙 一种实物扫描建模方法及其应用
CN110039520A (zh) * 2018-04-11 2019-07-23 陈小龙 一种基于图像对比的示教、加工系统
CN109421050A (zh) * 2018-09-06 2019-03-05 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN109454501A (zh) * 2018-10-19 2019-03-12 江苏智测计量技术有限公司 一种车床在线监测系统
CN109760045A (zh) * 2018-12-27 2019-05-17 西安交通大学 一种离线编程轨迹生成方法及基于该方法的双机器人协同装配系统
CN109397249A (zh) * 2019-01-07 2019-03-01 重庆大学 基于视觉识别的二维码定位抓取机器人系统算法

Also Published As

Publication number Publication date
CN103406905B (zh) 2015-07-08

Similar Documents

Publication Publication Date Title
Hägele et al. Industrial robotics
Wolf et al. Grippers in motion: the fascination of automated handling tasks
US8244402B2 (en) Visual perception system and method for a humanoid robot
Suh et al. A framework for an intelligent CNC and data model
CN102317044B (zh) 产业用机器人系统
JP4235214B2 (ja) ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法
EP1533087B1 (en) Operation program preparation device
US20200061821A1 (en) Software Interface for Authoring Robotic Manufacturing Process
CN103268091B (zh) 柔性制造系统
WO2014148032A1 (ja) ロボットシステムの制御方法およびロボットシステム
EP2843556B1 (en) Simulator, simulation method, and simulation program
US20180257238A1 (en) Manipulator system
EP1711317B1 (en) Machine vision controlled robot tool system
JP2007523757A (ja) 複数のロボットアームの追従及び鏡映ジョグ
Pan et al. Recent progress on programming methods for industrial robots
CN102513751B (zh) 一种焊接机器人及其焊接方法
CN103770112A (zh) 机器人系统及加工件的制造方法
Nitzan et al. Programmable industrial automation
CN107899814A (zh) 一种机器人喷涂系统及其控制方法
Vongbunyong et al. Disassembly automation
EP2939798A1 (en) An automation system and a method for tending a production system
US10864632B2 (en) Direct teaching method of robot
CN103909776B (zh) 一种数控精密木雕加工系统
CN102581445B (zh) 机器人的视觉实时纠偏系统和纠偏方法
Zergeroglu et al. Vision-based nonlinear tracking controllers with uncertain robot-camera parameters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant