CN108312144B - 基于机器视觉的机器人自动锁付控制系统及方法 - Google Patents
基于机器视觉的机器人自动锁付控制系统及方法 Download PDFInfo
- Publication number
- CN108312144B CN108312144B CN201711420141.9A CN201711420141A CN108312144B CN 108312144 B CN108312144 B CN 108312144B CN 201711420141 A CN201711420141 A CN 201711420141A CN 108312144 B CN108312144 B CN 108312144B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- robot
- tool
- threaded hole
- locked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
- B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
- B23P19/06—Screw or nut setting or loosening machines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器视觉的机器人自动锁付控制系统及方法,能够实现使用机器人进行待锁付螺纹孔的自动、高效、且精确的锁付。机器人为示教机器人,具有示教盒;锁付装置安装在机器人末端,用于吸附待使用螺栓,并在控制器控制下将待使用螺栓拧入待锁付螺纹孔中;送料单元对螺栓进行送料,将螺栓送至设置的定点吸附位置处;相机获取待锁付螺纹孔图像,将待锁付螺纹孔图像发送至控制器;控制器对机器人和锁付装置进行综合控制。
Description
技术领域
本发明涉及工业机器人自动控制领域,具体涉及基于机器视觉的机器人自动锁付控制系统及方法。
背景技术
传统人工手持螺丝锁付方式具有效率低、速度慢的缺点,锁付装置对准螺纹孔或者螺钉是否锁紧都靠人工进行判断,人为因素占很大比例。利用机器人传统示教的方式进行螺纹孔坐标信息的录入,孔位精度低,而且对于螺纹孔形状不规则、种类较多,操作也比较繁琐。
发明内容
有鉴于此,本发明提供了基于机器视觉的机器人自动锁付控制系统及方法,能够实现使用机器人进行待锁付螺纹孔的自动、高效、且精确的锁付。
本发明的技术方案为:
本发明第一方面的实施例提供了基于机器视觉的机器人自动锁付控制系统,系统包括机器人、控制器、送料单元、相机以及锁付装置。
机器人为示教机器人,具有示教盒。
锁付装置安装在机器人末端,包括进给气缸、电动螺丝刀、螺栓吸附设备以及力矩传感器,螺栓吸附设备安装在电动螺丝刀末端,螺栓吸附设备在设置的定点吸附位置处吸附待使用螺栓;进给气缸接收控制器发来的位置控制指令,依据位置控制指令将电动螺丝刀移动至指定位置;电动螺丝刀在控制器的控制下启动或者停止,电动螺丝刀在启动时将待使用螺栓拧入待锁付螺纹孔;力矩传感器实时获取电动螺丝刀的实时力矩回传至控制器。
送料单元对螺栓进行送料,将螺栓送至设置的定点吸附位置处。
相机获取待锁付螺纹孔图像,将待锁付螺纹孔图像发送至控制器。
控制器,建立机器人末端坐标系和机器人基坐标系,获取机器人基坐标至机器人末端坐标系的转换关系;获取锁付装置位置,对锁付装置进行工具坐标系标定,获取工具末端位置;获取相机的参数,对相机进行内参标定,建立相机坐标系,计算相机坐标系与机器人基坐标系的转换关系;获取相机采集的待锁付螺纹孔图像,计算待锁付螺纹孔图像像素坐标系下的待锁付螺纹孔中心位置,转换为相机坐标系下待锁付螺纹孔中心位置,利用相机坐标系与机器人基坐标系的转换关系,转换获得在机器人基坐标系下待锁付螺纹孔中心位置。
控制器,以当前位置为起点,以待锁付螺纹孔在机器人基坐标系下的位置为终点,进行路径规划,驱动机器人移动至待锁付螺纹孔处;控制器向锁付装置发送位置控制指令,位置控制指令的制定位置为待锁付螺纹孔位置;电动螺丝刀达到指定位置后,控制器控制电动螺丝刀启动,获取实时转动圈数和实时力矩,并设定转动圈数以及力矩设定值,当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值,控制电动螺丝刀停止。
在第一方面的一个或多个实施例中,控制器,与机器人的驱动器通过以太网控制自动化技术Ethercat通讯,与示教盒通过Modbus TCP通讯,与相机通过TCP/IP协议通讯。
在第一方面的一个或多个实施例中,控制器,获取实时转动圈数和实时力矩,若实时力矩达到力矩设定值,实时转动圈数并未达到设定转动圈数,发出报警信号,并控制电动螺丝刀停止。
本发明第二方面的实施例中提供了基于机器视觉的机器人自动锁付控制方法,采用本发明第一方面的任一实施例提供的系统对机器人进行自动锁付控制,控制器采用如下方法:
步骤1:以锁付装置作为工具,建立工具坐标系{T},工具坐标系{T}为:以锁付装置的末端点的中心为原点,以锁付装置的末端中心轴线为z轴,右手定则设定其他轴。
针对机器人建立机器人末端坐标系{E}以及机器人基坐标系{B}。
采用六点标定法对工具坐标系{T}进行标定,得到工具位姿。
获取机器人的末端位姿,利用机器人末端位姿与工具位姿相乘得到工具末端位姿,从而获取工具末端位置。
工具末端位置即为电动螺丝刀末端位置。
步骤2:获取相机的参数,对相机进行内参标定,建立相机坐标系,计算相机坐标系与机器人基坐标系的转换关系。
步骤3:获取相机采集的待锁付螺纹孔图像,将待锁付螺纹孔图像与预先建立的螺纹孔形状特征模板库中的螺纹孔形状特征模板图像采用高斯图像金字塔分层搜索策略进行匹配,在待锁付螺纹孔图像中确定匹配的螺纹孔形状,并计算得到待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置。
预先建立的螺纹孔形状特征模板库中存有螺纹孔形状特征模板图像,螺纹孔形状特征模板图像为不同种类螺纹孔形状特征的模板图像。
步骤4:根据相机坐标系与机器人基坐标系的转换关系,得到机器人基坐标系下的待锁付螺纹孔中心位置。
步骤5、以当前位置为起点,以机器人基坐标系下待锁付螺纹孔中心位置为终点,进行路径规划,驱动机器人移动至待锁付螺纹孔处。
机器人移动至待锁付螺纹孔处之后,向锁付装置发送位置控制指令,位置控制指令的指定位置为机器人基坐标系下待锁付螺纹孔位置。
通过控制已吸附待使用螺栓的电动螺丝刀,控制工具末端位置达到指定位置后,控制电动螺丝刀启动,获取实时转动圈数和实时力矩,并设定转动圈数以及力矩设定值,当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值,控制电动螺丝刀停止,发出锁付完成信号。
有益效果:
本发明实施例提供的基于机器视觉的机器人自动锁付控制系统,通过控制器对机器人以及锁付装置进行自动综合控制,采用相机采集图像的方式,引入机器视觉技术,对待锁付螺纹孔位置进行识别与定位,加入力矩传感器对锁付过程进行监测,可以使机器人有一定的判断能力,使操作流程更加简单,减少锁偏、锁歪等情况的发生,从而提高锁付效率与锁付精度。
附图说明
图1为本发明实施例提供的基于机器视觉的机器人自动锁付控制系统组成框图;
图2为本发明实施例提供的基于机器视觉的机器人自动锁付控制系统中机器人及锁付装置安装结构示意图;
图3为本发明实施例提供的基于机器视觉的机器人自动锁付控制方法流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
请参考图1,图1示出了本发明实施例提供的基于机器视觉的机器人自动锁付控制系统,该系统包括机器人、控制器、送料单元、相机以及锁付装置。
机器人为示教机器人,具有示教盒。
锁付装置安装在机器人末端,二者安装结构如图2所示。
本发明实施例中,锁付装置包括进给气缸、电动螺丝刀、螺栓吸附设备以及力矩传感器,螺栓吸附设备安装在电动螺丝刀末端,螺栓吸附设备在设置的定点吸附位置处吸附待使用螺栓;进给气缸接收控制器发来的位置控制指令,依据位置控制指令将电动螺丝刀移动至指定位置;电动螺丝刀在控制器的控制下启动或者停止,电动螺丝刀在启动时将待使用螺栓拧入待锁付螺纹孔;力矩传感器实时获取电动螺丝刀的实时力矩回传至控制器。
送料单元对螺栓进行送料,将螺栓送至设置的定点吸附位置处。
相机获取待锁付螺纹孔图像,将待锁付螺纹孔图像发送至控制器。本发明实施例中相机可以设置在锁付装置末端。
控制器,建立机器人末端坐标系和机器人基坐标系,获取机器人基坐标至机器人末端坐标系的转换关系;获取锁付装置位置,对锁付装置进行工具坐标系标定,获取工具末端位置;获取相机的参数,对相机进行内参标定,建立相机坐标系,计算相机坐标系与机器人基坐标系的转换关系;获取相机采集的待锁付螺纹孔图像,计算待锁付螺纹孔图像像素坐标系下的待锁付螺纹孔中心位置,转换为相机坐标系下待锁付螺纹孔中心位置,利用相机坐标系与机器人基坐标系的转换关系,转换获得在机器人基坐标系下待锁付螺纹孔中心位置;
控制器,以当前位置为起点,以待锁付螺纹孔在机器人基坐标系下的位置为终点,进行路径规划,驱动机器人移动至待锁付螺纹孔处;控制器向锁付装置发送位置控制指令,位置控制指令的制定位置为待锁付螺纹孔位置;电动螺丝刀达到指定位置后,控制器控制电动螺丝刀启动,获取实时转动圈数和实时力矩,并设定转动圈数以及力矩设定值,当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值,控制电动螺丝刀停止。
本发明实施例中,控制器,与机器人的驱动器通过以太网控制自动化技术Ethercat通讯,与示教盒通过Modbus TCP通讯,与相机通过TCP/IP协议通讯。
本发明实施例中,控制器,获取实时转动圈数和实时力矩,若实时力矩达到力矩设定值,实时转动圈数并未达到设定转动圈数,发出报警信号,并控制电动螺丝刀停止。
以上实施例提供的基于机器视觉的机器人自动锁付控制系统,通过控制器对机器人以及锁付装置进行综合控制,采用相机采集图像的方式,引入机器视觉技术,对待锁付螺纹孔位置进行识别与定位,加入力矩传感器对锁付过程进行监测,可以使机器人有一定的判断能力,使操作流程更加简单,减少锁偏、锁歪等情况的发生,从而提高锁付效率与锁付精度。
请参考图3,图3示出了本发明实施例提供的基于机器视觉的机器人自动锁付控制方法流程图。
采用上述任一实施例提供的控制系统对机器人进行自动锁付控制,其中控制器采用如下方法:
步骤1:以锁付装置作为工具,建立工具坐标系{T},并进行工具坐标系标定。
工具坐标系{T}为:以锁付装置的末端点的中心为原点,以锁付装置的末端中心轴线为z轴,右手定则设定其他轴;
针对机器人建立机器人末端坐标系{E}以及机器人基坐标系{B};
采用六点标定法对工具坐标系{T}进行标定,得到工具位姿;
获取机器人的末端位姿,利用机器人末端位姿与工具位姿相乘得到工具末端位姿,从而获取工具末端位置;
本发明实施例中,六点标定法如下:
在机器人末端坐标系中选取六个标定点,前四个标定点用于标定工具参数的位置向量,前四个标定点之间各差90度且不能在一个平面上;后三个标定点标定工具坐标系的姿态矩阵,保持第4个标定点的姿态不变,采用Z/X方向标定。其中工具中心点位置标定采用线性最小二乘法的矩阵形式进行求解,工具坐标系姿态采用向量和矩阵的基本运算进行求解。
式中矢量分别描述了机器人末端坐标下X、Y、Z轴上的单位向量,失量[nx,ny,nz]T、[ox,oy,oz]T、[ax,ay,az]T分别描述了机器人末端坐标系下X、Y、Z单位向量在基坐标系下的坐标表示。
对式(1-1)以各自的分块形式展开,得到(1-4)式。
式中分别为机器人末端坐标系前四个标定点的旋转矩阵,BpiEo分别为机器人末端坐标系前四个标定点的位置矢量;为工具的旋转矩阵,Ept为工具的位置矢量;分别为工具坐标系末端四个点的旋转矩阵,Bpt为工具坐标系末端的位置矢量。将式(1-4)进行变形得到计算工具中心点的通式:
式中Epx、Epy、Epz为工具的位置;BpEx、BpEy、BpEz为机器人末端坐标系在基坐标系的位置;Bptx、Bpty、Bptz为机器人工具坐标系在基坐标系下的位置。
因前四个标定点不同位姿下工具坐标系在机器人基坐标系的位置不变,即Bptx、Bpty和Bptz为定值。结合式(1-5),将第二点的位姿数据减去第一点的位姿数据有如下关系:
由式(1-6)展开得:
依次类推可得:
计算出工具坐标系的位置,还需要标定计算工具末端的姿态。
工具末端的姿态采用Z/X方向标定,过程中保持TCF(Too lCoordinate Frame)的姿态不变。示教机器人从第四个标定点沿+X方向至少移动250mm后作为第五个标定点;然后回到第四个标定点再示教机器人沿+Z方向移动至少250mm作为第六个标定点,得到工具坐标系{T}的X轴轴向向量:
同理,得到工具坐标系{T}的Z轴轴向向量:
Y轴轴向向量由右手定则可得:
Y=Z×X (1-11)
再对Z=X×Y进行计算,以保证坐标系矢量的正交性。得到每个轴的轴向向量之后,对其进行单位化操作,得到工具坐标{T}相对于基坐标{B}的姿态,左乘第4个标定点末端坐标系旋转矩阵(从机器人控制器单元读出)的逆,求出工具坐标系的旋转矩阵,得到工具位姿。根据机器人末端位姿乘以工具位姿得到机器人工具末端位姿,由此可得工具末端的位置。
步骤2:获取相机的参数,对相机进行内参标定,建立相机坐标系,计算相机坐标系与机器人基坐标系的转换关系。
标定方法如下:
通过相机采集标定板;标定过程中,一般需要采集9~16张图片以保证标定板数量;标定板的位置覆盖相机视野中的所有位置,完成后得到焦距、畸变系数、中心点x坐标、中心点y坐标等。
可以得到相机坐标系与机器人基坐标系的关系为:
其中,(Oo,Xo,Yo,Zo)为相机坐标系,(OW,XW,YW,ZW)为机器人坐标系(世界坐标系),R为相机坐标系到世界坐标系的旋转矩阵,T为为相机坐标系到世界坐标系的平移矩阵。像素坐标系与机器人基坐标系关系为:
其中,(o,u,v)为成像坐标系,f是焦距;(u0,v0)为光轴与图像平面的交点;dx、dy分别表示每一个像素在u轴和v轴方向的物理尺寸,Zc是空间点P在相机坐标系下的Z方向距离。
步骤3:相机采集待锁付螺纹孔图像,计算获取待锁付螺纹孔中心位置。
获取相机采集的待锁付螺纹孔图像,将待锁付螺纹孔图像与预先建立的螺纹孔形状特征模板库中的螺纹孔形状特征模板图像采用高斯图像金字塔分层搜索策略进行匹配,在待锁付螺纹孔图像中确定匹配的螺纹孔形状,并计算得到待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置;
预先建立的螺纹孔形状特征模板库中存有螺纹孔形状特征模板图像,螺纹孔形状特征模板图像为不同种类螺纹孔形状特征的模板图像;
步骤4:根据相机坐标系与机器人基坐标系的转换关系,得到机器人基坐标系下的待锁付螺纹孔中心位置。
步骤5:进行机器人控制和锁付装置的控制。
以当前位置为起点,以机器人基坐标系下待锁付螺纹孔中心位置为终点,进行路径规划,驱动机器人移动至待锁付螺纹孔处。机器人移动至待锁付螺纹孔处之后,向锁付装置发送位置控制指令,位置控制指令的制定位置为机器人基坐标系下待锁付螺纹孔位置;
电动螺丝刀达到指定位置后,控制电动螺丝刀启动,获取实时转动圈数和实时力矩,并设定转动圈数以及力矩设定值,当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值,控制电动螺丝刀停止,发出锁付完成信号。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.基于机器视觉的机器人自动锁付控制系统,其特征在于,所述系统包括机器人、控制器、送料单元、相机以及锁付装置;
所述机器人为示教机器人,具有示教盒;
所述锁付装置安装在机器人末端,包括进给气缸、电动螺丝刀、螺栓吸附设备以及力矩传感器,所述螺栓吸附设备安装在所述电动螺丝刀的末端,螺栓吸附设备在设置的定点吸附位置处吸附待使用螺栓;所述进给气缸接收所述控制器发来的位置控制指令,依据所述位置控制指令将所述电动螺丝刀移动至指定位置;所述电动螺丝刀在所述控制器的控制下启动或者停止,所述电动螺丝刀在启动时将所述待使用螺栓拧入待锁付螺纹孔;所述力矩传感器实时获取所述电动螺丝刀的实时力矩,并将其回传至所述控制器;
所述送料单元对螺栓进行送料,将螺栓送至所述设置的定点吸附位置处;
所述相机获取待锁付螺纹孔图像,将所述待锁付螺纹孔图像发送至所述控制器;
所述控制器,建立机器人末端坐标系和机器人基坐标系,获取机器人基坐标系至机器人末端坐标系的转换关系;获取所述锁付装置位置,对所述锁付装置进行工具坐标系标定,获取工具末端位置;获取所述相机的参数,对所述相机进行内参标定,建立相机坐标系,计算所述相机坐标系与机器人基坐标系的转换关系;获取所述相机采集的待锁付螺纹孔图像,计算待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置,转换为相机坐标系下待锁付螺纹孔中心位置,利用所述相机坐标系与机器人基坐标系的转换关系,转换获得在机器人基坐标系下待锁付螺纹孔中心位置;
所述控制器,以当前位置为起点,以所述待锁付螺纹孔在机器人基坐标系下的位置为终点,进行路径规划,驱动所述机器人移动至所述待锁付螺纹孔处;所述控制器向所述锁付装置发送位置控制指令,所述位置控制指令的指定位置为所述待锁付螺纹孔位置;所述电动螺丝刀达到所述指定位置后,所述控制器控制所述电动螺丝刀启动,获取实时转动圈数和实时力矩,并设定转动圈数以及力矩设定值,当实时转动圈数达到所述设定转动圈数且实时力矩达到所述力矩设定值,控制所述电动螺丝刀停止;
所述控制器采用如下方法:
步骤1:以所述锁付装置作为工具,建立工具坐标系{T},所述工具坐标系{T}为:以所述锁付装置的末端点的中心为原点,以所述锁付装置的末端中心轴线为z轴,右手定则设定其他轴;
针对所述机器人建立机器人末端坐标系{E}以及机器人基坐标系{B};
采用六点标定法对所述工具坐标系{T}进行标定,得到工具位姿;
获取机器人的末端位姿,利用机器人末端位姿与所述工具位姿相乘得到机器人工具末端位姿,从而获取工具末端位置;
所述工具末端位置即为电动螺丝刀末端位置;
在机器人末端坐标系中选取六个标定点,前四个标定点用于标定工具参数的位置向量,前四个标定点之间各差90度且不能在一个平面上;后三个标定点标定工具坐标系的姿态矩阵,保持第4个标定点的姿态不变,采用Z/X方向标定;其中工具中心点位置标定采用线性最小二乘法的矩阵形式进行求解,工具坐标系的姿态采用向量和矩阵的基本运算进行求解;
式中矢量分别描述了机器人末端坐标下X、Y、Z轴上的单位向量,矢量[nx,ny,nz]T、[ox,oy,oz]T、[ax,ay,az]T分别描述了机器人末端坐标系下X、Y、Z轴上的单位向量在机器人基坐标系下的坐标表示:
对式(1-1)以各自的分块形式展开,得到式(1-4):
式中分别为机器人末端坐标系前四个标定点的旋转矩阵,BpiEo分别为机器人末端坐标系前四个标定点的位置矢量;为工具的旋转矩阵,Ept为工具的位置矢量;分别为工具坐标系前四个标定点的旋转矩阵,Bpt为工具坐标系在机器人基坐标系下的位置矢量;将式(1-4)进行变形得到计算工具中心点的通式:
式中Epx、Epy、Epz为工具的位置;BpEx、BpEy、BpEz为机器人末端坐标系在机器人基坐标系的位置;Bptx、Bpty、Bptz为工具坐标系在机器人基坐标系下的位置;
因在前四个标定点不同位姿下工具坐标系在机器人基坐标系的位置不变,即Bptx、Bpty和Bptz为定值;结合式(1-5),将第二点的位姿数据减去第一点的位姿数据有如下关系:
由式(1-6)展开得:
依次类推可得:
计算出工具坐标系的位置,需要进一步标定计算工具末端的姿态;
工具末端的姿态采用Z/X方向标定,过程中保持工具坐标系的姿态不变;所述示教机器人从第四个标定点沿+X方向至少移动250mm后作为第五个标定点;然后回到第四个标定点再将示教机器人沿+Z方向移动至少250mm作为第六个标定点,得到工具坐标系{T}的X轴轴向向量:
同理,得到工具坐标系{T}的Z轴轴向向量:
Y轴轴向向量由右手定则可得:
Y=Z×X (1-11)
再对Z=X×Y进行计算,以保证坐标系矢量的正交性;得到每个轴的轴向向量之后,对其进行单位化操作,得到工具坐标系{T}相对于机器人基坐标系{B}的姿态,左乘机器人末端坐标系第4个标定点的旋转矩阵的逆,求出工具坐标系的旋转矩阵,得到工具位姿;根据机器人末端位姿乘以工具位姿得到机器人工具末端位姿,由此可得工具末端的位置;
步骤2:获取所述相机的参数,对所述相机进行内参标定,建立相机坐标系,计算所述相机坐标系与机器人基坐标系的转换关系;
具体为:
通过相机采集标定板;标定过程中,要采集9~16张图片以保证标定板数量;标定板的位置覆盖相机视野中的所有位置,完成后得到焦距、畸变系数、中心点x坐标、中心点y坐标;
得到相机坐标系与机器人基坐标系的关系为:
其中,(Oo,Xo,Yo,Zo)为相机坐标系,(OW,XW,YW,ZW)为世界坐标系,R为相机坐标系到世界坐标系的旋转矩阵,T为相机坐标系到世界坐标系的平移矩阵;像素坐标系与机器人基坐标系关系为:
其中,(o,u,v)为成像坐标系,f是焦距;(u0,v0)为光轴与图像平面的交点;dx、dy分别表示每一个像素在u轴和v轴方向的物理尺寸,Zc是空间点P在相机坐标系下的Z方向距离;
步骤3:获取所述相机采集的待锁付螺纹孔图像,将所述待锁付螺纹孔图像与预先建立的螺纹孔形状特征模板库中的螺纹孔形状特征模板图像采用高斯图像金字塔分层搜索策略进行匹配,在所述待锁付螺纹孔图像中确定匹配的螺纹孔形状,并计算得到待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置;
所述预先建立的螺纹孔形状特征模板库中存有螺纹孔形状特征模板图像,所述螺纹孔形状特征模板图像为不同种类螺纹孔形状特征的模板图像;
步骤4:根据所述相机坐标系与所述机器人基坐标系的转换关系,得到机器人基坐标系下的待锁付螺纹孔中心位置;
步骤5、以当前位置为起点,以所述机器人基坐标系下待锁付螺纹孔中心位置为终点,进行路径规划,驱动所述机器人移动至所述待锁付螺纹孔处;
所述机器人移动至所述待锁付螺纹孔处之后,向所述锁付装置发送位置控制指令,所述位置控制指令的指定位置为所述机器人基坐标系下待锁付螺纹孔位置;
通过控制已吸附待使用螺栓的所述电动螺丝刀,控制所述工具末端位置达到所述指定位置后,控制所述电动螺丝刀启动,获取实时转动圈数和实时力矩,并设定转动圈数以及力矩设定值,当实时转动圈数达到所述设定转动圈数且实时力矩达到所述力矩设定值,控制所述电动螺丝刀停止,发出锁付完成信号。
2.如权利要求1所述的系统,其特征在于,所述控制器与所述机器人的驱动器通过以太网控制自动化技术Ethercat通讯,所述控制器与所述示教盒通过Modbus TCP通讯,所述控制器与所述相机通过TCP/IP协议通讯。
3.如权利要求1所述的系统,其特征在于,所述控制器获取实时转动圈数和实时力矩,若所述实时力矩达到所述力矩设定值,所述实时转动圈数并未达到所述设定转动圈数,发出报警信号,并控制所述电动螺丝刀停止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711420141.9A CN108312144B (zh) | 2017-12-25 | 2017-12-25 | 基于机器视觉的机器人自动锁付控制系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711420141.9A CN108312144B (zh) | 2017-12-25 | 2017-12-25 | 基于机器视觉的机器人自动锁付控制系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108312144A CN108312144A (zh) | 2018-07-24 |
CN108312144B true CN108312144B (zh) | 2020-10-20 |
Family
ID=62892409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711420141.9A Active CN108312144B (zh) | 2017-12-25 | 2017-12-25 | 基于机器视觉的机器人自动锁付控制系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108312144B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109124769B (zh) * | 2018-09-10 | 2021-06-04 | 上海电气集团股份有限公司 | 手术机器人的坐标系标定、控制的方法及系统 |
CN109570986A (zh) * | 2018-12-27 | 2019-04-05 | Tcl王牌电器(惠州)有限公司 | 全自动锁螺丝机和螺丝锁紧判断方法 |
CN109807610B (zh) * | 2019-01-21 | 2020-03-13 | 奥克斯空调股份有限公司 | 一种脚轮安装设备、方法及装置 |
CN109926815A (zh) * | 2019-04-25 | 2019-06-25 | 中国重型机械研究院股份公司 | 一种机器人自动装配螺纹副方法 |
CN110170827A (zh) * | 2019-05-30 | 2019-08-27 | 河南沐桐环保产业有限公司 | 电池包螺丝拆解方法 |
CN110243371A (zh) * | 2019-06-11 | 2019-09-17 | 五邑大学 | 一种采用蚁群算法的螺丝锁付路径规划方法 |
CN110216458A (zh) * | 2019-06-12 | 2019-09-10 | 五邑大学 | 一种基于扭力反馈的智能螺丝锁付装置 |
WO2021046767A1 (zh) * | 2019-09-11 | 2021-03-18 | 西门子(中国)有限公司 | 自主式机器人工装系统、控制系统、控制方法及存储介质 |
CN110561101B (zh) * | 2019-09-18 | 2020-11-13 | 北京李尔现代坦迪斯汽车系统有限公司 | 汽车座椅自动打枪机 |
CN110842919B (zh) * | 2019-11-05 | 2021-01-22 | 四川长虹智能制造技术有限公司 | 一种机器人打螺钉的视觉引导方法 |
CN112326285B (zh) * | 2020-10-21 | 2021-10-26 | 南京大学 | 基于机器视觉和有限状态机fsm的电动螺丝刀检测方法 |
CN113601158B (zh) * | 2021-08-23 | 2023-06-02 | 深圳职业技术学院 | 基于视觉定位的螺栓上料预拧紧系统及控制方法 |
CN113695895B (zh) * | 2021-11-01 | 2022-02-11 | 北京新风航天装备有限公司 | 一种针对筒件圆柱面的自动螺钉锁付机器人系统 |
CN114619233B (zh) * | 2022-03-17 | 2023-08-08 | 深圳市华成工业控制股份有限公司 | 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机 |
CN114683214B (zh) * | 2022-03-30 | 2024-09-17 | 武汉海微科技股份有限公司 | 一种车载屏幕壳体自动化打螺丝的视觉定位方法 |
CN115837576A (zh) * | 2022-12-27 | 2023-03-24 | 联宝(合肥)电子科技有限公司 | 一种斜面螺孔锁付方法及斜锁螺丝机 |
CN115805433A (zh) * | 2023-02-06 | 2023-03-17 | 曙光信息产业股份有限公司 | 散热器装配装置及散热器装配方法 |
CN116237744B (zh) * | 2023-03-30 | 2023-12-08 | 昆山楷徽自动化科技有限公司 | 一种基于机器视觉的多方位螺母自动锁付方法及系统 |
CN118024286A (zh) * | 2024-03-29 | 2024-05-14 | 深圳市元亨光电股份有限公司 | 智能维修机器人及控制方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003225837A (ja) * | 2002-01-31 | 2003-08-12 | Nitto Seiko Co Ltd | 自動ねじ締め装置 |
CN201677167U (zh) * | 2009-04-18 | 2010-12-22 | 无锡职业技术学院 | 一种自动螺母拧紧机 |
CN101829897B (zh) * | 2010-05-17 | 2011-07-27 | 韶关康瑞科技有限公司 | 自动螺丝安装机 |
CN203031254U (zh) * | 2012-12-31 | 2013-07-03 | 深圳先进技术研究院 | 自动锁螺丝装置和系统 |
CN103273308A (zh) * | 2013-06-20 | 2013-09-04 | 苏州工业职业技术学院 | 软触开关自动上螺丝装置 |
CN205129339U (zh) * | 2015-11-12 | 2016-04-06 | 苏州工业园区嘉宝精密机械有限公司 | 全自动锁螺丝设备 |
CN205393969U (zh) * | 2016-03-11 | 2016-07-27 | 重庆市灵龙自动化设备有限公司 | 笔记本自动锁螺丝机 |
-
2017
- 2017-12-25 CN CN201711420141.9A patent/CN108312144B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108312144A (zh) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108312144B (zh) | 基于机器视觉的机器人自动锁付控制系统及方法 | |
CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
CN107378780B (zh) | 一种基于视觉系统的机器人铸件打磨自适应方法 | |
CN105945561B (zh) | 基于腕眼立体视觉的机械臂‑电磁可更换螺钉旋拧系统 | |
CN109658460A (zh) | 一种机械臂末端相机手眼标定方法和系统 | |
JP5365379B2 (ja) | ロボットシステム及びロボットシステムのキャリブレーション方法 | |
CN107414474B (zh) | 一种狭窄空间螺栓定位安装机器人及控制方法 | |
CN110246193B (zh) | 工业机器人末端相机在线标定方法 | |
CN113601158A (zh) | 基于视觉定位的螺栓上料预拧紧系统及控制方法 | |
CN114728414A (zh) | 装有机器人的移动装置、系统和机床 | |
CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
CN112907682B (zh) | 一种五轴运动平台的手眼标定方法、装置及相关设备 | |
CN110980276A (zh) | 一种三维视觉配合机器人实施铸件自动下料的方法 | |
Feng et al. | Autonomous live-line maintenance robot for a 10 kV overhead line | |
Hvilshøj et al. | Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices | |
CN116079732A (zh) | 基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法 | |
CN116652970A (zh) | 一种四轴机械臂2d手眼标定方法及系统、存储介质 | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
Tongloy et al. | An image-based visual servo control system based on an eye-in-hand monocular camera for autonomous robotic grasping | |
CN215701709U (zh) | 一种可配置的手眼标定装置 | |
Ren et al. | Vision based object grasping of robotic manipulator | |
CN210616555U (zh) | 一种六自由度rov模拟驾驶系统 | |
CN114643577A (zh) | 一种通用型机器人视觉自动标定装置和方法 | |
JPH09323280A (ja) | マニピュレータの制御方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |