CN108312144A - 基于机器视觉的机器人自动锁付控制系统及方法 - Google Patents

基于机器视觉的机器人自动锁付控制系统及方法 Download PDF

Info

Publication number
CN108312144A
CN108312144A CN201711420141.9A CN201711420141A CN108312144A CN 108312144 A CN108312144 A CN 108312144A CN 201711420141 A CN201711420141 A CN 201711420141A CN 108312144 A CN108312144 A CN 108312144A
Authority
CN
China
Prior art keywords
lock
robot
threaded hole
coordinates system
pays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711420141.9A
Other languages
English (en)
Other versions
CN108312144B (zh
Inventor
王红伟
张忠海
于功敬
孙健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Measurement and Control Technology Co Ltd
Original Assignee
Beijing Aerospace Measurement and Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Measurement and Control Technology Co Ltd filed Critical Beijing Aerospace Measurement and Control Technology Co Ltd
Priority to CN201711420141.9A priority Critical patent/CN108312144B/zh
Publication of CN108312144A publication Critical patent/CN108312144A/zh
Application granted granted Critical
Publication of CN108312144B publication Critical patent/CN108312144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于机器视觉的机器人自动锁付控制系统及方法，能够实现使用机器人进行待锁付螺纹孔的自动、高效、且精确的锁付。机器人为示教机器人，具有示教盒；锁付装置安装在机器人末端，用于吸附待使用螺栓，并在控制器控制下将待使用螺栓拧入待锁付螺纹孔中；送料单元对螺栓进行送料，将螺栓送至设置的定点吸附位置处；相机获取待锁付螺纹孔图像，将待锁付螺纹孔图像发送至控制器；控制器对机器人和锁付装置进行综合控制。

Description

基于机器视觉的机器人自动锁付控制系统及方法
技术领域
本发明涉及工业机器人自动控制领域，具体涉及基于机器视觉的机器人自动锁付控制系统及方法。
背景技术
传统人工手持螺丝锁付方式具有效率低、速度慢的缺点，锁付装置对准螺纹孔或者螺钉是否锁紧都靠人工进行判断，人为因素占很大比例。利用机器人传统示教的方式进行螺纹孔坐标信息的录入，孔位精度低，而且对于螺纹孔形状不规则、种类较多，操作也比较繁琐。
发明内容
有鉴于此，本发明提供了基于机器视觉的机器人自动锁付控制系统及方法，能够实现使用机器人进行待锁付螺纹孔的自动、高效、且精确的锁付。
本发明的技术方案为：
本发明第一方面的实施例提供了基于机器视觉的机器人自动锁付控制系统，系统包括机器人、控制器、送料单元、相机以及锁付装置。
机器人为示教机器人，具有示教盒。
锁付装置安装在机器人末端，包括进给气缸、电动螺丝刀、螺栓吸附设备以及力矩传感器，螺栓吸附设备安装在电动螺丝刀末端，螺栓吸附设备在设置的定点吸附位置处吸附待使用螺栓；进给气缸接收控制器发来的位置控制指令，依据位置控制指令将电动螺丝刀移动至指定位置；电动螺丝刀在控制器的控制下启动或者停止，电动螺丝刀在启动时将待使用螺栓拧入待锁付螺纹孔；力矩传感器实时获取电动螺丝刀的实时力矩回传至控制器。
送料单元对螺栓进行送料，将螺栓送至设置的定点吸附位置处。
相机获取待锁付螺纹孔图像，将待锁付螺纹孔图像发送至控制器。
控制器，建立机器人末端坐标系和机器人基坐标系，获取机器人基坐标至机器人末端坐标系的转换关系；获取锁付装置位置，对锁付装置进行工具坐标系标定，获取工具末端位置；获取相机的参数，对相机进行内参标定，建立相机坐标系，计算相机坐标系与机器人基坐标系的转换关系；获取相机采集的待锁付螺纹孔图像，计算待锁付螺纹孔图像像素坐标系下的待锁付螺纹孔中心位置，转换为相机坐标系下待锁付螺纹孔中心位置，利用相机坐标系与机器人基坐标系的转换关系，转换获得在机器人基坐标系下待锁付螺纹孔中心位置。
控制器，以当前位置为起点，以待锁付螺纹孔在机器人基坐标系下的位置为终点，进行路径规划，驱动机器人移动至待锁付螺纹孔处；控制器向锁付装置发送位置控制指令，位置控制指令的制定位置为待锁付螺纹孔位置；电动螺丝刀达到指定位置后，控制器控制电动螺丝刀启动，获取实时转动圈数和实时力矩，并设定转动圈数以及力矩设定值，当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值，控制电动螺丝刀停止。
在第一方面的一个或多个实施例中，控制器，与机器人的驱动器通过以太网控制自动化技术Ethercat通讯，与示教盒通过Modbus TCP通讯，与相机通过TCP/IP协议通讯。
在第一方面的一个或多个实施例中，控制器，获取实时转动圈数和实时力矩，若实时力矩达到力矩设定值，实时转动圈数并未达到设定转动圈数，发出报警信号，并控制电动螺丝刀停止。
本发明第二方面的实施例中提供了基于机器视觉的机器人自动锁付控制方法，采用本发明第一方面的任一实施例提供的系统对机器人进行自动锁付控制，控制器采用如下方法：
步骤1：以锁付装置作为工具，建立工具坐标系{T}，工具坐标系{T}为：以锁付装置的末端点的中心为原点，以锁付装置的末端中心轴线为z轴，右手定则设定其他轴。
针对机器人建立机器人末端坐标系{E}以及机器人基坐标系{B}。
采用六点标定法对工具坐标系{T}进行标定，得到工具位姿。
获取机器人的末端位姿，利用机器人末端位姿与工具位姿相乘得到工具末端位姿，从而获取工具末端位置。
工具末端位置即为电动螺丝刀末端位置。
步骤2：获取相机的参数，对相机进行内参标定，建立相机坐标系，计算相机坐标系与机器人基坐标系的转换关系。
步骤3：获取相机采集的待锁付螺纹孔图像，将待锁付螺纹孔图像与预先建立的螺纹孔形状特征模板库中的螺纹孔形状特征模板图像采用高斯图像金字塔分层搜索策略进行匹配，在待锁付螺纹孔图像中确定匹配的螺纹孔形状，并计算得到待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置。
预先建立的螺纹孔形状特征模板库中存有螺纹孔形状特征模板图像，螺纹孔形状特征模板图像为不同种类螺纹孔形状特征的模板图像。
步骤4：根据相机坐标系与机器人基坐标系的转换关系，得到机器人基坐标系下的待锁付螺纹孔中心位置。
步骤5、以当前位置为起点，以机器人基坐标系下待锁付螺纹孔中心位置为终点，进行路径规划，驱动机器人移动至待锁付螺纹孔处。
机器人移动至待锁付螺纹孔处之后，向锁付装置发送位置控制指令，位置控制指令的指定位置为机器人基坐标系下待锁付螺纹孔位置。
通过控制已吸附待使用螺栓的电动螺丝刀，控制工具末端位置达到指定位置后，控制电动螺丝刀启动，获取实时转动圈数和实时力矩，并设定转动圈数以及力矩设定值，当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值，控制电动螺丝刀停止，发出锁付完成信号。
有益效果：
本发明实施例提供的基于机器视觉的机器人自动锁付控制系统，通过控制器对机器人以及锁付装置进行自动综合控制，采用相机采集图像的方式，引入机器视觉技术，对待锁付螺纹孔位置进行识别与定位，加入力矩传感器对锁付过程进行监测，可以使机器人有一定的判断能力，使操作流程更加简单，减少锁偏、锁歪等情况的发生，从而提高锁付效率与锁付精度。
附图说明
图1为本发明实施例提供的基于机器视觉的机器人自动锁付控制系统组成框图；
图2为本发明实施例提供的基于机器视觉的机器人自动锁付控制系统中机器人及锁付装置安装结构示意图；
图3为本发明实施例提供的基于机器视觉的机器人自动锁付控制方法流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
请参考图1，图1示出了本发明实施例提供的基于机器视觉的机器人自动锁付控制系统，该系统包括机器人、控制器、送料单元、相机以及锁付装置。
机器人为示教机器人，具有示教盒。
锁付装置安装在机器人末端，二者安装结构如图2所示。
本发明实施例中，锁付装置包括进给气缸、电动螺丝刀、螺栓吸附设备以及力矩传感器，螺栓吸附设备安装在电动螺丝刀末端，螺栓吸附设备在设置的定点吸附位置处吸附待使用螺栓；进给气缸接收控制器发来的位置控制指令，依据位置控制指令将电动螺丝刀移动至指定位置；电动螺丝刀在控制器的控制下启动或者停止，电动螺丝刀在启动时将待使用螺栓拧入待锁付螺纹孔；力矩传感器实时获取电动螺丝刀的实时力矩回传至控制器。
送料单元对螺栓进行送料，将螺栓送至设置的定点吸附位置处。
相机获取待锁付螺纹孔图像，将待锁付螺纹孔图像发送至控制器。本发明实施例中相机可以设置在锁付装置末端。
控制器，建立机器人末端坐标系和机器人基坐标系，获取机器人基坐标至机器人末端坐标系的转换关系；获取锁付装置位置，对锁付装置进行工具坐标系标定，获取工具末端位置；获取相机的参数，对相机进行内参标定，建立相机坐标系，计算相机坐标系与机器人基坐标系的转换关系；获取相机采集的待锁付螺纹孔图像，计算待锁付螺纹孔图像像素坐标系下的待锁付螺纹孔中心位置，转换为相机坐标系下待锁付螺纹孔中心位置，利用相机坐标系与机器人基坐标系的转换关系，转换获得在机器人基坐标系下待锁付螺纹孔中心位置；
控制器，以当前位置为起点，以待锁付螺纹孔在机器人基坐标系下的位置为终点，进行路径规划，驱动机器人移动至待锁付螺纹孔处；控制器向锁付装置发送位置控制指令，位置控制指令的制定位置为待锁付螺纹孔位置；电动螺丝刀达到指定位置后，控制器控制电动螺丝刀启动，获取实时转动圈数和实时力矩，并设定转动圈数以及力矩设定值，当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值，控制电动螺丝刀停止。
本发明实施例中，控制器，与机器人的驱动器通过以太网控制自动化技术Ethercat通讯，与示教盒通过Modbus TCP通讯，与相机通过TCP/IP协议通讯。
本发明实施例中，控制器，获取实时转动圈数和实时力矩，若实时力矩达到力矩设定值，实时转动圈数并未达到设定转动圈数，发出报警信号，并控制电动螺丝刀停止。
以上实施例提供的基于机器视觉的机器人自动锁付控制系统，通过控制器对机器人以及锁付装置进行综合控制，采用相机采集图像的方式，引入机器视觉技术，对待锁付螺纹孔位置进行识别与定位，加入力矩传感器对锁付过程进行监测，可以使机器人有一定的判断能力，使操作流程更加简单，减少锁偏、锁歪等情况的发生，从而提高锁付效率与锁付精度。
请参考图3，图3示出了本发明实施例提供的基于机器视觉的机器人自动锁付控制方法流程图。
采用上述任一实施例提供的控制系统对机器人进行自动锁付控制，其中控制器采用如下方法：
步骤1：以锁付装置作为工具，建立工具坐标系{T}，并进行工具坐标系标定。
工具坐标系{T}为：以锁付装置的末端点的中心为原点，以锁付装置的末端中心轴线为z轴，右手定则设定其他轴；
针对机器人建立机器人末端坐标系{E}以及机器人基坐标系{B}；
采用六点标定法对工具坐标系{T}进行标定，得到工具位姿；
获取机器人的末端位姿，利用机器人末端位姿与工具位姿相乘得到工具末端位姿，从而获取工具末端位置；
本发明实施例中，六点标定法如下：
在机器人末端坐标系中选取六个标定点，前四个标定点用于标定工具参数的位置向量，前四个标定点之间各差90度且不能在一个平面上；后三个标定点标定工具坐标系的姿态矩阵，保持第4个标定点的姿态不变，采用Z/X方向标定。其中工具中心点位置标定采用线性最小二乘法的矩阵形式进行求解，工具坐标系姿态采用向量和矩阵的基本运算进行求解。
机器人末端坐标系{E}相对于机器人基坐标系{B}的变换关系为工具坐标系{T}相对于末端坐标系{E}的变换关系为工具坐标系{T}相对于基坐标{B}的变换关系为三者的转换关系为：
是由机器人的正解方程得到，由旋转矩阵和位置矢量BpE0组成。
式中矢量分别描述了机器人末端坐标下X、Y、Z轴上的单位向量，失量[nx,ny,nz]T、[ox,oy,oz]T、[ax,ay,az]T分别描述了机器人末端坐标系下X、Y、Z单位向量在基坐标系下的坐标表示。
对式(1-1)以各自的分块形式展开，得到(1-4)式。
式中分别为机器人末端坐标系前四个标定点的旋转矩阵，BpiEo分别为机器人末端坐标系前四个标定点的位置矢量；为工具的旋转矩阵，Ept为工具的位置矢量；分别为工具坐标系末端四个点的旋转矩阵，Bpt为工具坐标系末端的位置矢量。将式(1-4)进行变形得到计算工具中心点的通式：
式中Epx、Epy、Epz为工具的位置；BpEx、BpEy、BpEz为机器人末端坐标系在基坐标系的位置；Bptx、Bpty、Bptz为机器人工具坐标系在基坐标系下的位置。
因前四个标定点不同位姿下工具坐标系在机器人基坐标系的位置不变，即Bptx、Bpty和Bptz为定值。结合式(1-5)，将第二点的位姿数据减去第一点的位姿数据有如下关系：
由式(1-6)展开得：
依次类推可得：
计算出工具坐标系的位置，还需要标定计算工具末端的姿态。
工具末端的姿态采用Z/X方向标定，过程中保持TCF(Tool Coordinate Frame)的姿态不变。示教机器人从第四个标定点沿+X方向至少移动250mm后作为第五个标定点；然后回到第四个标定点再示教机器人沿+Z方向移动至少250mm作为第六个标定点，得到工具坐标系{T}的X轴轴向向量：
同理，得到工具坐标系{T}的Z轴轴向向量：
Y轴轴向向量由右手定则可得：
Y＝Z×X (1-11)
再对Z＝X×Y进行计算，以保证坐标系矢量的正交性。得到每个轴的轴向向量之后，对其进行单位化操作，得到工具坐标{T}相对于基坐标{B}的姿态，左乘第4个标定点末端坐标系旋转矩阵(从机器人控制器单元读出)的逆，求出工具坐标系的旋转矩阵，得到工具位姿。根据机器人末端位姿乘以工具位姿得到机器人工具末端位姿，由此可得工具末端的位置。
步骤2：获取相机的参数，对相机进行内参标定，建立相机坐标系，计算相机坐标系与机器人基坐标系的转换关系。
标定方法如下：
通过相机采集标定板；标定过程中，一般需要采集9～16张图片以保证标定板数量；标定板的位置覆盖相机视野中的所有位置，完成后得到焦距、畸变系数、中心点x坐标、中心点y坐标等。
可以得到相机坐标系与机器人基坐标系的关系为：
其中，(Oo,Xo,Yo,Zo)为相机坐标系，(OW,XW,YW,ZW)为机器人坐标系(世界坐标系)，R为相机坐标系到世界坐标系的旋转矩阵，T为为相机坐标系到世界坐标系的平移矩阵。像素坐标系与机器人基坐标系关系为：
其中，(o,u,v)为成像坐标系，f是焦距；(u0,v0)为光轴与图像平面的交点；dx、dy分别表示每一个像素在u轴和v轴方向的物理尺寸，Zc是空间点P在相机坐标系下的Z方向距离。
步骤3：相机采集待锁付螺纹孔图像，计算获取待锁付螺纹孔中心位置。
获取相机采集的待锁付螺纹孔图像，将待锁付螺纹孔图像与预先建立的螺纹孔形状特征模板库中的螺纹孔形状特征模板图像采用高斯图像金字塔分层搜索策略进行匹配，在待锁付螺纹孔图像中确定匹配的螺纹孔形状，并计算得到待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置；
预先建立的螺纹孔形状特征模板库中存有螺纹孔形状特征模板图像，螺纹孔形状特征模板图像为不同种类螺纹孔形状特征的模板图像；
步骤4：根据相机坐标系与机器人基坐标系的转换关系，得到机器人基坐标系下的待锁付螺纹孔中心位置。
步骤5：进行机器人控制和锁付装置的控制。
以当前位置为起点，以机器人基坐标系下待锁付螺纹孔中心位置为终点，进行路径规划，驱动机器人移动至待锁付螺纹孔处。机器人移动至待锁付螺纹孔处之后，向锁付装置发送位置控制指令，位置控制指令的制定位置为机器人基坐标系下待锁付螺纹孔位置；
电动螺丝刀达到指定位置后，控制电动螺丝刀启动，获取实时转动圈数和实时力矩，并设定转动圈数以及力矩设定值，当实时转动圈数达到设定转动圈数且实时力矩达到力矩设定值，控制电动螺丝刀停止，发出锁付完成信号。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于机器视觉的机器人自动锁付控制系统，其特征在于，所述系统包括机器人、控制器、送料单元、相机以及锁付装置；
所述机器人为示教机器人，具有示教盒；
所述锁付装置安装在机器人末端，包括进给气缸、电动螺丝刀、螺栓吸附设备以及力矩传感器，所述螺栓吸附设备安装在所述电动螺丝刀末端，螺栓吸附设备在设置的定点吸附位置处吸附待使用螺栓；所述进给气缸接收所述控制器发来的位置控制指令，依据所述位置控制指令将所述电动螺丝刀移动至指定位置；所述电动螺丝刀在所述控制器的控制下启动或者停止，所述电动螺丝刀在启动时将所述待使用螺栓拧入待锁付螺纹孔；所述力矩传感器实时获取所述电动螺丝刀的实时力矩回传至所述控制器；
所述送料单元对螺栓进行送料，将螺栓送至所述设置的定点吸附位置处；
所述相机获取待锁付螺纹孔图像，将所述待锁付螺纹孔图像发送至所述控制器；
所述控制器，建立机器人末端坐标系和机器人基坐标系，获取机器人基坐标至机器人末端坐标系的转换关系；获取所述锁付装置位置，对所述锁付装置进行工具坐标系标定，获取工具末端位置；获取所述相机的参数，对所述相机进行内参标定，建立相机坐标系，计算所述相机坐标系与机器人基坐标系的转换关系；获取所述相机采集的待锁付螺纹孔图像，计算待锁付螺纹孔图像像素坐标系下的待锁付螺纹孔中心位置，转换为相机坐标系下待锁付螺纹孔中心位置，利用所述相机坐标系与机器人基坐标系的转换关系，转换获得在机器人基坐标系下待锁付螺纹孔中心位置；
所述控制器，以当前位置为起点，以所述待锁付螺纹孔在机器人基坐标系下的位置为终点，进行路径规划，驱动所述机器人移动至所述待锁付螺纹孔处；所述控制器向所述锁付装置发送位置控制指令，所述位置控制指令的制定位置为所述待锁付螺纹孔位置；所述电动螺丝刀达到所述指定位置后，所述控制器控制所述电动螺丝刀启动，获取实时转动圈数和实时力矩，并设定转动圈数以及力矩设定值，当实时转动圈数达到所述设定转动圈数且实时力矩达到所述力矩设定值，控制所述电动螺丝刀停止。
2.如权利要求1所述的系统，其特征在于，所述控制器，与所述机器人的驱动器通过以太网控制自动化技术Ethercat通讯，与所述示教盒通过Modbus TCP通讯，与所述相机通过TCP/IP协议通讯。
3.如权利要求1所述的系统，其特征在于，所述控制器，获取实时转动圈数和实时力矩，若所述实时力矩达到所述力矩设定值，所述实时转动圈数并未达到所述设定转动圈数，发出报警信号，并控制所述电动螺丝刀停止。
4.基于机器视觉的机器人自动锁付控制方法，其特征在于，采用如权利要求1～3任一所述的系统对所述机器人进行自动锁付控制，所述控制器采用如下方法：
步骤1：以所述锁付装置作为工具，建立工具坐标系{T}，所述工具坐标系{T}为：以所述锁付装置的末端点的中心为原点，以所述锁付装置的末端中心轴线为z轴，右手定则设定其他轴；
针对所述机器人建立机器人末端坐标系{E}以及机器人基坐标系{B}；
采用六点标定法对所述工具坐标系{T}进行标定，得到工具位姿；
获取机器人的末端位姿，利用机器人末端位姿与所述工具位姿相乘得到工具末端位姿，从而获取工具末端位置；
所述工具末端位置即为电动螺丝刀末端位置；
步骤2：获取所述相机的参数，对所述相机进行内参标定，建立相机坐标系，计算所述相机坐标系与机器人基坐标系的转换关系；
步骤3：获取所述相机采集的待锁付螺纹孔图像，将所述待锁付螺纹孔图像与预先建立的螺纹孔形状特征模板库中的螺纹孔形状特征模板图像采用高斯图像金字塔分层搜索策略进行匹配，在所述待锁付螺纹孔图像中确定匹配的螺纹孔形状，并计算得到待锁付螺纹孔图像的像素坐标系下的待锁付螺纹孔中心位置；
所述预先建立的螺纹孔形状特征模板库中存有螺纹孔形状特征模板图像，所述螺纹孔形状特征模板图像为不同种类螺纹孔形状特征的模板图像；
步骤4：根据所述相机坐标系与所述机器人基坐标系的转换关系，得到机器人基坐标系下的待锁付螺纹孔中心位置；
步骤5、以当前位置为起点，以所述机器人基坐标系下待锁付螺纹孔中心位置为终点，进行路径规划，驱动所述机器人移动至所述待锁付螺纹孔处；
所述机器人移动至所述待锁付螺纹孔处之后，向所述锁付装置发送位置控制指令，所述位置控制指令的指定位置为所述机器人基坐标系下待锁付螺纹孔位置；
通过控制已吸附待使用螺栓的所述电动螺丝刀，控制所述工具末端位置达到所述指定位置后，控制所述电动螺丝刀启动，获取实时转动圈数和实时力矩，并设定转动圈数以及力矩设定值，当实时转动圈数达到所述设定转动圈数且实时力矩达到所述力矩设定值，控制所述电动螺丝刀停止，发出锁付完成信号。
CN201711420141.9A 2017-12-25 2017-12-25 基于机器视觉的机器人自动锁付控制系统及方法 Active CN108312144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711420141.9A CN108312144B (zh) 2017-12-25 2017-12-25 基于机器视觉的机器人自动锁付控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711420141.9A CN108312144B (zh) 2017-12-25 2017-12-25 基于机器视觉的机器人自动锁付控制系统及方法

Publications (2)

Publication Number Publication Date
CN108312144A true CN108312144A (zh) 2018-07-24
CN108312144B CN108312144B (zh) 2020-10-20

Family

ID=62892409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711420141.9A Active CN108312144B (zh) 2017-12-25 2017-12-25 基于机器视觉的机器人自动锁付控制系统及方法

Country Status (1)

Country Link
CN (1) CN108312144B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124769A (zh) * 2018-09-10 2019-01-04 上海电气集团股份有限公司 手术机器人的坐标系标定、控制的方法及系统
CN109570986A (zh) * 2018-12-27 2019-04-05 Tcl王牌电器(惠州)有限公司 全自动锁螺丝机和螺丝锁紧判断方法
CN109807610A (zh) * 2019-01-21 2019-05-28 奥克斯空调股份有限公司 一种脚轮安装设备、方法及装置
CN109926815A (zh) * 2019-04-25 2019-06-25 中国重型机械研究院股份公司 一种机器人自动装配螺纹副方法
CN110170827A (zh) * 2019-05-30 2019-08-27 河南沐桐环保产业有限公司 电池包螺丝拆解方法
CN110216458A (zh) * 2019-06-12 2019-09-10 五邑大学 一种基于扭力反馈的智能螺丝锁付装置
CN110243371A (zh) * 2019-06-11 2019-09-17 五邑大学 一种采用蚁群算法的螺丝锁付路径规划方法
CN110561101A (zh) * 2019-09-18 2019-12-13 北京李尔岱摩斯汽车系统有限公司 汽车座椅自动打枪机
CN110842919A (zh) * 2019-11-05 2020-02-28 四川长虹智能制造技术有限公司 一种机器人打螺钉的视觉引导方法
CN112326285A (zh) * 2020-10-21 2021-02-05 南京大学 基于机器视觉和有限状态机fsm的电动螺丝刀检测方法
WO2021046767A1 (zh) * 2019-09-11 2021-03-18 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质
CN113601158A (zh) * 2021-08-23 2021-11-05 深圳职业技术学院 基于视觉定位的螺栓上料预拧紧系统及控制方法
CN113695895A (zh) * 2021-11-01 2021-11-26 北京新风航天装备有限公司 一种针对筒件圆柱面的自动螺钉锁付机器人系统
CN114619233A (zh) * 2022-03-17 2022-06-14 深圳市华成工业控制股份有限公司 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN115805433A (zh) * 2023-02-06 2023-03-17 曙光信息产业股份有限公司 散热器装配装置及散热器装配方法
CN115837576A (zh) * 2022-12-27 2023-03-24 联宝(合肥)电子科技有限公司 一种斜面螺孔锁付方法及斜锁螺丝机
CN116237744A (zh) * 2023-03-30 2023-06-09 昆山楷徽自动化科技有限公司 一种基于机器视觉的多方位螺母自动方法及系统
CN114174007B (zh) * 2019-09-11 2024-07-09 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225837A (ja) * 2002-01-31 2003-08-12 Nitto Seiko Co Ltd 自動ねじ締め装置
CN101829897A (zh) * 2010-05-17 2010-09-15 韶关康瑞科技有限公司 自动螺丝安装机
CN201677167U (zh) * 2009-04-18 2010-12-22 无锡职业技术学院 一种自动螺母拧紧机
CN203031254U (zh) * 2012-12-31 2013-07-03 深圳先进技术研究院 自动锁螺丝装置和系统
CN103273308A (zh) * 2013-06-20 2013-09-04 苏州工业职业技术学院 软触开关自动上螺丝装置
CN205129339U (zh) * 2015-11-12 2016-04-06 苏州工业园区嘉宝精密机械有限公司 全自动锁螺丝设备
CN205393969U (zh) * 2016-03-11 2016-07-27 重庆市灵龙自动化设备有限公司 笔记本自动锁螺丝机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225837A (ja) * 2002-01-31 2003-08-12 Nitto Seiko Co Ltd 自動ねじ締め装置
CN201677167U (zh) * 2009-04-18 2010-12-22 无锡职业技术学院 一种自动螺母拧紧机
CN101829897A (zh) * 2010-05-17 2010-09-15 韶关康瑞科技有限公司 自动螺丝安装机
CN203031254U (zh) * 2012-12-31 2013-07-03 深圳先进技术研究院 自动锁螺丝装置和系统
CN103273308A (zh) * 2013-06-20 2013-09-04 苏州工业职业技术学院 软触开关自动上螺丝装置
CN205129339U (zh) * 2015-11-12 2016-04-06 苏州工业园区嘉宝精密机械有限公司 全自动锁螺丝设备
CN205393969U (zh) * 2016-03-11 2016-07-27 重庆市灵龙自动化设备有限公司 笔记本自动锁螺丝机

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
沈雅琼: "基于WinCE的工业机器人示教器软件设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王德: "基于机器视觉的自动螺丝锁付装备及定位方法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄攀峰等: "《空间绳系机器人技术》", 31 August 2014, 中国宇航出版社 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124769A (zh) * 2018-09-10 2019-01-04 上海电气集团股份有限公司 手术机器人的坐标系标定、控制的方法及系统
CN109570986A (zh) * 2018-12-27 2019-04-05 Tcl王牌电器(惠州)有限公司 全自动锁螺丝机和螺丝锁紧判断方法
CN109807610A (zh) * 2019-01-21 2019-05-28 奥克斯空调股份有限公司 一种脚轮安装设备、方法及装置
CN109926815A (zh) * 2019-04-25 2019-06-25 中国重型机械研究院股份公司 一种机器人自动装配螺纹副方法
CN110170827A (zh) * 2019-05-30 2019-08-27 河南沐桐环保产业有限公司 电池包螺丝拆解方法
CN110243371A (zh) * 2019-06-11 2019-09-17 五邑大学 一种采用蚁群算法的螺丝锁付路径规划方法
CN110216458A (zh) * 2019-06-12 2019-09-10 五邑大学 一种基于扭力反馈的智能螺丝锁付装置
WO2021046767A1 (zh) * 2019-09-11 2021-03-18 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质
CN114174007A (zh) * 2019-09-11 2022-03-11 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质
CN114174007B (zh) * 2019-09-11 2024-07-09 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质
CN110561101A (zh) * 2019-09-18 2019-12-13 北京李尔岱摩斯汽车系统有限公司 汽车座椅自动打枪机
CN110842919A (zh) * 2019-11-05 2020-02-28 四川长虹智能制造技术有限公司 一种机器人打螺钉的视觉引导方法
CN112326285A (zh) * 2020-10-21 2021-02-05 南京大学 基于机器视觉和有限状态机fsm的电动螺丝刀检测方法
CN113601158A (zh) * 2021-08-23 2021-11-05 深圳职业技术学院 基于视觉定位的螺栓上料预拧紧系统及控制方法
CN113695895B (zh) * 2021-11-01 2022-02-11 北京新风航天装备有限公司 一种针对筒件圆柱面的自动螺钉锁付机器人系统
CN113695895A (zh) * 2021-11-01 2021-11-26 北京新风航天装备有限公司 一种针对筒件圆柱面的自动螺钉锁付机器人系统
CN114619233A (zh) * 2022-03-17 2022-06-14 深圳市华成工业控制股份有限公司 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN114619233B (zh) * 2022-03-17 2023-08-08 深圳市华成工业控制股份有限公司 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN115837576A (zh) * 2022-12-27 2023-03-24 联宝(合肥)电子科技有限公司 一种斜面螺孔锁付方法及斜锁螺丝机
CN115805433A (zh) * 2023-02-06 2023-03-17 曙光信息产业股份有限公司 散热器装配装置及散热器装配方法
CN116237744A (zh) * 2023-03-30 2023-06-09 昆山楷徽自动化科技有限公司 一种基于机器视觉的多方位螺母自动方法及系统
CN116237744B (zh) * 2023-03-30 2023-12-08 昆山楷徽自动化科技有限公司 一种基于机器视觉的多方位螺母自动锁付方法及系统

Also Published As

Publication number Publication date
CN108312144B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN108312144A (zh) 基于机器视觉的机器人自动锁付控制系统及方法
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN105157725B (zh) 一种二维激光视觉传感器和机器人的手眼标定方法
CN110480634A (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
CN106313049A (zh) 一种仿人机械臂体感控制系统及控制方法
DE1059618T1 (de) Dreidimensionaler grafischer Manipulator
CN109848964B (zh) 基于光学动作捕捉的示教机器人数据采集器系统
CN105067011A (zh) 一种基于视觉标定及坐标转换的测量系统整体校准方法
CN106895841B (zh) 一种应用于变电站的矢量电子地图创建方法
CN107253190A (zh) 一种高精度机器人手眼相机自动标定的装置及其使用方法
CN110142770B (zh) 一种基于头戴显示装置的机器人示教系统及方法
CN109318234A (zh) 一种适用于视觉伺服插拔作业的标定方法
CN109263253A (zh) 基于机器视觉的晶硅光伏太阳能电池印刷定位平台标定方法及装置
CN113655415B (zh) 一种磁场分布的增强现实在线可视化方法
CN112907682B (zh) 一种五轴运动平台的手眼标定方法、装置及相关设备
CN108582031A (zh) 一种基于力反馈主从控制的带电作业机器人支接引线搭接方法
CN106643735A (zh) 一种室内定位方法、装置和移动终端
CN107133984A (zh) 深度相机与主体设备的标定方法与系统
CN107328358B (zh) 铝电解槽位姿的测量系统及测量方法
CN106648360B (zh) 一种3d球机的定位方法及装置
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
DE102004061841B4 (de) Markerloses Tracking System für Augmented Reality Anwendungen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant