CN112935772A - 视觉引导机器人拧螺丝的方法、装置、存储介质和设备 - Google Patents

视觉引导机器人拧螺丝的方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN112935772A
CN112935772A CN202110022432.2A CN202110022432A CN112935772A CN 112935772 A CN112935772 A CN 112935772A CN 202110022432 A CN202110022432 A CN 202110022432A CN 112935772 A CN112935772 A CN 112935772A
Authority
CN
China
Prior art keywords
screw
screws
path
image
material tray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110022432.2A
Other languages
English (en)
Other versions
CN112935772B (zh
Inventor
卢清华
陈奎
吴俊君
罗陆锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202110022432.2A priority Critical patent/CN112935772B/zh
Publication of CN112935772A publication Critical patent/CN112935772A/zh
Application granted granted Critical
Publication of CN112935772B publication Critical patent/CN112935772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种视觉引导机器人拧螺丝的方法、装置、存储介质和设备；其中方法包括：获取物料盘图像和产品图像；进行预处理；获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。该方法可实现六轴机器人拧螺丝的自动化和智能化操作，可节省人力资源和提高生产效率，也可避免人工安装螺丝时出现漏拧现象。

Description

视觉引导机器人拧螺丝的方法、装置、存储介质和设备
技术领域
本发明涉及机器人加工技术领域，更具体地说，涉及一种视觉引导机器人拧螺丝的方法、装置、存储介质和设备。
背景技术
随着工业机器人的不断完善发展，工业制造也将进入新一代的革命。在工业中使用机器人代替人工不仅可以解放生产力而且可以全天候使用机器人来进行工业生产，又可以提高企业的生产效率同时也降低了产品生产的次品率，因此机器人产业技术逐渐成为投资的焦点。在工业生产流水线上有许多简单且枯燥的安装螺丝的过程，人工安装螺丝常会出现漏拧的现象，如何利用视觉技术和机器人技能解决该问题成为目前需要迫切解决的技术难点问题，也是目前机器人学中比较火热的研究方向。
在视觉引导过程中首先要解决的是待取工件和安装位置的确认，其次是针对代取工件进行分类来使不同种类的螺丝和不同尺寸的孔位进行匹配。其次利用机器人结合视觉技术来对待测物体进行操控也是机器人学中的一个难点。本专利的发明目的是为了解决在工业使用机器视觉技术结合机器人操作技能学习所组成的基于视觉引导的装配螺丝机器人代替人工进行螺丝装配的问题。
例如，当螺丝不是以垂直状态拧入螺孔时，如图1(a)所示，轻则螺丝不能顺利拧入螺孔而需要重新再拧，或者螺丝强行拧入导致螺孔损坏；重则可能导致产品被螺丝施压而翘起、后继发生设备损坏和安全事故。因此必须保证螺丝是以垂直状态拧入螺孔，如图1(b)所示。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种视觉引导机器人拧螺丝的方法、装置、存储介质和设备；其中，本发明方法可实现六轴机器人拧螺丝的自动化和智能化操作，可节省人力资源和提高生产效率，也可避免人工安装螺丝时出现漏拧现象。
为了达到上述目的，本发明通过下述技术方案予以实现：一种视觉引导机器人拧螺丝的方法，其特征在于：包括：
获取带有螺丝的物料盘图像和待安装螺丝的产品图像；物料盘开设有若干螺丝放置孔，所有螺丝分别竖直插置于螺丝放置孔中；待安装螺丝的产品带有螺丝安装孔；对物料盘图像和产品图像进行预处理；
根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；根据螺丝外径对螺丝进行分类，根据孔径对螺丝安装孔进行分类；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；
将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；所述学习网络是指对初始学习网络进行训练处理得到的学习网络；
驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。
优选地，所述规划路径包括螺丝抓取路径、螺丝移动路径和螺丝拧入路径；
螺丝抓取路径是指六轴机器人沿螺丝放置孔轴线方向抓取螺丝移动、使螺丝完全退出至螺丝放置孔外的路径；
螺丝移动路径是指六轴机器人将螺丝从螺丝抓取路径的末尾点移动至产品螺丝安装孔前方的路径；
螺丝拧入路径是指六轴机器人将螺丝沿螺丝安装孔轴线方向拧入螺丝安装孔中的路径；
根据螺丝外径判定螺丝型号，来确定螺丝长度；将位于物料盘螺丝放置孔前方、与螺丝放置孔距离大于螺丝长度的点B设定为螺丝抓取路径的末尾点和螺丝移动路径的起始点；将位于产品螺丝安装孔前方、与螺丝安装孔距离大于螺丝长度的点C设定为螺丝移动路径的末尾点和螺丝拧入路径的起始点；
螺丝在移动到点C时，螺丝中心轴与螺丝安装孔轴线同轴。
优选地，所述学习网络是指对初始学习网络进行训练处理得到的学习网络，包括：对学习网络训练采用QLearning强化学习算法和贪心算法相结合进行训练；
优选地，所述对初始学习网络进行训练处理：包括以下步骤：
S1，设定好规划路径；
S2，六轴机器人按规划路径执行；当完成螺丝抓取路径和螺丝移动路径、螺丝在移动到点C时，视觉器件获取螺丝图片，判断螺丝中心轴与螺丝安装孔轴线是否同轴：
若是，则判定执行正确，将训练过程中六轴机器人关节运动方向进行记录；，将记录的六轴机器人关节运动方向数据变换反馈到Qlearning表格，通过QLearning强化学习算法更新Qlearning表格；
否则判定执行不正确，删除该次六轴机器人关节运动方向；
S3，将螺丝放回螺丝放置孔中，通过贪心算法设定下一次训练的规划路径，并跳至S2步，直至训练次数到达设定值；
S4，训练结束后，将判定为执行正确、执行时间最短的规划路径作为输出结果。
优选地，所述步骤S2中，QLearning强化学习算法的算式是：
Q(st，at)＝Q(st，at)+α[rt+1+γmaxQ(st+1，a)-Q(st，at)]
其中，α为学习速率；γ为折扣因子；a为状态st+1下可选择的动作；rt+1为t时刻学习者在状态s下采取动作后环境所给的立即回报；Q(st，at)为t时刻下状态-动作对(st，at)的值函数。
优选地，所述步骤S3中，通过贪心算法设定下一次训练的规划路径，是指：优先选择判定为执行正确的规划路径，避开判定为执行不正确的规划路径；将判定为执行正确的规划路径通过贪心算法的贪心率调整出新的规划路径。
优选地，所述的对物料盘图像和产品图像进行预处理，是指：将物料盘图像和产品图像经过灰度转换，再经过均值滤波进行降噪处理；
所述的根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；是指：经过梯度运算进行边缘提取和Hough变换，寻找物料盘图像上各个螺丝中心坐标和螺丝外径以及产品图像上各个螺丝安装孔中心坐标和孔径。
一种视觉引导机器人拧螺丝的装置，包括：
图像获取模块，用于获取带有螺丝的物料盘图像和待安装螺丝的产品图像；物料盘开设有若干螺丝放置孔，所有螺丝分别竖直插置于螺丝放置孔中；待安装螺丝的产品带有螺丝安装孔；
图像预处理模块，用于对物料盘图像和产品图像进行预处理；
螺丝安装位置匹配模块，用于根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；根据螺丝外径对螺丝进行分类，根据孔径对螺丝安装孔进行分类；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；
路径规划模块，用于将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；所述学习网络是指对初始学习网络进行训练处理得到的学习网络；
执行模块，用于驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。
一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述视觉引导机器人拧螺丝的方法。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述视觉引导机器人拧螺丝的方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明，可实现六轴机器人拧螺丝的自动化和智能化操作，可节省人力资源和提高生产效率，也可避免人工安装螺丝时出现漏拧现象；
2、本发明中，六轴机器人通过摄像头感知工作环境，通过强化学习的方式使机器人强化自己的”大脑”在不断拧螺丝过程中学习拧螺丝的技能；通过”手”、”眼”、”脑”的学习可以使机器人像人类一样使用螺丝刀安装螺丝；
3、本发明可确保螺丝以垂直状态退出至螺丝放置孔，并以垂直状态拧入螺丝安装孔，可避免产品和设备损坏，提高生产的安全性和可靠性；
4、本发明采用QLearning强化学习算法和贪心算法相结合对学习网络进行训练，可加快训练速度，提高训练效率，并能得到优质和高效的规划路径。
附图说明
图1(a)和图1(b)分别是拧螺丝时螺丝与螺孔之间的相对状态；
图2是本发明视觉引导机器人拧螺丝的方法的流程示意图；
图3是本发明视觉引导机器人拧螺丝的方法中规划路径的示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种视觉引导机器人拧螺丝的方法，如图2所示，包括：
获取带有螺丝的物料盘图像和待安装螺丝的产品图像；物料盘开设有若干螺丝放置孔，所有螺丝分别竖直插置于螺丝放置孔中；待安装螺丝的产品带有螺丝安装孔；
对物料盘图像和产品图像进行预处理；具体地说，将物料盘图像和产品图像经过灰度转换加速计算机处理图像速度，再经过均值滤波进行降噪处理；
根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；具体地说，经过梯度运算进行边缘提取和Hough变换，寻找物料盘图像上各个螺丝中心坐标和螺丝外径以及产品图像上各个螺丝安装孔中心坐标和孔径；根据螺丝外径对螺丝进行分类，根据孔径对螺丝安装孔进行分类；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；
将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；学习网络是指对初始学习网络进行训练处理得到的学习网络；
驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。
如图3所示，规划路径包括螺丝抓取路径(点A-点B段)、螺丝移动路径(点B-点C段)和螺丝拧入路径(点C-点D段)；
螺丝抓取路径是指六轴机器人沿螺丝放置孔轴线方向抓取螺丝移动、使螺丝完全退出至螺丝放置孔外的路径；
螺丝移动路径是指六轴机器人将螺丝从螺丝抓取路径的末尾点移动至产品螺丝安装孔前方的路径；
螺丝拧入路径是指六轴机器人将螺丝沿螺丝安装孔轴线方向拧入螺丝安装孔中的路径；
根据螺丝外径判定螺丝型号，来确定螺丝长度；将位于物料盘螺丝放置孔前方、与螺丝放置孔距离大于螺丝长度的点B设定为螺丝抓取路径的末尾点和螺丝移动路径的起始点；将位于产品螺丝安装孔前方、与螺丝安装孔距离大于螺丝长度的点C设定为螺丝移动路径的末尾点和螺丝拧入路径的起始点；
螺丝在移动到点C时，螺丝中心轴与螺丝安装孔轴线同轴。
学习网络是指对初始学习网络进行训练处理得到的学习网络，包括：对学习网络训练采用QLearning强化学习算法和贪心算法相结合进行训练；包括以下步骤：
S1，设定好规划路径；
S2，六轴机器人按规划路径执行；当完成螺丝抓取路径和螺丝移动路径、螺丝在移动到点C时，视觉器件获取螺丝图片，判断螺丝中心轴与螺丝安装孔轴线是否同轴：
若是，则判定执行正确，将训练过程中六轴机器人关节运动方向进行记录；，将记录的六轴机器人关节运动方向数据变换反馈到Qlearning表格，通过QLearning强化学习算法更新Qlearning表格；
QLearning强化学习算法的算式是：
Q(st，at)＝Q(st，at)+α[rt+1+γmaxQ(st+1，a)-Q(st，at)]
其中，α为学习速率；γ为折扣因子；a为状态st+1下可选择的动作；rt+1为t时刻学习者在状态s下采取动作后环境所给的立即回报；Q(st，at)为t时刻下状态-动作对(st，at)的值函数；
否则判定执行不正确，删除该次六轴机器人关节运动方向；
S3，将螺丝放回螺丝放置孔中，通过贪心算法设定下一次训练的规划路径，优先选择判定为执行正确的规划路径，避开判定为执行不正确的规划路径；将判定为执行正确的规划路径通过贪心算法的贪心率调整出新的规划路径；
下面以实例进行说明，
参数设置：
N_STATES＝6 #6轴机械臂位置状态
ACTIONS＝['N','S','W','E','U','D']#探索可用动作：前后左右上下
EPSILON＝0.9 #贪心率
ALPHA＝0.1 #学习率
GAMMA＝0.9 #奖励递减值
MAX_EPISODES＝13 #最大回合数
FRESH_TIME＝0.3 #移动间隔时间
在训练过程中每次的训练结果会传送到Qlearning表格中；如
表1 Qlearning表格
步骤 N方向 S方向 W方向 E方向 U方向 D方向
0 0.0 0.0 0.0 0.0 0.0 0.0
1 0.10 0.17 0.11 0.45 0.0 0.0
2 0.17 0.23 0.17 0.42 0.0 0.03
3 0.16 0.14 0.19 0.40 0.0 0.16
4 0.18 0.29 0.18 0.32 0.0 0.25
...
Qlearning表格训练过程中不断更新；在更新过程中选择每组'N','S','W','E','U','D'概率值最大的一组状态maxQ作为下一次训练规划路线的训练状态；
并跳至S2步，直至训练次数到达设定值；
S4，训练结束后，将判定为执行正确、执行时间最短的规划路径作为输出结果。
实施例二
为实现实施例一所述视觉引导机器人拧螺丝的方法，本实施例提供一种视觉引导机器人拧螺丝的装置，包括：
图像获取模块，用于获取带有螺丝的物料盘图像和待安装螺丝的产品图像；物料盘开设有若干螺丝放置孔，所有螺丝分别竖直插置于螺丝放置孔中；待安装螺丝的产品带有螺丝安装孔；
图像预处理模块，用于对物料盘图像和产品图像进行预处理；
螺丝安装位置匹配模块，用于根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；根据螺丝外径对螺丝进行分类，根据孔径对螺丝安装孔进行分类；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；
路径规划模块，用于将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；所述学习网络是指对初始学习网络进行训练处理得到的学习网络；
执行模块，用于驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。
实施例三
本实施例一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述视觉引导机器人拧螺丝的方法。
实施例四
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例一所述视觉引导机器人拧螺丝的方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种视觉引导机器人拧螺丝的方法，其特征在于：包括：
获取带有螺丝的物料盘图像和待安装螺丝的产品图像；物料盘开设有若干螺丝放置孔，所有螺丝分别竖直插置于螺丝放置孔中；待安装螺丝的产品带有螺丝安装孔；对物料盘图像和产品图像进行预处理；
根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；根据螺丝外径对螺丝进行分类，根据孔径对螺丝安装孔进行分类；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；
将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；所述学习网络是指对初始学习网络进行训练处理得到的学习网络；
驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。
2.根据权利要求1所述的视觉引导机器人拧螺丝的方法，其特征在于：所述规划路径包括螺丝抓取路径、螺丝移动路径和螺丝拧入路径；
螺丝抓取路径是指六轴机器人沿螺丝放置孔轴线方向抓取螺丝移动、使螺丝完全退出至螺丝放置孔外的路径；
螺丝移动路径是指六轴机器人将螺丝从螺丝抓取路径的末尾点移动至产品螺丝安装孔前方的路径；
螺丝拧入路径是指六轴机器人将螺丝沿螺丝安装孔轴线方向拧入螺丝安装孔中的路径；
根据螺丝外径判定螺丝型号，来确定螺丝长度；将位于物料盘螺丝放置孔前方、与螺丝放置孔距离大于螺丝长度的点B设定为螺丝抓取路径的末尾点和螺丝移动路径的起始点；将位于产品螺丝安装孔前方、与螺丝安装孔距离大于螺丝长度的点C设定为螺丝移动路径的末尾点和螺丝拧入路径的起始点；
螺丝在移动到点C时，螺丝中心轴与螺丝安装孔轴线同轴。
3.根据权利要求2所述的视觉引导机器人拧螺丝的方法，其特征在于：所述学习网络是指对初始学习网络进行训练处理得到的学习网络，包括：对学习网络训练采用QLearning强化学习算法和贪心算法相结合进行训练；
4.根据权利要求3所述的视觉引导机器人拧螺丝的方法，其特征在于：所述对初始学习网络进行训练处理，包括以下步骤：
S1，设定好规划路径；
S2，六轴机器人按规划路径执行；当完成螺丝抓取路径和螺丝移动路径、螺丝在移动到点C时，视觉器件获取螺丝图片，判断螺丝中心轴与螺丝安装孔轴线是否同轴：
若是，则判定执行正确，将训练过程中六轴机器人关节运动方向进行记录；将记录的六轴机器人关节运动方向数据变换反馈到Qlearning表格，通过QLearning强化学习算法更新Qlearning表格；
否则判定执行不正确，删除该次六轴机器人关节运动方向；
S3，将螺丝放回螺丝放置孔中，通过贪心算法设定下一次训练的规划路径，并跳至S2步，直至训练次数到达设定值；
S4，训练结束后，将判定为执行正确、执行时间最短的规划路径作为输出结果。
5.根据权利要求4所述的视觉引导机器人拧螺丝的方法，其特征在于：所述步骤S2中，QLearning强化学习算法的算式是：
Q(st，at)＝Q(st，at)+α[rt+1+γmaxQ(st+1，a)-Q(st，at)]
其中，α为学习速率；γ为折扣因子；a为状态st+1下可选择的动作；rt+1为t时刻学习者在状态s下采取动作后环境所给的立即回报；Q(st，at)为t时刻下状态-动作对(st，at)的值函数。
6.根据权利要求4所述的视觉引导机器人拧螺丝的方法，其特征在于：所述步骤S3中，通过贪心算法设定下一次训练的规划路径，是指：优先选择判定为执行正确的规划路径，避开判定为执行不正确的规划路径；将判定为执行正确的规划路径通过贪心算法的贪心率调整出新的规划路径。
7.根据权利要求1所述的视觉引导机器人拧螺丝的方法，其特征在于：所述的对物料盘图像和产品图像进行预处理，是指：将物料盘图像和产品图像经过灰度转换，再经过均值滤波进行降噪处理；
所述的根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；是指：经过梯度运算进行边缘提取和Hough变换，寻找物料盘图像上各个螺丝中心坐标和螺丝外径以及产品图像上各个螺丝安装孔中心坐标和孔径。
8.一种视觉引导机器人拧螺丝的装置，包括：
图像获取模块，用于获取带有螺丝的物料盘图像和待安装螺丝的产品图像；物料盘开设有若干螺丝放置孔，所有螺丝分别竖直插置于螺丝放置孔中；待安装螺丝的产品带有螺丝安装孔；
图像预处理模块，用于对物料盘图像和产品图像进行预处理；
螺丝安装位置匹配模块，用于根据物料盘图像和产品图像，获取物料盘上的各个螺丝中心坐标和螺丝外径，以及产品上的各个螺丝安装孔中心坐标和孔径；根据螺丝外径对螺丝进行分类，根据孔径对螺丝安装孔进行分类；将螺丝和螺丝安装孔进行匹配，得出各个螺丝与螺丝安装孔的安装关系；
路径规划模块，用于将各个螺丝的中心坐标和对应螺丝安装孔的中心坐标输入到学习网络中，得到规划路径；所述学习网络是指对初始学习网络进行训练处理得到的学习网络；
执行模块，用于驱动六轴机器人根据规划路径从物料盘抓取螺丝、移动螺丝以及将螺丝拧入产品的螺丝安装孔中。
9.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-7中任一项所述的视觉引导机器人拧螺丝的方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7中任一项所述的视觉引导机器人拧螺丝的方法。
CN202110022432.2A 2021-01-08 2021-01-08 视觉引导机器人拧螺丝的方法、装置、存储介质和设备 Active CN112935772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110022432.2A CN112935772B (zh) 2021-01-08 2021-01-08 视觉引导机器人拧螺丝的方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110022432.2A CN112935772B (zh) 2021-01-08 2021-01-08 视觉引导机器人拧螺丝的方法、装置、存储介质和设备

Publications (2)

Publication Number Publication Date
CN112935772A true CN112935772A (zh) 2021-06-11
CN112935772B CN112935772B (zh) 2022-06-07

Family

ID=76235109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022432.2A Active CN112935772B (zh) 2021-01-08 2021-01-08 视觉引导机器人拧螺丝的方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN112935772B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114683214A (zh) * 2022-03-30 2022-07-01 武汉海微科技有限公司 一种车载屏幕壳体自动化打螺丝的视觉定位方法
CN114799849A (zh) * 2022-06-27 2022-07-29 深圳市中弘凯科技有限公司 一种基于机器视觉的螺丝机作业操作参数采集分析系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130340573A1 (en) * 2012-06-21 2013-12-26 Yi-Lung Lee Automatic screw tightening apparatus
US20180099408A1 (en) * 2016-10-11 2018-04-12 Fanuc Corporation Control device for controlling robot by learning action of person, robot system, and production system
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
JP2019150911A (ja) * 2018-03-02 2019-09-12 株式会社日立製作所 ロボット作業システム、及びロボット作業システムの制御方法
CN110238633A (zh) * 2019-06-12 2019-09-17 五邑大学 一种面向柔性制造的新型自动锁螺丝机
CN111037269A (zh) * 2019-11-30 2020-04-21 富泰华工业（深圳）有限公司 基于机器视觉的锁螺丝控制方法、锁附装置及控制装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130340573A1 (en) * 2012-06-21 2013-12-26 Yi-Lung Lee Automatic screw tightening apparatus
US20180099408A1 (en) * 2016-10-11 2018-04-12 Fanuc Corporation Control device for controlling robot by learning action of person, robot system, and production system
JP2019150911A (ja) * 2018-03-02 2019-09-12 株式会社日立製作所 ロボット作業システム、及びロボット作業システムの制御方法
CN108921890A (zh) * 2018-06-15 2018-11-30 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
CN110238633A (zh) * 2019-06-12 2019-09-17 五邑大学 一种面向柔性制造的新型自动锁螺丝机
CN111037269A (zh) * 2019-11-30 2020-04-21 富泰华工业（深圳）有限公司 基于机器视觉的锁螺丝控制方法、锁附装置及控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张海丽: "一种基于机器视觉的螺丝自动装配系统设计与实现", 《信息通信》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114683214A (zh) * 2022-03-30 2022-07-01 武汉海微科技有限公司 一种车载屏幕壳体自动化打螺丝的视觉定位方法
CN114799849A (zh) * 2022-06-27 2022-07-29 深圳市中弘凯科技有限公司 一种基于机器视觉的螺丝机作业操作参数采集分析系统

Also Published As

Publication number Publication date
CN112935772B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN112935772B (zh) 视觉引导机器人拧螺丝的方法、装置、存储介质和设备
CN109926817B (zh) 基于机器视觉的变压器自动装配方法
CN110171000B (zh) 坡口切割方法、装置及控制设备
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
CN112705984B (zh) 一种自动化换刀注油系统和自动化换刀注油方法
CN111179233A (zh) 基于激光切割二维零部件的自适应纠偏方法
CN114924513B (zh) 一种多机器人协同控制系统及方法
CN114851209B (zh) 一种基于视觉的工业机器人工作路径规划优化方法及系统
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN109500812A (zh) 一种通过视觉图像实时定位的机器人编程方法
CN113763462A (zh) 一种自动化控制上料的方法及系统
CN109128439A (zh) Cad图纸技术引导机器人自动焊接方法
CN113732679A (zh) 采用工业机器人的汽车装配站及其工作方法
CN117506931A (zh) 一种基于机器视觉的坡口切割路径规划及校正设备与方法
CN116442219B (zh) 一种智能机器人控制系统及方法
CN113245094A (zh) 汽车制动鼓机器人喷涂系统及方法
CN116214531A (zh) 一种工业机器人的路径规划方法及装置
CN110587609B (zh) 机器人除锈控制方法及系统
CN114056704B (zh) 一种送料纠偏方法、设备及存储介质
CN116331763B (zh) 建筑幕墙型材处理装置及方法
CN220659859U (zh) 一种基于3d模板匹配的汽车保险杠自动打螺钉系统
CN115556102B (zh) 一种基于视觉识别的机器人分拣规划方法及规划设备
TWI761891B (zh) 不間斷自動化系統及其執行方法
CN113096521B (zh) 工业机器人技能实训考核平台的移动轨迹训练系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.33, Guangyun Road, Nanhai District, Foshan City, Guangdong Province, 528200

Patentee after: Foshan University

Country or region after: China

Address before: No.33, Guangyun Road, Nanhai District, Foshan City, Guangdong Province, 528200

Patentee before: FOSHAN University

Country or region before: China

CP03 Change of name, title or address