CN112894808B - 一种基于深度强化学习的机器人旋拧阀门系统及方法 - Google Patents

一种基于深度强化学习的机器人旋拧阀门系统及方法 Download PDF

Info

Publication number
CN112894808B
CN112894808B CN202110056826.XA CN202110056826A CN112894808B CN 112894808 B CN112894808 B CN 112894808B CN 202110056826 A CN202110056826 A CN 202110056826A CN 112894808 B CN112894808 B CN 112894808B
Authority
CN
China
Prior art keywords
valve
screwing
mechanical arm
reinforcement learning
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110056826.XA
Other languages
English (en)
Other versions
CN112894808A (zh
Inventor
宋锐
尹心彤
李凤鸣
刘义祥
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110056826.XA priority Critical patent/CN112894808B/zh
Publication of CN112894808A publication Critical patent/CN112894808A/zh
Application granted granted Critical
Publication of CN112894808B publication Critical patent/CN112894808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明属于深度学习领域，提供了一种基于深度强化学习的机器人旋拧阀门系统及方法。其中，该系统包括深度相机，其用于采集阀门图像并传送至控制器；六维力传感器，其用于采集旋拧阀门过程中的机械臂末端力/力矩信息并传送至控制器；末端执行器，其位于机器臂本体末端，用于带动阀门旋转；控制器，其用于接收阀门图像并提取阀门特征，解算出阀门位姿；根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；根据机械臂当前姿态和机械臂末端当前力/力矩信息获取当前旋拧状态，再基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。

Description

一种基于深度强化学习的机器人旋拧阀门系统及方法
技术领域
本发明属于深度学习领域，尤其涉及一种基于深度强化学习的机器人旋拧阀门系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
当前机器人旋拧阀门任务中，采用机械臂末端执行器抓握阀柄的方式进行阀门旋拧，由于机械臂末端执行器与阀门位置不能精确匹配，往往会在阀门转动过程中产生内力，且这种方式还涉及旋拧路径的规划问题；末端执行器插入阀门手轮转动的旋拧方法会带来末端工具轴线相对阀门手轮轴线的偏差，且不能很好地跟踪阀门转动过程中的轴向位移，这些问题会造成阀门乃至机械臂的损坏，最终导致旋拧任务的失败。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于深度强化学习的机器人旋拧阀门系统及方法，其在阀门旋拧过程中融合机械臂末端位姿和力/力矩信息，通过构建的机器人旋拧阀门模型自适应调整机械臂末端位姿，进而实现阀门旋拧。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于深度强化学习的机器人旋拧阀门系统。
一种基于深度强化学习的机器人旋拧阀门系统，包括：
深度相机，其用于采集阀门图像并传送至控制器；
六维力传感器，其用于采集旋拧阀门过程中的机械臂末端力/力矩信息并传送至控制器；
末端执行器，其位于机器臂本体末端，用于带动阀门旋转；
控制器，其用于：
接收阀门图像并提取阀门特征，解算出阀门位姿；
根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；
根据机械臂当前姿态和机械臂末端当前力/力矩信息获取当前旋拧状态，再基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。
作为一种实施方式，机械臂动作决策指令包括机械臂位置调整大小和姿态偏转角度。
作为一种实施方式，所述控制器，还用于通过逆运动学求解各关节角，控制机械臂进行相应的姿态和位置调整，以至在旋拧过程中末端工具轴线相对阀门手轮轴线相重合且以恒力跟踪阀门轴向位置，保证旋拧过程顺利进行并完成整个阀门旋拧过程。
作为一种实施方式，机械臂的期望初始姿态为：末端执行器轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内。
作为一种实施方式，所述六维力传感器安装在机械臂末端法兰盘上，介于第六臂与末端执行器之间。
作为一种实施方式，所述控制器，还用于根据提取的阀门特征来判断阀门关闭状态；若阀门关闭，则结束作业；若未关闭，则继续进行旋拧作业。
作为一种实施方式，所述控制器，还用于评价旋拧过程是否完成：当末端执行器z向位移不小于阀门关闭所需轴向位移，且检测z轴向受力不小于所设力阈值时，阀门关闭，结束旋拧过程。
作为一种实施方式，基于深度强化学习的机器人旋拧阀门模型包括评价网络、策略网络以及目标评价网络和目标策略网络，评价网络根据所采取策略计算当前Q值，更新网络参数；目标评价网络负责计算目标Q值，策略网络根据评价网络的评价结果进行网络参数的更新；目标策略网络根据下一旋拧状态选择机械臂下一最优动作，并反馈给目标评价网络；Q值为在初始旋拧状态下机械臂采取一系列动作后的累积奖励。
作为一种实施方式，目标策略网络和目标评价网络与策略网络和评价网络结构完全相同。
本发明的第二个方面提供一种基于上述所述的基于深度强化学习的机器人旋拧阀门系统的工作方法。
一种基于上述所述的基于深度强化学习的机器人旋拧阀门系统的工作方法，包括：
采集阀门图像，提取阀门特征，解算出阀门位姿；
根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；
采集旋拧阀门过程中的机械臂末端力/力矩信息，再根据机械臂当前姿态获取当前旋拧状态，基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。
与现有技术相比，本发明的有益效果是：
(1)本发明采用末端执行器转动带动阀门旋转完成作业的方法，有效避免了作业过程中产生的内力，降低了对机械臂和阀门的损害。
(2)本发明融合了机械臂末端位姿和力/力矩信息获取当前旋拧状态，采用了深度强化学习的方法进行旋拧过程中机械臂末端的位姿调整，有效减少了机械臂末端轴线与阀门手轮轴线的不重合问题，并精确跟踪阀门的轴向位移，实现了阀门旋拧操作。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于深度强化学习的机器人旋拧阀门系统结构示意图；
图2是本发明实施例的基于深度强化学习的机器人旋拧阀门系统的工作方法流程图；
图3是本发明实施例的基于深度强化学习机器人旋拧阀门模型实现框架。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
针对背景技术提出的末端执行器插入阀门手轮转动的旋拧方法会带来末端工具轴线相对阀门手轮轴线的偏差，且不能很好地跟踪阀门转动过程中的轴向位移，会造成阀门乃至机械臂的损坏，最终导致旋拧任务的失败的问题，本发明提出一种基于深度强化学习的机器人旋拧阀门系统及方法，在阀门旋拧过程中融合机械臂末端位姿和力/力矩信息，通过构建的机器人旋拧阀门模型自适应调整机械臂末端位姿，进而实现阀门旋拧。
具体地，如图1所示，本实施例的基于深度强化学习的机器人旋拧阀门系统，包括深度相机、六维力传感器、末端执行器和控制器。
其中，深度相机用于采集阀门图像并传送至控制器。
六维力传感器，用于采集旋拧阀门过程中的机械臂末端力/力矩信息并传送至控制器。
在具体实施中，六维力传感器安装在机械臂末端法兰盘上，介于第六臂与末端执行器之间。
末端执行器位于机器臂本体末端，用于带动阀门旋转。
末端执行器是阀门旋拧装置，插入阀门手轮后末端执行器转动带动阀门旋转。
在具体实施中，控制器用于：
接收阀门图像并提取阀门特征，解算出阀门位姿；
根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；其中，机械臂的期望初始姿态为：末端执行器轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内。
根据机械臂当前姿态和机械臂末端当前力/力矩信息获取当前旋拧状态，再基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。
机械臂用来接收控制器指令，机械臂各关节运动以达到机械臂末端姿态调整。
其中，机械臂动作决策指令包括机械臂位置调整大小和姿态偏转角度。
具体地，基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令的过程为：
将当前旋拧状态输入训练好的机器人旋拧阀门模型中，输出机械臂位置调整大小和姿态偏转角度，通过逆运动学求解各关节角，控制机械臂进行相应的姿态和位置调整，以至在旋拧过程中末端工具轴线相对阀门手轮轴线相重合且以恒力跟踪阀门轴向位置，保证旋拧过程的顺利进行，并完成整个阀门旋拧过程。
在构建基于深度强化学习的机器人旋拧阀门模型的过程中，
1.定义旋拧状态：s＝(x,y,z,α,β,γ,fx,fy,fz,τx,τy,τz,p)。其中，(x,y,z,α,β,γ)为机械臂末端位姿；(fx,fy,fz,τx,τy,τz)为旋拧过程中的末端力/力矩信息；p为末端执行器工作状态，电流不为零时末端执行器转动，用1表示，电流为零时末端执行器静止，用0表示。机械臂末端位姿由机械臂正运动学解算得出，末端力/力矩信息由六维力传感器采集得到。
2.定义机械臂动作：a＝(dx,dy,dz,dα,dβ,dγ)。为模型发送给机械臂末端的动作信息。dx,dy,dz,dα,dβ,dγ分别为机械臂末端六个维度的偏移量。
3.设计旋拧过程与状态评价奖励函数，评价旋拧状态的好坏与旋拧动作是否完成
一方面，在旋拧过程中，期望工具末端轴线与阀门手轮轴线重合，且以恒力跟踪阀门轴向位置。
Figure BDA0002900928630000071
其中，m为常值，取值范围为0<m≤1；|Δx||Δy|为末端工具中心位置与阀门中心位置偏移量，Δx0Δy0为相应的偏移阈值；|Δγ|为末端工具轴线相对阀门手轮轴线偏角，Δγ0为偏角阈值；|Δfz|为阀门轴向跟踪力误差，Δfz0为力误差阈值；z为旋拧过程中末端执行器的轴向位移，z0为阀门关闭所需轴向位移。
另一方面，评价旋拧过程是否完成。
当末端执行器z向位移不小于阀门关闭所需轴向位移，且检测z轴向受力不小于所设力阈值时，阀门关闭，结束旋拧过程。
Figure BDA0002900928630000072
其中，n为常值，取值范围为0<n≤10且n>m，fz为z轴向受力，fz0为阀门关闭后力阈值。
故奖励函数为：
r(st,at)＝r1(st,at)+r1(st,at)，st为t时刻旋拧状态，at为t时刻机械臂动作。
4.构建网络
构建评价网络Q(s,a|θQ)和策略网络μ(s|θμ)。均采用三层全连接层网络结构。采用Relu激活函数，
Figure BDA0002900928630000081
策略网络的输入为旋拧状态，输出为机械臂动作。评价网络输入为旋拧状态和机械臂动作，输出为状态动作值Q。旋拧状态和机械臂动作为1、2中定义，Q值为在初始旋拧状态下机械臂采取一系列动作后的累积奖励，Qμ(st,at)＝E[r(st,at)+γQμ(st+1,μ(st+1))]，γ为折扣因子，μ为机械臂动作策略，st+1为下一时刻的旋拧状态。
构建目标评价网络Q′(s,a|θQ′)和目标策略网络μ′(s|θμ′)。目标策略网络和目标评价网络与策略网络和评价网络结构完全相同。
训练基于深度强化学习的机器人旋拧阀门模型的具体流程为：
(1)随机初始化评价网络的参数θQ和策略网络的参数θμ；将网络参数拷贝给对应的目标评价网络与目标策略网络参数θQ′←θQ，θμ′←θμ；初始化经验池R，R用于存储四元组(st,at,rt,st+1)，使训练网络的样本相互独立。
(2)对网络进行M个周期的训练。初始化OU随机过程
Figure BDA0002900928630000082
以增加模型的环境探索能力。初始化机器人旋拧环境，从环境中读取初始旋拧状态s1。
在每周期的训练中，包含T个时间步训练，每个时间步训练包括：
通过策略网络得到机械臂当前动作at，
Figure BDA0002900928630000083
机械臂执行动作at，并得到动作执行后的奖励值rt和新的旋拧状态st+1；
将四元组(st,at,rt,st+1)存入经验池R；
从经验池随机抽取N个样本(si,ai,ri,si+1)作为网络的一组训练数据；
通过最小化损失更新评价网络参数θQ：
Figure BDA0002900928630000084
其中，yi为目标Q值，yi＝ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)；
通过神经网络的梯度反向传播对策略网络参数θμ进行更新，梯度为：
Figure BDA0002900928630000091
更新目标网络：
目标评价网络：θQ′←τθQ+(1-τ)θQ′
目标策略网络：θμ′←τθμ+(1-τ)θμ′
其中，τ一般取值0.001。
评价网络根据所采取策略计算当前Q值Q(si,ai|θQ)，并接收yi更新网络参数θQ；目标评价网络负责计算目标Q值中下一时刻的状态动作值Q′(si+1,μ′(si+1|θμ′)|θQ′)。策略网络根据评价网络的评价结果进行网络参数θμ的更新；目标策略网络根据下一旋拧状态si+1选择机械臂下一最优动作μ′(si+1)，并反馈给目标评价网络，如图3所示。
如图2所示，基于上述所述的基于深度强化学习的机器人旋拧阀门系统的工作方法，具体包括：
采集阀门图像，提取阀门特征，解算出阀门位姿；
根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态；其中，期望的初始位姿为：旋拧装置轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内；
采集旋拧阀门过程中的机械臂末端力/力矩信息，再根据机械臂当前姿态获取当前旋拧状态，基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令。
在旋拧阀门的过程中，还判断阀门关闭状态：
若阀门关闭，则结束作业；若未关闭，则继续进行旋拧作业。
本实施例采用末端执行器转动带动阀门旋转完成作业的方法，有效避免了作业过程中产生的内力，降低了对机械臂和阀门的损害。
本实施例融合了机械臂末端位姿和力/力矩信息获取当前旋拧状态，采用了深度强化学习的方法进行旋拧过程中机械臂末端的位姿调整，有效减少了机械臂末端轴线与阀门手轮轴线的不重合问题，并精确跟踪阀门的轴向位移，实现了阀门旋拧操作。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度强化学习的机器人旋拧阀门系统，其特征在于，包括：
深度相机，其用于采集阀门图像并传送至控制器；
六维力传感器，其用于采集旋拧阀门过程中的机械臂末端力/力矩信息并传送至控制器；
末端执行器，其位于机器臂本体末端，用于以末端执行器轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内的方式带动阀门旋转；
控制器，其用于：
接收阀门图像并提取阀门特征，解算出阀门位姿；
根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态，所述机械臂的期望初始姿态为：末端执行器轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内；
根据机械臂当前姿态和机械臂末端当前力/力矩信息获取当前旋拧状态，再基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令；
通过逆运动学求解各关节角，控制机械臂进行相应的姿态和位置调整，以至在旋拧过程中末端工具轴线相对阀门手轮轴线相重合且以恒力跟踪阀门轴向位置，保证旋拧过程顺利进行并完成整个阀门旋拧过程。
2.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，机械臂动作决策指令包括机械臂位置调整大小和姿态偏转角度。
3.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述六维力传感器安装在机械臂末端法兰盘上，介于第六臂与末端执行器之间。
4.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述控制器，还用于根据提取的阀门特征来判断阀门关闭状态；若阀门关闭，则结束作业；若未关闭，则继续进行旋拧作业。
5.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，所述控制器，还用于评价旋拧过程是否完成：当末端执行器z向位移不小于阀门关闭所需轴向位移，且检测z轴向受力不小于所设力阈值时，阀门关闭，结束旋拧过程。
6.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，基于深度强化学习的机器人旋拧阀门模型包括评价网络、策略网络以及目标评价网络和目标策略网络， 评价网络根据所采取策略计算当前Q值，更新网络参数；目标评价网络负责计算目标Q值，策略网络根据评价网络的评价结果进行网络参数的更新；目标策略网络根据下一旋拧状态选择机械臂下一最优动作，并反馈给目标评价网络；Q值为在初始旋拧状态下机械臂采取一系列动作后的累积奖励。
7.如权利要求1所述的基于深度强化学习的机器人旋拧阀门系统，其特征在于，目标策略网络和目标评价网络与策略网络和评价网络结构完全相同。
8.一种基于如权利要求1-7中任一项所述的基于深度强化学习的机器人旋拧阀门系统的工作方法，其特征在于，包括：
采集阀门图像，提取阀门特征，解算出阀门位姿；
根据阀门位姿，控制机械臂运动至旋拧阀门的初始期望作业位置，并使得机械臂处于期望初始姿态，所述机械臂的期望初始姿态为：末端执行器轴线垂直于阀门所在平面，且与阀门轴线重合，旋拧插进阀门手轮内；
采集旋拧阀门过程中的机械臂末端力/力矩信息，再根据机械臂当前姿态获取当前旋拧状态，基于深度强化学习的机器人旋拧阀门模型，输出机械臂动作决策指令，具体为：
将当前旋拧状态输入训练好的机器人旋拧阀门模型中，输出机械臂位置调整大小和姿态偏转角度，通过逆运动学求解各关节角，控制机械臂进行相应的姿态和位置调整，以至在旋拧过程中末端工具轴线相对阀门手轮轴线相重合且以恒力跟踪阀门轴向位置，保证旋拧过程顺利进行并完成整个阀门旋拧过程。
CN202110056826.XA 2021-01-15 2021-01-15 一种基于深度强化学习的机器人旋拧阀门系统及方法 Active CN112894808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110056826.XA CN112894808B (zh) 2021-01-15 2021-01-15 一种基于深度强化学习的机器人旋拧阀门系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110056826.XA CN112894808B (zh) 2021-01-15 2021-01-15 一种基于深度强化学习的机器人旋拧阀门系统及方法

Publications (2)

Publication Number Publication Date
CN112894808A CN112894808A (zh) 2021-06-04
CN112894808B true CN112894808B (zh) 2022-11-18

Family

ID=76113884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110056826.XA Active CN112894808B (zh) 2021-01-15 2021-01-15 一种基于深度强化学习的机器人旋拧阀门系统及方法

Country Status (1)

Country Link
CN (1) CN112894808B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114347035A (zh) * 2022-01-28 2022-04-15 山东大学 基于示教学习与柔顺控制的机器人阀门旋拧方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105583824A (zh) * 2016-01-26 2016-05-18 清华大学 力控牵引和摆位的多自由度机械臂控制装置及其控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110795B2 (en) * 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
CN104476550B (zh) * 2014-12-05 2016-10-05 济南鲁智电子科技有限公司 全液压自主移动机械臂的动作方法
CN110053053B (zh) * 2019-06-14 2022-04-12 西南科技大学 基于深度强化学习的机械臂旋拧阀门的自适应方法
CN111633647B (zh) * 2020-05-26 2021-06-22 山东大学 一种基于深度强化学习的多模融合机器人缝制方法及系统
CN111702766B (zh) * 2020-07-07 2021-10-22 西南科技大学 一种基于力觉引导的机械臂自适应开门旋拧方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105583824A (zh) * 2016-01-26 2016-05-18 清华大学 力控牵引和摆位的多自由度机械臂控制装置及其控制方法

Also Published As

Publication number Publication date
CN112894808A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109543823B (zh) 一种基于多模信息描述的柔性装配系统及方法
CN110039542B (zh) 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统
KR102421676B1 (ko) 다관절 로봇의 액추에이터들을 제어하기 위한 시스템 및 방법
US20200026296A1 (en) Method and device for driving dynamics control for a transportation vehicle
CN112847235B (zh) 基于深度强化学习的机器人分阶力引导装配方法及系统
CN112894808B (zh) 一种基于深度强化学习的机器人旋拧阀门系统及方法
CN111881772A (zh) 基于深度强化学习的多机械臂协同装配方法和系统
CN111633647B (zh) 一种基于深度强化学习的多模融合机器人缝制方法及系统
CN111958584A (zh) 轨迹规划方法、装置及系统
CN110053053B (zh) 基于深度强化学习的机械臂旋拧阀门的自适应方法
CN107966907A (zh) 一种应用于冗余度机械臂的障碍物躲避解决方法
CN111702766B (zh) 一种基于力觉引导的机械臂自适应开门旋拧方法
CN115416024A (zh) 一种力矩控制的机械臂自主轨迹规划方法和系统
Papageorgiou et al. Kinesthetic guidance utilizing dmp synchronization and assistive virtual fixtures for progressive automation
CN114310914A (zh) 多自由度机械臂模糊自适应迭代轨迹跟踪控制方法及系统
US11826912B2 (en) Method and control means for controlling a robot assembly
CN114800523B (zh) 机械臂轨迹修正方法、系统、计算机及可读存储介质
WO2020008633A1 (ja) 機械学習装置、数値制御装置、工作機械および機械学習方法
KR102281119B1 (ko) 강화학습을 이용한 7축 로봇 제어 방법
CN114571470A (zh) 一种补偿结果优化方法、装置、电子设备和存储介质
CN111263685B (zh) 机器人方法和系统
Jabbour et al. Closing the sim-to-real gap for ultra-low-cost resource-constrained quadruped robot platforms
Gloye et al. Learning to drive and simulate autonomous mobile robots
CN117055361B (zh) 基于滑模模型预测控制的移动机器人控制方法
Walęcki et al. Control system of a service robot's active head exemplified on visual servoing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant