CN112424703B - 以未知的倾斜执行销孔任务 - Google Patents

以未知的倾斜执行销孔任务 Download PDF

Info

Publication number
CN112424703B
CN112424703B CN201980046633.7A CN201980046633A CN112424703B CN 112424703 B CN112424703 B CN 112424703B CN 201980046633 A CN201980046633 A CN 201980046633A CN 112424703 B CN112424703 B CN 112424703B
Authority
CN
China
Prior art keywords
time series
component
robotic system
force
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980046633.7A
Other languages
English (en)
Other versions
CN112424703A (zh
Inventor
吉住贵幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN112424703A publication Critical patent/CN112424703A/zh
Application granted granted Critical
Publication of CN112424703B publication Critical patent/CN112424703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39342—Adaptive impedance control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39343—Force based impedance control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40032—Peg and hole insertion, mating and joining, remote center compliance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40392—Programming, visual robot programming language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

本发明提供了一种由机器人系统执行的用于在装配任务中执行位置搜索过程的计算机实现的方法。该方法包括：向要插入到第二组件中的第一组件施加力；通过采用附接到机器人系统的机器人臂的多个力传感器来检测施加到第一组件的力；提取与施加到第一组件的力相对应的训练样本；通过关于正确倾斜方向应用变量变换来对训练样本中的每个训练样本的时间序列数据进行归一化；创建经变换的训练数据的时间序列预测模型；针对测试样本在不同方向上应用变量变换；以及计算所创建的时间序列预测模型与经变换的测试样本之间的匹配比率。

Description

以未知的倾斜执行销孔任务
技术领域
本发明总体上涉及机器人装配，并且更具体地，涉及以未知的倾斜执行销孔(peg-in-hole)任务。
背景技术
多年来，将制造要求转变为高灵活性、短生产周期时间和高吞吐量已经使得智能制造系统的出现成为可能。传统的工业机器人具有高可重复性，但是可能缺乏适应性和灵活性。在制造过程中，环境不断变化，并且待处理的零件和/或组件可能来自不同的批次和不同的供应商。所有这些变化都可能导致常规工业机器人难以执行各种制造工艺。由于传统工业机器人的制造的苛刻要求和限制，在机器人编程中已经做出了密集的人力劳动。
发明内容
根据一个实施例，提供了一种由机器人系统执行的用于在装配任务中执行位置搜索过程的计算机实现的方法。该计算机实现的方法包括：向待插入第二组件中的第一组件施加力，通过采用附接到所述机器人系统的机器人臂的多个力传感器来检测施加到所述第一组件的力，提取与施加到所述第一组件的力对应的训练样本，通过应用关于正确(right)倾斜方向的变量变换来归一化所述训练样本中的每个训练样本的时间序列数据，创建经变换的训练数据的时间序列预测模型，针对测试样本应用具有不同方向的所述变量变换，以及计算在所创建的时间序列预测模型和经变换的测试样本之间的匹配率。
根据另一个实施例，提供了一种用于在装配任务中执行位置搜索过程的机器人系统。所述机器人系统包括机器人臂和通信地耦接到所述机器人臂的控制系统，该控制系统存储用于使该机器人臂执行以下步骤的可执行程序指令：向待插入第二组件中的第一组件施加力，通过采用附接到所述机器人臂的多个力传感器来检测施加到所述第一组件的力，提取与施加到所述第一组件的所述力对应的训练样本，通过应用关于正确倾斜方向的变量变换来归一化所述训练样本中的每个训练样本的时间序列数据，创建经变换的训练数据的时间序列预测模型，针对测试样本应用具有不同方向的所述变量变换，以及计算在所创建的时间序列预测模型和经变换的测试样本之间的匹配率。
根据又另一个实施例，提供了一种机器人系统。所述机器人系统包括机器人，所述机器人被构造为将第一组件装配到第二组件，联接至该机器人的至少一个传感器、通信地耦合至该机器人和该至少一个传感器的控制系统，所述控制系统存储用于执行所述机器人的装配运动的可执行程序指令，以及学习装置，所述学习装置通信地耦接至所述控制系统并且可操作以经由所述控制系统引导所述机器人。控制系统执行以下步骤：提取与施加到第一组件的力对应的训练样本，通过应用关于正确倾斜方向的变量变换来归一化所述训练样本中的每个训练样本的时间序列数据，创建经变换的训练数据的时间序列预测模型，针对测试样本应用具有不同方向的所述变量变换，以及计算在所创建的时间序列预测模型和经变换的测试样本之间的匹配率。
此外，实施例可以采取相关计算机程序产品的形式，该相关计算机程序产品从提供用于由计算机或任何指令执行系统使用或与其结合使用的程序代码的计算机可用或计算机可读介质可访问。出于本说明的目的，计算机可用或计算机可读媒体可为可包含用于存储、传达、传播或传输程序以供指令执行系统、设备或装置使用或与其结合使用的装置的任何设备。
这些和其他特征和优点将从其说明性实施例的以下详细描述中变得明显，该详细描述将结合附图来阅读。
附图说明
本发明将参考以下附图在以下优选实施例的描述中提供细节，其中：
图1是根据本发明的实施例的示例性机器人系统的框图/流程图；
图2是根据本发明的实施例的工作单元中的示例性机器人系统的框图/流程图；
图3是根据本发明的实施例的用于描述机器人系统的示例性销孔装配的框图/流程图；
图4是根据本发明的实施例的第一组件经由机器人系统的机器人臂成功地插入第二组件的剖视图；
图5是根据本发明的实施例的示例性训练阶段和测试阶段的框图/流程图；
图6是根据本发明的实施例的倾斜方向的示例性估计结果的框图/流程图；
图7是根据本发明的实施例的用于在装配任务中执行位置搜索过程的示例性方法的框图/流程图；以及
图8是根据本发明的实施例的用于操纵训练样本和测试样本以完成销孔任务的示例性方法的框图/流程图。
在所有附图中，相同或相似的附图标记表示相同或相似的元件。
具体实施方式
根据本发明的实施例提供了用于采用机器人系统的方法和装置。控制机器人系统以采用装配过程。一种装配过程包括将第一组件装配到第二组件。装配过程可大致包括两个主要阶段。第一阶段是搜索阶段，第二阶段是插入阶段。在搜索阶段，第一组件被带入到间隙区域内。在插入阶段，进行第一组件和第二组件的装配。机器人系统是动态系统。大多数动态系统是复杂的、非线性的和时变的。对于动态系统可以采用各种控制技术。一种这样的技术涉及采用训练样品与测试样品进行比较以完成销孔任务。
根据本发明的实施例提供了用于基于学习或训练技术实现具有最佳操作条件的机器人系统的方法和装置。机器人系统可以通过采用来自学习或训练的反馈来进行学习，所述反馈被存储在存储器中并且根据当前条件而可用。例如，如果两个组件要被装配，则两个组件连同它们的最佳条件一起被识别以识别最佳装配策略。
应当理解，将根据给定的说明性体系结构来描述本发明；然而，其它架构、结构、衬底材料和工艺特征和步骤/块可以在本发明的范围内变化。应当注意，为了清楚起见，某些特征不能在所有附图中示出。这不应被解释为对任何特定实施例或说明或权利要求的范围的限制。
现在参考附图，其中相同的附图标记表示相同或相似的元件，首先参考图1，示出了根据本发明的实施例的示例性机器人系统的框图/流程图。
框图10描述了与控制系统14通信的机器人系统12，机器人系统12可以包括一个或多个机器人。控制系统14与训练/学习系统15和传感器16通信，控制系统14还与输入装置18和显示器19通信。
在一个示例性实施例中，控制系统14包括专用机器人控制器和数据处理单元或控制器2，机器人控制器和输入装置18可以通信地耦合到数据处理控制器。在一个示例性实施例中，机器人控制器基于由数据处理控制器提供的数据来操作机器人系统12，该数据处理控制器从例如输入设备18和训练/学习系统15的另一系统或设备接收控制输入。训练/学习系统15可以调整机器人系统12的操作条件，以便机器人系统基于从学习技术导出的最佳操作条件在最佳水平执行。
控制系统14可以是基于微处理器的，并且由此执行的程序指令是存储在存储器4中的软件的形式。然而，可以替换地设想，任何或所有控制器和程序指令可以是软件、固件和硬件的任何组合的形式，包括状态机，并且可以反映分立设备和/或集成电路的输出，这些分立设备和/或集成电路可以共同位于特定位置或分布在多于一个位置上，包括被配置成实现与执行基于软件和/或固件和/或硬件的指令的基于处理器的控制器相同或相似的结果的任何数字和/或模拟设备。
在一些实施例中，机器人系统12可以包括一个或多个传感器16，例如，用于本地或远程地操作机器人系统12，用于增强安全性和/或用于其他目的。传感器16可以采取任何合适的形式，例如包括诸如照相机的视觉传感器、声学传感器、红外传感器或一个或多个其它类型的接近传感器、麦克风、位置传感器、平移和旋转速度传感器、力传感器和/或任何其它类型的传感器。传感器16通信地连接到控制系统14。在一些实施例中，控制系统14可包括通信地连接到一个或多个传感器16的控制器，用于处理一个或多个传感器16的输出。
在一个示例性实施例中，输入装置18是操纵杆。在其它实施例中，输入设备18可以采取其它形式，例如触笔。输入装置18可以被构造成允许用户例如通过控制系统14控制或启动机器人系统12的运动或移动，在一些实施例中，输入装置18可以被构造成基于从训练/学习系统15接收的反馈控制或启动机器人系统12例如末端执行器28(图2)的旋转和平移运动的位置、方向和/或速度，以便实现机器人系统12的最佳操作条件。
在一些实施例中，机器人系统12包括通信地耦合到控制系统14的数据处理控制器的一个或多个显示设备19，在一个示例性实施例中，显示设备19也是输入设备，例如触摸屏显示器。显示设备19显示例如机器人运动数据，并且可以用于基于训练/学习系统15来调整或微调参数或变量以获得最佳操作条件。
训练/学习系统15学习如何更好地理解物理交互模型和执行装配任务。物理交互模型涉及例如机器人系统12与环境之间交换的力和/或力矩。因此，通过使用强化学习来训练基于存储器的系统。通过在位置搜索过程的每个步骤中基于例如从与机器人系统12相关联的至少一个传感器16接收的相对应的力-扭矩数据在分解的动作和装配移动动作中选择或选取动作来进行强化学习。
强化学习问题设置可以被认为如下：
机器人系统12观察环境状态以决定机器人系统12希望采取的动作。环境可以按照一定的规则改变，并且人可以通过他或她自己的动作来改变环境。每当采取动作时返回奖励信号。将来的奖励总和将被最大化。学习在动作所产生的结果完全未知或仅不完全知道的状态下开始。换句话说，机器人系统12可以仅在机器人系统12实际采取动作之后获得动作的结果作为数据。这意味着可以通过例如反复试验来搜索最佳动作。通过从预先进行了学习的初始状态开始，可以从良好的开始点开始学习。在强化学习中，除了确定和分类之外，还学习动作以获得用于考虑由动作施加在环境上的交互来学习适当动作的方法，例如学习以最大化将来要获得的奖励。
在一个示例中，强化学习可以由训练/学习系统15采用，并且可以由例如深度机器学习方法来实现。本发明的示例性实施例一般地可以涉及与机器人的末端执行器对对象的操纵相关的深度机器学习方法和装置。一些实施方式涉及训练深度神经网络，诸如卷积神经网络(在本文中也被称为“CNN”)，以预测机器人的末端执行器的运动数据导致末端执行器将第一组件成功地装配到第二组件的概率。例如，一些实现方式使得能够将至少以下各项作为输入应用于经训练的深度神经网络：(1)定义机器人的插入末端执行器的候选运动的运动矢量，以及(2)捕捉所述机器人的所述工作空间的至少一部分的图像；以及基于所述应用，生成至少一个度量，所述度量直接或间接地指示所述运动向量导致将所述第一组件成功插入到所述第二组件的概率。然后，预测的概率可以用于确定最佳操作条件和监测由具有插入末端执行器的机器人系统进行的插入尝试的性能，从而改进机器人系统将第一组件成功地插入到第二组件中的能力。
训练/学习系统15的一些实现可以针对例如利用经训练的深度神经网络来伺服机器人的末端执行器以实现第一组件到第二组件中的成功插入。例如，经训练的深度神经网络可以被用于控制机器人的插入末端执行器的位置的机器人的一个或多个致动器的运动控制命令的迭代更新，并且确定何时生成插入控制命令以实现插入末端执行器的尝试插入。在各种实现方式中，利用经训练的深度神经网络来伺服插入末端执行器可以实现对机器人扰动和/或环境对象的运动的快速反馈和/或对不准确的机器人致动的鲁棒性。经训练的深度神经网络还能够减少扰动的数量，以便实现机器人系统12的最佳操作条件。
在训练/学习系统15的一些实施方式中，可以提供一种方法，例如，包括生成候选末端执行器运动向量，其定义将机器人的插入末端执行器从当前位置移动到后续位置的运动，这实现了更高效的装配策略。在一个示例中，该方法还可以包括识别由与机器人系统12相关联的视觉传感器捕获的当前图像，并且该当前图像捕获插入末端执行器和机器人系统12的环境中的至少一个对象。该方法还可以包括将当前图像和候选末端执行器运动向量作为输入应用于经训练的卷积神经网络，并且通过经训练的卷积神经网络生成具有运动应用的对象的成功插入的度量。基于将所述图像和所述末端执行器运动向量应用于所述经训练的卷积神经网络来生成所述度量。
在训练/学习系统15的一些实施方式中，可以提供一种方法，该方法包括例如识别在机器人的多个插入尝试期间基于来自一个或多个机器人的传感器输出而生成的多个训练示例。每个训练示例包括训练示例输入和训练示例输出。每个训练示例的训练示例输入包括：针对所述插入尝试中的对应插入尝试的对应时间实例的图像，所述图像在所述对应时间实例处捕获机器人末端执行器和一个或多个环境对象，以及末端执行器运动向量，所述末端执行器运动向量定义所述末端执行器从所述末端执行器在所述对应时间实例处的时间实例位置移动到所述末端执行器针对所述对应插入尝试的最终位置的运动。每个训练示例的训练示例输出可以包括例如指示相应插入尝试成功的插入成功标签。该方法还包括基于训练示例来训练卷积神经网络以实现机器人系统12的最佳操作条件。
在训练/学习系统15的一些实现中，训练卷积神经网络包括向卷积神经网络应用训练示例中的给定训练示例的训练示例输入。在这些实现方式中的一些中，应用给定训练示例的训练示例输入包括：将所述给定训练示例的所述图像作为输入应用于所述卷积神经网络的初始层，并且将所述给定训练示例的所述末端执行器运动向量应用于所述卷积神经网络的附加层。附加层可以在初始层的下游。在那些实现方式中的一些中，将末端执行器运动向量应用于附加层包括：使所述末端执行器运动矢量通过完全连接层以生成末端执行器运动矢量输出，并且将所述末端执行器运动矢量输出与上游输出级联。上游输出可以来自卷积神经网络的紧接上游层，其紧接附加层的上游并且其在初始层的下游，并且来自卷积神经网络的一个或多个中间层。初始层可以是卷积层，并且紧接的上游层可以是池化层。
在一些实现中，训练包括基于多个训练示例的训练示例输出对卷积神经网络执行反向传播。因此，学习/训练系统15可以具有通过分析从输入到学习/训练系统15的数据集提取例如有用规则、知识表示和确定标准、输出确定结果和学习知识(机器学习)的功能。注意，各种机器学习技术是可用的，其可以粗略地分类为例如“监督学习”、“非监督学习”和“强化学习”。如上所述，“深度学习”可以用于实现这些技术。
图2是根据本发明的实施例的工作单元中的示例性机器人系统的框图/流程图。
在一个示例性实施例中，机器人系统12可以是设置在例如工作单元20中的多轴工业机器人。装配工作可以是自动化的并且由用户触发启动。例如，机器人系统12可以通过使用输入装置18从工作单元20外部的任何位置启动或触发，以将一般表示为组件25的第一组件装配到一般表示为组件32的第二组件，例如，第二组件设置在工作台或固定装置30上。例如，机器人系统12可以被操作以将组件25插入到组件32的开口34中，机器人系统12可以使用学习技术以便基于最佳操作条件被最优地编程。例如，机器人系统12采用来自学习/训练的反馈，该反馈存储在存储器4中并且根据当前条件而可用，以将操作连续地调整或微调至最佳水平。在各种实施例中，机器人系统12可以采取适合于其所应用的任何形式，并且可以是被构造为执行任何类型的制造工作或其他操作的任何类型的机器人。
在一个示例性实施例中，机器人系统12可以包括基座26、耦合到基座26并可围绕其旋转的肩部24、以及耦合到肩部24的上臂或可旋转臂22，可旋转臂22在可旋转末端执行器28中达到顶点，在其他示例性实施例中，机器人系统12可以具有更多或更少数量的附件和/或自由度。在一个示例性实施例中，端部执行器28被构造成能够基于从训练/学习系统15接收的输入来抓持和操纵组件25以与组件32装配，在其它示例性实施例中，端部执行器28可以采取其它形式，并且能够被构造成用于执行其它操作，例如与组件25相关或不相关的任何操作。机器人系统12可以被构造为在X、Y和Z轴中和围绕X、Y和Z轴以最少的步骤平移和旋转组件25，例如，如图3所示。
在一些示例性实施例中，机器人系统12可以具有与其相关联的触觉反馈传感器27。传感器27可以操作以检测组件25与其即时环境中的任何其他事物之间的交互，例如，组件25(例如，当由机器人系统12保持时)与组件32之间的物理交互，或组件25与机器人系统12的可达范围内的任何事物之间的物理交互。在其他实施例中，触觉反馈传感器27可以采取其他形式。力传感器27可以通信地连接到控制系统14，在一个示例性实施例中，传感器27可以安装在机器人系统12上，例如，在末端执行器28上，在其他实施例中，传感器27可以安装在机器人系统12或组件25的任何合适的位置或任何合适的功能部件(feature)上。
图3是根据本发明的实施例的用于描述机器人系统的示例性销孔装配的框图/流程图。
在描述本发明的实施例的非限制性示例时，采用了销孔装配的非限制性示例的一些方面。在图3中，第一组件，销25，试图插入到块32中的孔34中，在困难的装配情况下，例如，销25和孔34之间的间隙小，并且销25和孔34上的任何斜面都小，仅使用远程操作运动的手动插入可能是困难的，即使具有触觉反馈。例如，组件之间的轻微错位可能导致卡住或束缚。
图4是根据本发明的实施例的第一组件经由机器人系统的机器人臂成功地插入第二组件的截面图。
第一组件25被示出为成功地容纳在第二组件32的孔34内，第一组件25被配置为与第二组件32的内壁齐平。这是由训练/学习系统15实现的。训练/学习系统15的一些实现可以被引导来训练深度神经网络，诸如CNN，以使得能够利用经训练的深度神经网络来预测指示机器人的插入末端执行器的运动数据导致第一组件25成功插入到第二组件32中的概率的测量。在一些实现中，经训练的深度神经网络接受由视觉传感器生成的图像并且接受末端执行器运动向量。图像和末端执行器运动向量到经训练的深度神经网络的应用可以用于通过深度神经网络生成预测测量，该预测测量执行命令以实现由运动向量定义的运动，并且随后的插入将引起第一组件25到第二组件32中的成功插入。一些实现涉及利用经训练的深度神经网络来伺服机器人的末端执行器，以基于从训练/学习系统15接收的反馈以最小数量的步骤实现第一组件25成功插入到第二组件32中。
图5是根据本发明实施例的示例性训练阶段和测试阶段的框图/流程图。
对于数据属性进行以下假设：
数据是通过在一定时间段内施加随机XY力而获得的时间序列数据。力可以由多个力传感器测量。
一个训练样本可以包括六维时间序列数据，并且可以如下获得正确倾斜方向(θ)：
数据：inFx，inFy：在XY方向上的输入力。
数据：Fx，Fy：在XY方向上的力传感器值。
数据：Mx，My：围绕xy轴的力传感器力矩。
如果需要估计倾斜幅度，还可以添加正确倾斜幅度
Figure BDA0002893135350000101
训练阶段：
对于每个训练样本，该方法通过如下应用关于正确倾斜方向(θ)的变量变换归一化时间序列数据：
inFx′＝inFx cos(-θ)-inFx sin(-θ)
inFy′＝inFx sin(-θ)-inFx cos(-θ)
相同的变量变换应用于(fx，Fy)和(Mx，My)对。
现在可以建立或创建经变换的训练数据的时间序列模型。
对于时间序列预测模型，可以使用矢量自动回归(VAR)。
变换后的时间序列数据应当具有与时间序列数据相同或相似的特性。
在测试阶段：
对于测试样本，以不同的方向应用变量变换。(例如，10度、20度、30度等)。
然后计算在训练阶段中创建的模型与每个变换的测试数据之间的匹配率。
对于匹配率，可以采用每个时间点和每个维度的平方和。
结果，可以输出具有最佳匹配值的方向值作为估计结果(对倾斜方向的估计)。
在训练阶段40，可以处理一组样本42、44、46、48以创建变换后的训练数据50的时间序列预测模型，将这种变换后的训练数据50与至少一个测试样本进行比较。因此，在测试阶段60中，选择测试样本，并且将具有不同方向的变量变换应用于所选择的测试样本，以输出估计结果62、64、66、68，针对不同的倾斜方向(例如，10度、30度、350度)提供估计结果。
因此，示例性实施例涉及机器人的控制算法。控制算法控制销在孔中的插入。销孔任务采用时间序列力传感器信息。控制算法通过对测试样本应用不同方向的变量变换来处理时间序列数据，并计算在训练阶段中建立的预测模型与每个变换后的测试数据之间的匹配率。即，在训练阶段，取得训练数据，创建时间序列预测模型。然后在测试阶段，选择测试样本，并对所选择的测试样本应用具有不同方向的变量变换。现在可以计算时间序列预测模型和变换后的数据样本之间的匹配率，以获得估计结果(倾斜方向的估计)。
图6是根据本发明的实施例的倾斜方向的示例性估计结果的框图/流程图。
图70是试图通过例如机器人系统的机器人臂插入到由组件32限定的开口34内的物体25的侧视图，图72是其俯视图。图70示出了倾斜幅度
Figure BDA0002893135350000121
图72示出了倾斜方向(θ)。
图80描绘了相对于匹配误差的向正确方向的相对角度。
表90提供了倾斜方向的平均估计误差。即使在最坏的情况下，平均预测精度也小于20％。
图7是根据本发明的实施例的用于在装配任务中执行位置搜索过程的示例性方法的框图/流程图。
在框102，对于每个训练样本，通过应用关于正确倾斜方向(θ)的变量变换来归一化时间序列数据。时间序列数据可以从测量在不同时间段施加到例如PEG的力的多个力传感器获得。
在框104，构建或创建经变换的训练数据的时间序列预测模型。
在框106，对于测试样本，应用具有不同方向的变量变换。
在块108，计算在训练阶段创建的模型和每个变换的测试数据之间的匹配率。
图8是根据本发明的实施例的用于操纵训练样本和测试样本以完成销孔任务的示例性方法的框图/流程图。
训练样本110被输入到训练阶段模块120，其可以与处理器122和存储器124通信。训练阶段模块120输出经变换的训练数据的时间序列模型130，然后将其提供给测试阶段模块140。测试阶段模块140可以与处理器142和存储器144通信。测试阶段模块140将数据输出到匹配比率计算器150，其又将(倾斜方向的)估计结果160输出到机器人系统170。
已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所描述的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释一个或多个实施例、实际应用或对市场上存在的技术改进，或使本领域的其他普通技术人员能够理解本文所描述的实施例。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相对应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，例如Smalltalk、C++等，以及常规的过程式编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的至少一个处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框或模块中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框或模块中指定的功能/动作的方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作块/步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个块或模块中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
在说明书中对本原理的“一个实施例”或“实施例”及其它变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在整个说明书中的各个地方出现的短语“在一个实施例中”或“在实施例中”以及任何其它变型的出现不一定都指相同的实施例。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。这可以扩展到所列的许多项目，这对于本领域和相关领域的普通技术人员来说是显而易见的。
已经描述了用于执行具有未知倾斜的销孔任务的系统和方法的优选实施例(其旨在说明而非限制)，注意，本领域技术人员根据上述教导可以进行修改和变化。因此，应当理解，可以在所描述的特定实施例中进行改变，这些改变在由所附权利要求概括的本发明的范围内。因此，已经用专利法所要求的细节和特性描述了本发明的各方面，在所附权利要求中阐述了所要求保护的和期望由专利证书保护的内容。

Claims (21)

1.一种由机器人系统执行的用于在装配任务中执行位置搜索过程的计算机实现的方法，所述方法包括：
向待插入第二组件中的第一组件施加力；
通过采用附接到所述机器人系统的机器人臂的多个力传感器来检测施加到所述第一组件的所述力；
提取与施加到所述第一组件的力相对应的训练样本，所述训练样本是基于来自执行插入尝试的机器人的传感器输出生成的；
通过应用关于正确倾斜方向的变量变换来归一化所述训练样本中的每个训练样本的时间序列数据；
创建变换的训练数据的时间序列预测模型；
对测试样本应用不同方向的变量变换；以及
计算所创建的时间序列预测模型与所述变换的测试样本之间的匹配率。
2.根据权利要求1所述的方法，其进一步包括输出具有最佳匹配值的方向值作为估计结果。
3.根据权利要求1所述的方法，其中所述时间序列数据包括六维时间序列数据。
4.根据权利要求3所述的方法，其中所述时间序列数据中的一对包括输入力。
5.根据权利要求4所述的方法，其中所述时间序列数据中的另一对包括力传感器值。
6.根据权利要求1所述的方法，其中所述时间序列数据中的另一对包括力传感器力矩。
7.根据权利要求1所述的方法，其中计算所述匹配比率包括确定当力被施加到所述第一组件时的每个时间点的平方和。
8.一种用于在装配任务中执行位置搜索过程的机器人系统，所述机器人系统包括：
机器人臂；以及
控制系统，其通信地耦合到所述机器人臂，所述控制系统存储用于致使所述机器人臂执行以下步骤的可执行程序指令：
向待插入第二组件中的第一组件施加力；
通过采用附接到所述机器人臂的多个力传感器来检测施加到所述第一组件的所述力；
提取与施加到所述第一组件的力相对应的训练样本，所述训练样本是基于来自执行插入尝试的机器人的传感器输出生成的；
通过应用关于正确倾斜方向的变量变换来归一化所述训练样本中的每个训练样本的时间序列数据；
创建变换的训练数据的时间序列预测模型；
对测试样本应用不同方向的变量变换；以及
计算所创建的时间序列预测模型与所述变换的测试样本之间的匹配率。
9.根据权利要求8所述的机器人系统，其中具有最佳匹配值的方向值作为估计结果被输出。
10.根据权利要求8所述的机器人系统，其中所述时间序列数据包括六维时间序列数据。
11.根据权利要求10所述的机器人系统，其中所述时间序列数据中的一对包括输入力。
12.根据权利要求11所述的机器人系统，其中所述时间序列数据中的另一对包括力传感器值。
13.根据权利要求12所述的机器人系统，其中所述时间序列数据中的另一对包括力传感器力矩。
14.根据权利要求8所述的机器人系统，其中计算所述匹配比率包括确定当力被施加到所述第一组件时的每个时间点的平方和。
15.一种机器人系统，包括：
机器人，其被构造为将第一组件装配到第二组件；
至少一个传感器，其耦合到所述机器人；
控制系统，其通信地耦合到所述机器人和所述至少一个传感器，所述控制系统存储用于执行所述机器人的装配运动的可执行程序指令；以及
学习装置，其通信地耦合到所述控制系统并且可操作以经由所述控制系统引导所述机器人，所述控制系统执行以下步骤：
提取与施加到所述第一组件的力相对应的训练样本，所述训练样本是基于来自执行插入尝试的机器人的传感器输出生成的；
通过应用关于正确倾斜方向的变量变换来归一化所述训练样本中的每个训练样本的时间序列数据；
创建变换的训练数据的时间序列预测模型；
对测试样本应用不同方向的变量变换；以及
计算所创建的时间序列预测模型与所述变换的测试样本之间的匹配率。
16.根据权利要求15所述的机器人系统，其中所述时间序列数据包括六维时间序列数据。
17.根据权利要求16所述的机器人系统，其中所述时间序列数据中的一对包括输入力。
18.根据权利要求17所述的机器人系统，其中所述时间序列数据中的另一对包括力传感器值。
19.根据权利要求18所述的机器人系统，其中所述时间序列数据中的另一对包括力传感器力矩。
20.根据权利要求15所述的机器人系统，其中计算所述匹配比率包括确定当力被施加到所述第一组件时的每个时间点的平方和。
21.一种计算机存储介质，包括程序代码，当所述程序代码在计算机上运行时，所述计算机执行权利要求1至7中任一项所述的方法。
CN201980046633.7A 2018-07-19 2019-07-12 以未知的倾斜执行销孔任务 Active CN112424703B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/039,879 US10953548B2 (en) 2018-07-19 2018-07-19 Perform peg-in-hole task with unknown tilt
US16/039,879 2018-07-19
PCT/IB2019/055961 WO2020016717A1 (en) 2018-07-19 2019-07-12 Perform peg-in-hole task with unknown tilt

Publications (2)

Publication Number Publication Date
CN112424703A CN112424703A (zh) 2021-02-26
CN112424703B true CN112424703B (zh) 2023-01-31

Family

ID=69162335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980046633.7A Active CN112424703B (zh) 2018-07-19 2019-07-12 以未知的倾斜执行销孔任务

Country Status (6)

Country Link
US (1) US10953548B2 (zh)
JP (1) JP7196279B2 (zh)
CN (1) CN112424703B (zh)
DE (1) DE112019002310B4 (zh)
GB (1) GB2588873B (zh)
WO (1) WO2020016717A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6376296B1 (ja) * 2017-02-09 2018-08-22 三菱電機株式会社 位置制御装置及び位置制御方法
DE102017118985B4 (de) * 2017-04-23 2019-10-02 Franka Emika Gmbh Schraubvorrichtung
US11597086B2 (en) 2018-09-13 2023-03-07 The Charles Stark Draper Laboratory, Inc. Food-safe, washable interface for exchanging tools
JP7245959B2 (ja) 2020-04-28 2023-03-24 ヤマハ発動機株式会社 機械学習方法およびロボットシステム
CN111618864B (zh) * 2020-07-20 2021-04-23 中国科学院自动化研究所 基于自适应神经网络的机器人模型预测控制方法
CN112757344B (zh) * 2021-01-20 2022-03-11 清华大学 基于力位状态映射模型的机器人过盈轴孔装配方法和装置
DE102021106990A1 (de) 2021-03-22 2022-09-22 Ferrobotics Compliant Robot Technology Gmbh Kraftgeregelte Handhabungsvorrichtung für die robotergestützte Oberflächenbearbeitung
DE102021109333B4 (de) * 2021-04-14 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
DE102021109336B4 (de) 2021-04-14 2023-06-01 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
DE102021109334B4 (de) 2021-04-14 2023-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
DE102021109332B4 (de) 2021-04-14 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters zum Einsetzen eines Objekts in eine Einsetzstelle
CN113747682B (zh) * 2021-09-07 2023-09-12 山东大学 一种机器人精密装配系统及方法
DE102021126188A1 (de) 2021-10-08 2023-04-13 Dürr Systems Ag Überwachungsverfahren für einen Roboter und zugehörige Roboteranlage
CN113925607B (zh) * 2021-11-12 2024-02-27 上海微创医疗机器人（集团）股份有限公司 手术机器人操作训练方法、装置、系统、介质及设备
CN113878588B (zh) * 2021-11-12 2023-03-31 哈尔滨工业大学（深圳） 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN117817675B (zh) * 2024-03-06 2024-04-30 泓浒(苏州)半导体科技有限公司 基于时间序列晶圆搬运机械臂运动轨迹的预测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258814A (ja) * 1996-03-22 1997-10-03 Kayaba Ind Co Ltd 組み立てロボットの位置決め制御装置及び位置決め制御方法
CN1170659C (zh) * 2000-10-24 2004-10-13 中国科学院合肥智能机械研究所 一种多传感器机器人手爪
US7181314B2 (en) 2003-11-24 2007-02-20 Abb Research Ltd. Industrial robot with controlled flexibility and simulated force for automated assembly
DE102010012598A1 (de) 2010-02-26 2011-09-01 Kuka Laboratories Gmbh Prozessmodulbibliothek und Programmierumgebung zur Programmierung eines Manipulatorprozesses
JP5915214B2 (ja) * 2012-02-01 2016-05-11 セイコーエプソン株式会社 ロボット装置、組立て方法、及び組立てプログラム
JP5971342B2 (ja) 2012-09-04 2016-08-17 株式会社安川電機 ロボットの制御パラメータ調整方法、ロボットシステム、及びロボット制御装置
WO2014160086A2 (en) * 2013-03-14 2014-10-02 Board Of Regents Of The University Of Nebraska Methods, systems, and devices relating to robotic surgical devices, end effectors, and controllers
US9387589B2 (en) 2014-02-25 2016-07-12 GM Global Technology Operations LLC Visual debugging of robotic tasks
JP2014166681A (ja) 2014-05-16 2014-09-11 Yaskawa Electric Corp ロボット教示システムおよびロボット教示方法
CN104626168B (zh) * 2014-12-16 2016-08-24 苏州大学 基于智能算法的机器人力位柔顺控制方法
JP2019516568A (ja) 2016-05-20 2019-06-20 グーグル エルエルシー 物体を取り込む画像に基づき、環境内の将来のロボット運動に関するパラメータに基づいて、ロボットの環境内の物体の動きを予測することに関する機械学習の方法および装置
CN106886165A (zh) 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
CN107704495B (zh) * 2017-08-25 2018-08-10 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
CN107378955A (zh) * 2017-09-07 2017-11-24 云南电网有限责任公司普洱供电局 一种基于多传感器信息融合的配网检修机器人操作臂自主作业方法

Also Published As

Publication number Publication date
DE112019002310B4 (de) 2022-02-03
DE112019002310T5 (de) 2021-02-18
US20200023520A1 (en) 2020-01-23
GB202101713D0 (en) 2021-03-24
CN112424703A (zh) 2021-02-26
JP2021531177A (ja) 2021-11-18
WO2020016717A1 (en) 2020-01-23
JP7196279B2 (ja) 2022-12-26
US10953548B2 (en) 2021-03-23
GB2588873A (en) 2021-05-12
GB2588873B (en) 2021-10-13

Similar Documents

Publication Publication Date Title
CN112424703B (zh) 以未知的倾斜执行销孔任务
Xu et al. Compare contact model-based control and contact model-free learning: A survey of robotic peg-in-hole assembly strategies
US10754308B2 (en) Decomposed perturbation approach using memory based learning for compliant assembly tasks
US11986958B2 (en) Skill templates for robotic demonstration learning
CN115916477A (zh) 机器人演示学习的技能模板分发
US11534913B2 (en) Integrating sensor streams for robotic demonstration learning
Li et al. Manipulation skill acquisition for robotic assembly based on multi-modal information description
JP7487338B2 (ja) 分散型ロボット実証学習
Nguyen et al. A probabilistic framework for tracking uncertainties in robotic manipulation
Nuzzi et al. Hand gesture recognition for collaborative workstations: A smart command system prototype
Cheng et al. Long-term trajectory prediction of the human hand and duration estimation of the human action
Jin et al. Vision-force-fused curriculum learning for robotic contact-rich assembly tasks
US9613180B1 (en) Robotic control device and method for manipulating a hand-held tool
Kwiatkowski et al. The good grasp, the bad grasp, and the plateau in tactile-based grasp stability prediction
Itabashi et al. Modelling and realization of the peg-in-hole task based on hidden markov model
US20230050174A1 (en) Template robotic control plans
Priyadarshana et al. Voice Controlled Robot Manipulator for Industrial Applications
Oguz et al. Learning hand movement interaction control using RNNs: From HHI to HRI
Chen et al. Learn from human teams: a probabilistic solution to real-time collaborative robot handling with dynamic gesture commands
Huang et al. An assembly sequence monitoring method based on workflow modeling for human–robot collaborative assembly
Williams Real-Time Hybrid Visual Servoing of a Redundant Manipulator via Deep Reinforcement Learning
Li et al. Interactive learning for multi-finger dexterous hand: A model-free hierarchical deep reinforcement learning approach
Tanaka et al. Visualization of Environmental Information Based on MDK Channels in a Two-dimensional Plane
李庆华 et al. Human motion prediction using optimized sliding window polynomial fitting and recursive least squares
Zhou et al. Research on the opening method of robotic arm based on force feedback reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant