CN111226237A - 用于稳健抓取和瞄准物体的机器人系统和方法 - Google Patents

用于稳健抓取和瞄准物体的机器人系统和方法 Download PDF

Info

Publication number
CN111226237A
CN111226237A CN201880067484.8A CN201880067484A CN111226237A CN 111226237 A CN111226237 A CN 111226237A CN 201880067484 A CN201880067484 A CN 201880067484A CN 111226237 A CN111226237 A CN 111226237A
Authority
CN
China
Prior art keywords
computer
implemented method
sensor
object models
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880067484.8A
Other languages
English (en)
Inventor
肯尼思·伊盖尔·金山
杰弗里·布莱恩·马勒
马修·马特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN111226237A publication Critical patent/CN111226237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39505—Control of gripping, grasping, contacting force, force distribution
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39531—Several different sensors integrated into hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39542—Plan grasp points, grip matrix and initial grasp force
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40155—Purpose is grasping objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40571—Camera, vision combined with force sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

实施例总体涉及使用三维(3D)物体模型的集合、抓取力和抓取扭矩中的任一者或两者的一个或更多个分析力学表示、以及用于对感测和控制中的任一者或两者的不确定性建模的统计抽样，来生成传感器图像和抓取配置的标记示例的训练数据集。实施例还可以包括：使用训练数据集来训练函数逼近器，该函数逼近器将传感器图像作为输入，并返回用于为机器人抓取机构或瞄准机构选择抓取配置的数据。

Description

用于稳健抓取和瞄准物体的机器人系统和方法
相关申请的交叉引用
本申请要求于2017年9月1日提交的标题为“ROBOTIC SYSTEM FOR ROBUSTLYGRASPING OBJECTS”的、序列号为62/553,589的美国临时专利申请的权益，其内容在此通过引用全部并入本文。
技术领域
所公开的技术总体上涉及机器人系统，该机器人系统被配置用于例如在仓库或家庭中例如使用夹具或吸盘设备稳健地抓取和/或瞄准各种物体，并且更具体地，涉及使用可以被分析和统计地抽样的3D物体模型库，以训练机器人抓取和/或瞄准物体，该抓取和/或瞄准对感测和控制中的误差具有稳健性。
背景
拾取物体是机器人的非常基础的技能，以至于有时很难理解抓取仍然多有挑战性。工厂中的机器人依赖于高品质的传感器数据以及一些关于它们将要抓取的物体的预先知识。然而，有挑战性得多的是设计一种能够可靠地拾取各种先前看不见的物体的系统，该物体包括由于许多原因中的任一个原因而难以抓取的物体的无限长的尾部。
围绕这些问题的一种尝试是设计专门的抓取硬件(例如，包裹抓取或粘合剂)以补偿不完全知道拾取给定物体的最佳方式，但是这限制了夹具中物体的可见性。
当人具有待抓取的物体的精确模型以及物体夹具的精确位置和定位、并且夹具完全按照预期工作时，抓取可以被简化。传感器通常不准确且有噪音，并且夹具本身通常具有有限的准确度和精确度，它们可以以该有限的准确度和精确度被控制。因此，有足够的不确定性的是：持续的稳健抓取(如果不是不可实现的话)是一个重大的挑战。
一种方法是使用机器学习。一种方法是训练一个系统，以使用从数百万次物理机器人试验中的数百万个机器人抓取数百万个物体收集的数据集来预测对给定物体的特定抓取将会有多稳健(例如，当物体被举起或移动时抓取是否会失败)。不幸的是，这根本不是一个切实可行的解决方案。
概述
所公开的技术的实施方式可以有利地诸如结合用于仓库订单履行(例如，订单是唯一的，并且可以有数百万种不同的产品)、制造、包装、检查、做记号或以其他方式标记、箱中取物的机器人用于各种行业，以及例如在家中用于琐碎任务(诸如清理)。
附图简述
图1示出根据所公开技术的某些实施例的计算机实现的方法的示例。
图2示出根据所公开技术的某些实施例的系统的示例。
详细描述
图1示出根据所公开技术的某些实施例的计算机实现的方法100的示例。在该示例中，方法100包括使用物体110的三维(3D)模型的集合、抓取力和抓取扭矩中的任一者或两者的一个或更多个分析力学表示以及用于对感测和控制中的任一者或两者的不确定性建模的统计抽样来生成传感器图像和抓取配置的标记示例150和160的训练数据集140。
方法100还可以包括使用训练数据集140来训练函数逼近器(functionapproximator)170，函数逼近器170将传感器图像130作为输入，并返回用于为机器人抓取机构选择抓取配置120的数据。在某些实施例中，抓取配置可以由与传感器图像相关的一个或更多个点来定义。
在某些实施例中，生成的训练数据集140可以包括与抓取配置120相关联的抓取品质的量度。在这样的实施例中，抓取品质的量度可以包括位置或力的误差的稳健性。对此可替代地或除此之外，抓取品质的量度可以包括成功举起物体的概率。
在某些实施例中，统计抽样可以包括与初始状态、接触、物理运动、摩擦、惯性、物体形状、机器人控制、传感器数据或其任何适当组合相关的变量的不确定性。
在某些实施例中，函数逼近器可以是卷积神经网络(CNN)、随机森林、支持向量机(SVM)或线性加权矩阵。
在某些实施例中，机器人抓取机构可以包括机器人夹具、多指机器人手、一个或更多个吸盘、磁体、粘合材料或其任何合适的组合。
在某些实施例中，3D物体模型的集合可以包括用于计算每个物体的稳定姿态的质量属性。对此可替代地或除此之外，3D物体模型的集合可以包括用于针对给定的抓取和物体的组合计算对重力和惯性中的任一者或两者的阻力的质量属性。对此可替代地或除此之外，3D物体模型的集合可以包括用于计算的材料属性，材料属性包括摩擦属性、变形、孔隙度、用于真实感渲染的颜色纹理或其任意组合。
在某些实施例中，3D物体模型的集合可以包括“对抗性”物体，其几何形状使得它们难以被抓取。
在某些实施例中，例如，3D物体模型的集合可以通过合成产品包装模型来扩充，诸如“吸塑包装(skin pack)”或“起泡包装”。对此可替换地或除此之外，可以使用对物体模型的初始集合的变换来扩充3D物体模型的集合，该变换利用以下操作中的任一个操作：缩放、拉伸、扭曲、剪切、切割和组合物体。
在某些实施例中，分析力学表示可以包括力旋量(wrench)力学。对此可替代地或除此之外，分析力学表示可以包括以下度量中的任何一个：力闭合抓取品质、Ferrari-Canny(费拉里-坎尼)抓取品质、吸盘接触品质、力旋量阻力(wrench resistance)品质、磁接触(magnetic contact)品质和粘合剂接触(adhesive contact)品质。
这种实施方式可以包括使用计算机模拟来估计抓取品质。对此可替代地或除此之外，这种实施方式可以包括使用统计抽样来计算抓取品质度量的统计信息。在这样的实施例中，抓取品质度量可以包括平均值、中值、力矩、百分位数或其任何合适的组合。对此可替代地或除此之外，这种实施方式可以包括使用统计抽样来计算抓取品质度量的统计信息，计算抓取品质度量的统计信息包括使用数值积分。
某些实施方式可以包括使用统计抽样生成以下项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩、用以生成传感器图像(例如，3D深度图)的机器人硬件参数或者其任何合适的组合。
某些实施方式可以包括使用计算机模拟生成以下项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩、用以生成传感器图像(例如，3D深度图)的机器人硬件参数或者其任何合适的组合。
在某些实施例中，物体模型和每个物体模型的计算出的抓取配置的集合可以被存储为网络，该网络具有物体模型之间的一个或更多个计算出的关系，诸如形状上的相似性。在这样的实施例中，物体模型和每个物体模型的计算出的抓取配置的网络中的数据可以用于针对一个或更多个新的物体模型有效地计算一个或更多个期望的抓取配置。
某些实施方式可以包括通过网络(例如，互联网)进行通信，以获得更新的函数逼近器参数。
某些实施方式可以包括基于物理抓取尝试的结果来更新函数逼近器的参数。
在某些实施例中，计算机实现的方法可以包括使用三维(3D)物体模型的集合、物体上的期望目标点的一种或更多种分析评估方法以及用于对感测和控制中的任一者或两者的不确定性建模的统计抽样，生成传感器图像和这些图像内的目标点的标记示例的训练数据集。该方法还可以包括使用训练数据集来训练函数逼近器，该函数逼近器将传感器图像作为输入，并返回数据来计算机器人瞄准机构的一个或更多个目标点(例如，在物体上放置标签、使物体附上印记以及检查物体)。
在某些实施例中，统计抽样可以包括与初始状态、接触、物理运动、摩擦、惯性、物体形状、机器人控制、传感器数据或其组合相关的变量的不确定性。
函数逼近器可以包括卷积神经网络(CNN)、随机森林、支持向量机或线性加权矩阵。
在某些实施例中，3D物体模型的集合可以包括用于计算每个物体的稳定姿态的质量属性。对此可替代地或除此之外，3D物体模型的集合可以包括用于针对给定的瞄准和物体的组合计算对重力和惯性中的任一者或两者的阻力的质量属性。对此可替代地或除此之外，3D物体模型的集合可以包括用于计算的材料属性，材料属性包括摩擦属性、变形、孔隙度、用于真实感渲染的颜色纹理或其任意组合。
在某些实施例中，3D物体模型的集合可以包括“对抗性”物体，其几何形状使得它们难以被瞄准。
在某些实施例中，例如，3D物体模型的集合可以通过合成产品包装模型来扩充，诸如“吸塑包装”或“起泡包装”。对此可替换地或除此之外，可以使用对物体模型的初始集合的变换来扩充3D物体模型的集合，该变换利用以下操作中的任一个操作：缩放、拉伸、扭曲、剪切、切割和组合物体。
在某些实施方式中，分析力学表示可以包括力旋量力学。
某些实施方式可以包括使用统计抽样生成以下项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩、用以生成传感器图像(例如，3D深度图)的机器人硬件参数或者其任何合适的组合。
某些实施方式可以包括使用计算机模拟生成以下项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩、用以生成传感器图像(例如，3D深度图)的机器人硬件参数或者其任何合适的组合。
在某些实施例中，物体模型和每个物体模型的计算出的抓取配置的集合可以被存储为网络，该网络具有物体模型之间的一个或更多个计算出的关系，诸如形状上的相似性。在这样的实施例中，物体模型和每个物体模型的计算出的抓取配置的网络中的数据可以用于针对一个或更多个新的物体模型有效地计算一个或更多个期望的抓取配置。
某些实施方式可以包括通过网络(例如，互联网)进行通信，以获得更新的函数逼近器参数。
在某些实施例中，抓取配置可以由与传感器图像相关的一个或更多个点来定义。
图2示出根据所公开技术的某些实施例的用于抓取物体210的系统200的示例。在该示例中，系统200包括传感器220、机器人抓取机构240和一个或更多个处理器，一个或更多个处理器被配置成：使用传感器图像、至少部分地基于函数逼近器230来计算机器人抓取机构240的期望抓取配置，该函数逼近器230基于传感器图像和抓取配置的标记示例的训练数据集进行训练，该训练数据集利用：三维(3D)物体模型的集合；抓取力和抓取扭矩中的任一者或两者的一个或更多个分析力学表示；以及用于对感测和控制中的任一者或两者的不确定性建模的统计抽样。在某些实施例中，函数逼近器230可以被配置成将传感器图像作为输入，并返回用于计算机器人抓取机构240的稳健抓取配置的数据。
在某些实施例中，候选抓取配置的集合可以基于根据传感器图像(例如，来自相机的2D图像)计算潜在的对映抓取(antipodal grasp)来计算。
某些实施方式可以包括使用结构化照明系统、激光雷达系统、立体彩色相机对、立体单色相机对、单目图像或其任何合适的组合来获得3D深度图。
某些实施方式可以包括使用基于碰撞检查的运动规划方法来避免机器人与环境接触。对此可替代地或除此之外，该系统可以包括用于使用机器人运动将抓取的物体移动到特定新配置内的工具。对此可替代地或除此之外，该系统可以包括用于检测抓取尝试的结果的工具。在这样的实施例中，系统可以被配置为检测抓取尝试的结果，包括使用一个或更多个负荷传感器、光传感器、相机、力传感器、触觉传感器或其任何合适的组合检测。
某些实施例可以包括并行应用多种抓取方法。
某些实施方式可以包括两种或更多种抓取方法，其中两个或更多个函数逼近器的输出被组合以针对给定传感器图像在这些抓取方法之间进行选择。
在某些可替代的实施方式中，系统可以包括传感器、机器人瞄准机构和一个或更多个处理器，一个或更多个处理器被配置成：使用传感器图像、至少部分地基于函数逼近器来计算机器人瞄准机构的期望瞄准配置，该函数逼近器基于传感器图像和目标点的标记示例的训练数据集进行训练，该训练数据集利用：三维(3D)物体模型的集合，目标点的一个或更多个分析力学表示，以及用于对感测和控制中的任一者或两者的不确定性建模的统计抽样。在这样的实施例中，函数逼近器可以被配置成将传感器图像(例如，来自相机的2D图像)作为输入，并返回用于计算机器人瞄准机构的稳健目标点的数据。
某些实施方式可以包括使用结构化照明系统、激光雷达系统、立体彩色相机对、立体单色相机对、单目图像或其任何合适的组合来获得3D深度图。
某些实施方式可以包括使用基于碰撞检查的运动规划方法来避免机器人与环境接触。对此可替代地或除此之外，该系统可以包括用于检测瞄准尝试的结果的工具。在这样的实施例中，检测瞄准尝试的结果可以包括使用一个或更多个负荷传感器、光传感器、相机、力传感器、触觉传感器或其任何合适的组合检测。
某些实施方式可以包括并行应用多种瞄准方法。
某些实施方式可以包括两种或更多种瞄准方法，其中两个或更多个函数逼近器的输出可以组合，以针对给定传感器图像在这些瞄准方法之间进行选择。
某些实施方式还可以包括推动物体以将它们与环境分开，并创建可使用的抓取。
通过基于平口钳(parallel-jaw)抓取、抓取度量和渲染点云的大规模数据集训练深度卷积神经网络(CNN)，可以直接根据深度图像预测抓取和瞄准成功，其中渲染点云是使用稳健抓取的分析模型和图像形成生成的。
为了减少用于稳健机器人抓取计划的深度学习的数据收集时间，深度神经网络可以例如根据超过670万点云、抓取和稳健分析抓取度量的合成数据集被训练用于抓取分类，其中稳健分析抓取度量是根据桌子上处于随机姿态的数千个三维(3D)模型生成的。所产生的数据集可用于训练抓取品质卷积神经网络(GQ-CNN)模型，该模型根据深度图像和夹具在桌子上方的位置、角度和高度，将抓取快速分类为稳健的。
抓取品质卷积神经网络(GQ-CNN)模型可以被训练成使用预期的ε(epsilon)品质作为监督来分类深度图像中的稳健抓取，其中每个抓取被指定为相对于相机的3D姿态和深度。抓取规划方法可以对对映抓取候选项进行抽样，并用GQ-CNN对它们进行排名。
巨大的数据集可以用来提供训练神经网络的数据，以开发对各种刚性物体的高度可靠的机器人抓取。例如，数据集可以由多达或超过670万个点物体点云、附加平口钳夹具姿态、连同对抓取将能够举起和携带物体的可能性的稳健性估计组成。这可以有利地用于稳健的机器人抓取系统。
所公开的技术的实施方式可以依赖于概率模型，使用抓取、图像渲染和相机噪声的基于物理的模型，从3D物体网格的数据集生成合成点云、抓取以及抓取稳健性标签，从而利用云计算来快速生成用于CNN的大训练集。
实施方式可以包括将物理与深度学习相结合的混合机器学习方法，例如，通过组合3D物体形状、基于物理的抓取力学模型和抽样统计信息的大数据集来生成许多(例如，670万)训练示例，然后使用深度学习网络来学习当给定3D传感器点云时能够快速找到稳健抓取的函数。该系统可以在非常大的稳健抓取示例的集合上进行训练，类似于计算机视觉和语音识别的最新结果。
在CNN估计稳健性很高的情况下，抓取通常会如预期那样发挥作用。例如，在使用ABB YuMi(即双臂工业机器人)的某些实验中，规划器在规划可靠抓取方面的成功率为93％，并且还能够成功预测40个新物体(包括像是开罐器和毛巾的棘手东西)的抓取稳健性，在69个预测成功中只有一个错误的结果。
既然机器人可能清楚地了解何时成功，它也可能能够知道何时可能失败。在机器人预见到失败的情况下，机器人可以采取适当的行动，例如，通过拨动物体来改变其取向或者请求人的帮助。
实施方式可以与几乎任何3D相机和平口钳或吸盘夹具兼容，并且可以用于为多指夹具选择主抓取轴。
在某些实施方式中，特定于硬件设置的某些知识(诸如焦距和RGB-D传感器相对于机器人的位置的界限、平口钳机器人夹具的几何形状(指定为CAD模型)以及夹具的摩擦系数)可以作为输入提供，以生成特定于给定硬件设置的新训练数据集。在这样的实施方式中，基于数据集训练的GQ-CNN可能具有成功的性能。
所公开技术的实施方式可以包括使用稳健的分析抓取度量作为监督，在预测中使用夹具与相机的距离，以及对物理机器人执行大量的评估。
某些实施方式可以促进新架构的开发，用于根据点云预测抓取稳健性，并且还可以支持新方法的基准测试。
某些实施方式可以包括自动生成用于机器人抓取的训练数据集，该数据集可以是训练用于跨多个不同机器人进行的机器人抓取规划的深度神经网络的有用资源。
在某些实施方式中，例如，机器人可以与人工智能集成，使得它可以弄清楚如何稳健地夹取它从未见过也没遇到过的物体。
在某些实施方式中，机器人可以使用神经网络和传感器(例如，微软Kinect 3D传感器)来观察新物体，然后确定用于成功抓取该物体的稳健抓取。
某些实施方式例如可包括执行各种杂务(诸如吸尘、洗碗和收拾杂物)的家用机器人。这样的机器会经常遇到新的物体，但是通过自学，它们可以更好地适应它们的周围环境。
在某些实施方式中，机器人可以通过云进行通信(例如，在彼此之间共享信息)，而不是孤立地工作和学习。在这样的实施方式中，机器人可以将获得的知识分发给与其相似(并且在某些实施例中，甚至是完全不同种类的机器人)的其他机器人。
如本文所使用的，灵巧网络(Dex-Net)通常指的是研究项目，该研究项目包括代码、数据集和算法，该代码、数据集和算法用于基于多达或超过数千个3D物体模型的物理生成合成点云、机器人平口钳抓取以及抓取稳健性度量的数据集，以训练基于机器学习的方法来规划机器人抓取。实施方式可包括开发对各种刚性物体(诸如工具、家用物品、包装商品和工业零件)中的任何物体进行的高度可靠的机器人抓取。
Dex-Net 1.0可用于学习新的3D网格模型的抓取成功的预测器，例如，用于加速新数据集的生成。Dex-Net 2.0可用于学习抓取品质卷积神经网络(GQ-CNN)模型，该模型根据点云预测对物体的候选抓取的成功概率。GQ-CNN可以有助于快速规划抓取，其通过物理机器人可以举起和运输各种物体。
某些实施方式可以包括基于以下各项的集合的分析吸力抓取模型和度量：在吸盘和刚性物体表面之间的接触界面处的力旋量，以及在物体姿态、质心、接触位置、摩擦和重力的扰动下由于重力而需要抵抗外部力旋量的接触力旋量的大小。该度量可用于生成这样的数据集：该数据集具有多达或超过670万个点云、抽吸抓取和根据多达或超过1500个3D物体模型生成的抓取稳健性标签，并基于该数据集训练抓取品质卷积神经网络(GQ-CNN)，以根据点云对抓取稳健性进行分类。
已经参考图示实施例描述和示出了本发明的原理，将会认识到，在不脱离这些原理的情况下，可以在布置和细节上修改图示实施例，并且可以以任何期望的方式组合图示实施例。并且，尽管前面的讨论集中在特定的实施例，但是也可以考虑其他的配置。
因此，鉴于本文描述的实施例的各种各样的排列，该详细描述和伴随的材料仅仅旨在是说明性的，而不应该被视为限制本发明的范围。因此，对本发明要求保护的是所有这样的修改，只要这些修改落入权利要求及其等同物的范围和精神内。

Claims (69)

1.一种计算机实现的方法，包括：
使用以下项生成传感器图像和抓取配置的标记示例的训练数据集：
三维(3D)物体模型的集合；
抓取力和抓取扭矩中的任一者或两者的一个或更多个分析力学表示；以及
用于对感测和控制中的任一者或两者的不确定性建模的统计抽样；并且
使用所述训练数据集来训练函数逼近器，所述函数逼近器将传感器图像作为输入，并返回用于为机器人抓取机构选择抓取配置的数据。
2.根据权利要求1所述的计算机实现的方法，其中，所生成的训练数据集包括与抓取配置相关联的抓取品质的量度。
3.根据权利要求2所述的计算机实现的方法，其中，所述抓取品质的量度包括对于位置或力的误差的稳健性。
4.根据权利要求2所述的计算机实现的方法，其中，所述抓取品质的量度包括成功举起物体的概率。
5.根据权利要求1所述的计算机实现的方法，其中，所述统计抽样包括与从以下项组成的组中选出的至少一项相关的变量的不确定性：初始状态、接触、物理运动、摩擦、惯性、物体形状、机器人控制和传感器数据。
6.根据权利要求1所述的计算机实现的方法，其中，所述函数逼近器是从以下项组成的组中选出的：卷积神经网络(CNN)、随机森林、支持向量机和线性加权矩阵。
7.根据权利要求1所述的计算机实现的方法，其中，所述机器人抓取机构包括从以下项组成的组中选出的至少一项：机器人夹具、多指机器人手、一个或更多个吸盘、磁体和粘合材料。
8.根据权利要求1所述的计算机实现的方法，其中，所述3D物体模型的集合包括用于计算每个物体的稳定姿态的质量属性。
9.根据权利要求1所述的计算机实现的方法，其中，所述3D物体模型的集合包括用于针对给定的抓取和物体的组合计算对重力和惯性中的任一者或两者的阻力的质量属性。
10.根据权利要求1所述的计算机实现的方法，其中，所述3D物体模型的集合包括材料属性，所述材料属性用于计算以下项组成的组中的至少一项：摩擦属性、变形、孔隙度和用于真实感渲染的颜色纹理。
11.根据权利要求1所述的计算机实现的方法，其中，所述3D物体模型的集合通过合成产品包装模型来扩充。
12.根据权利要求11所述的计算机实现的方法，其中，所述合成产品包装模型包括“吸塑包装”或“起泡包装”。
13.根据权利要求1所述的计算机实现的方法，其中，使用对物体模型的初始集合的变换来扩充所述3D物体模型的集合，所述变换利用从由以下项组成的组中选出的至少一个操作：缩放、拉伸、扭曲、剪切、切割和组合物体。
14.根据权利要求1所述的计算机实现的方法，其中，所述3D物体模型的集合包括“对抗性”物体，所述“对抗性”物体的几何形状使得它们难以被抓取。
15.根据权利要求1所述的计算机实现的方法，其中，所述分析力学表示包括力旋量力学。
16.根据权利要求1所述的计算机实现的方法，其中，所述分析力学表示包括从以下项组成的组中选出的至少一个度量：力闭合抓取品质、Ferrari-Canny抓取品质、吸盘接触品质、力旋量阻力品质、磁接触品质和粘合剂接触品质。
17.根据权利要求16所述的计算机实现的方法，还包括使用计算机模拟来估计抓取品质。
18.根据权利要求16所述的计算机实现的方法，还包括使用统计抽样来计算抓取品质度量的统计信息。
19.根据权利要求18所述的计算机实现的方法，其中所述抓取品质度量包括从以下项组成的组中选出的至少一项：平均值、中值、力矩和百分位数。
20.根据权利要求18所述的计算机实现的方法，其中使用统计抽样来计算所述抓取品质度量的统计信息包括使用数值积分。
21.根据权利要求1所述的计算机实现的方法，还包括使用统计抽样来生成以下项组成的组中的至少一项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩和机器人硬件参数，从而生成传感器图像。
22.根据权利要求1所述的计算机实现的方法，还包括使用计算机模拟来生成以下项中的至少一项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩和机器人硬件参数，从而生成传感器图像。
23.根据权利要求1所述的计算机实现的方法，其中，所述传感器图像包括3D深度图。
24.根据权利要求1所述的计算机实现的方法，其中，物体模型和每个物体模型的计算出的抓取配置的集合被存储为网络，所述网络具有物体模型之间的一个或更多个计算出的关系，诸如形状上的相似性。
25.根据权利要求24所述的计算机实现的方法，其中，物体模型和每个物体模型的所述计算出的抓取配置的所述网络中的数据用于针对一个或更多个新的物体模型有效地计算一个或更多个期望的抓取配置。
26.根据权利要求1所述的计算机实现的方法，还包括通过网络通信，以获得更新的函数逼近器参数。
27.根据权利要求26所述的计算机实现的方法，其中，所述网络包括互联网。
28.根据权利要求1所述的计算机实现的方法，还包括基于物理抓取尝试的结果，更新所述函数逼近器的参数。
29.根据权利要求1所述的计算机实现的方法，其中，抓取配置由与所述传感器图像相关的一个或更多个点定义。
30.一种计算机实现的方法，包括：
使用以下项生成传感器图像和那些图像内的目标点的标记示例的训练数据集：
三维(3D)物体模型的集合；
物体上的期望目标点的一种或更多种分析评估方法；以及
用于对感测和控制中的任一者或两者的不确定性建模的统计抽样；并且
使用所述训练数据集来训练函数逼近器，所述函数逼近器将传感器图像作为输入，并返回数据来计算机器人瞄准机构的一个或更多个目标点。
31.根据权利要求30所述的计算机实现的方法，其中，所述机器人瞄准机构包括从以下项组成的组中选出的至少一项操作：在所述物体上放置标签、使所述物体附上印记以及检查所述物体。
32.根据权利要求30所述的计算机实现的方法，其中，所述统计抽样包括与从以下项组成的组中选出的至少一项相关的变量的不确定性：初始状态、接触、物理运动、摩擦、惯性、物体形状、机器人控制和传感器数据。
33.根据权利要求30所述的计算机实现的方法，其中，所述函数逼近器是从以下项组成的组中选出的：卷积神经网络(CNN)、随机森林、支持向量机和线性加权矩阵。
34.根据权利要求30所述的计算机实现的方法，其中，所述3D物体模型的集合包括用于计算每个物体的稳定姿态的质量属性。
35.根据权利要求30所述的计算机实现的方法，其中，所述3D物体模型的集合包括用于针对给定的瞄准和物体的组合计算对重力和惯性中的任一者或两者的阻力的质量属性。
36.根据权利要求30所述的计算机实现的方法，其中，所述3D物体模型的集合包括材料属性，所述材料属性用于计算以下项组成的组中的至少一项：摩擦属性、变形、孔隙度和用于真实感渲染的颜色纹理。
37.根据权利要求30所述的计算机实现的方法，其中，所述3D物体模型的集合通过合成产品包装模型来扩充。
38.根据权利要求37所述的计算机实现的方法，其中，所述合成产品包装模型包括“吸塑包装”或“起泡包装”。
39.根据权利要求30所述的计算机实现的方法，其中，使用对物体模型的初始集合的变换来扩充所述3D物体模型的集合，所述变换利用从由以下项组成的组中选出的至少一个操作：缩放、拉伸、扭曲、剪切、切割和组合物体。
40.根据权利要求30所述的计算机实现的方法，其中，所述3D物体模型的集合包括“对抗性”物体，所述“对抗性”物体的几何形状使得它们难以被瞄准。
41.根据权利要求30所述的计算机实现的方法，其中，所述分析力学表示包括力旋量力学。
42.根据权利要求30所述的计算机实现的方法，还包括使用统计抽样来生成以下项组成的组中的至少一项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩和机器人硬件参数，从而生成传感器图像。
43.根据权利要求30所述的计算机实现的方法，还包括使用计算机模拟来生成以下项中的至少一项的变化：可能的物体姿态、传感器姿态、相机参数、照明、材料属性、摩擦、力、扭矩和机器人硬件参数，从而生成传感器图像。
44.根据权利要求30所述的计算机实现的方法，其中，所述传感器图像包括3D深度图。
45.根据权利要求30所述的计算机实现的方法，其中，物体模型和每个物体模型的计算出的瞄准配置的集合被存储为网络，所述网络具有物体模型之间的一个或更多个计算出的关系，诸如形状上的相似性。
46.根据权利要求45所述的计算机实现的方法，其中，物体模型和每个物体模型的所述计算出的瞄准配置的所述网络中的数据用于针对一个或更多个新的物体模型有效地计算一个或更多个期望的抓取配置。
47.根据权利要求30所述的计算机实现的方法，还包括通过网络通信，以获得更新的函数逼近器参数。
48.根据权利要求47所述的计算机实现的方法，其中，所述网络包括互联网。
49.根据权利要求30所述的计算机实现的方法，其中，抓取配置由与所述传感器图像相关的一个或更多个点定义。
50.一种装置，包括：
传感器；
机器人抓取机构；和
一个或更多个处理器，所述一个或更多个处理器被配置成使用传感器图像，至少部分地基于函数逼近器来计算机器人抓取机构的期望抓取配置，所述函数逼近器基于传感器图像和抓取配置的标记示例的训练数据集进行训练，所述训练数据集利用：
三维(3D)物体模型的集合；
抓取力和抓取扭矩中的任一者或两者的一个或更多个分析力学表示；以及
用于对感测和控制中的任一者或两者的不确定性建模的统计抽样；
其中，所述函数逼近器被配置为将传感器图像作为输入，并返回用于计算所述机器人抓取机构的稳健抓取配置的数据。
51.根据权利要求50所述的装置，其中，基于根据所述传感器图像计算潜在的对映抓取，计算候选抓取配置集合。
52.根据权利要求50所述的装置，还包括使用从由以下项组成的组中选择的至少一项来获得3D深度图：结构化照明系统、激光雷达系统、立体彩色相机对、立体单色相机对和单目图像。
53.根据权利要求50所述的装置，其中，所述传感器图像包括来自相机的2D图像。
54.根据权利要求50所述的装置，还包括使用基于碰撞检查的运动规划方法来避免机器人与环境接触。
55.根据权利要求50所述的装置，还包括用于使用机器人运动将抓取的物体移动到特定新配置内的工具。
56.根据权利要求50所述的装置，还包括用于检测抓取尝试的结果的工具。
57.根据权利要求56所述的装置，其中，检测所述抓取尝试的结果包括使用从以下项组成的组中选出的至少一项：一个或更多个负荷传感器、光传感器、相机、力传感器和触觉传感器。
58.根据权利要求50所述的装置，还包括并行应用多种抓取方法。
59.根据权利要求50所述的装置，还包括两种或更多种抓取方法，其中，两个或更多个函数逼近器的输出被组合，以针对给定传感器图像在这些抓取方法之间进行选择。
60.根据权利要求50所述的装置，还包括推动物体，以将这些物体与环境分开，并创建能够使用的抓取。
61.根据权利要求1所述的计算机实现的方法，还包括推动物体，以将这些物体与环境分开，并创建能够使用的抓取。
62.一种装置，包括：
传感器；
机器人瞄准机构；和
一个或更多个处理器，所述一个或更多个处理器被配置成使用传感器图像，至少部分地基于函数逼近器，计算所述机器人瞄准机构的期望瞄准配置，所述函数逼近器基于传感器图像和目标点的标记示例的训练数据集进行训练，所述训练数据集利用：
三维(3D)物体模型的集合；
目标点的一个或更多个分析力学表示；和
对感测和控制中的任一者或两者的不确定性建模的统计抽样；
其中，所述函数逼近器被配置成将传感器图像作为输入，并返回用于计算所述机器人瞄准机构的稳健目标点的数据。
63.根据权利要求62所述的装置，还包括使用从由以下项组成的组中选择的至少一项来获得3D深度图：结构化照明系统、激光雷达系统、立体彩色相机对、立体单色相机对和单目图像。
64.根据权利要求62所述的装置，其中，所述传感器图像包括来自相机的2D图像。
65.根据权利要求62所述的装置，还包括使用基于碰撞检查的运动规划方法来避免机器人与环境接触。
66.根据权利要求62所述的装置，还包括用于检测瞄准尝试的结果的工具。
67.根据权利要求66所述的装置，其中，检测所述瞄准尝试的结果包括使用从以下项组成的组中选出的至少一项：一个或更多个负荷传感器、光传感器、相机、力传感器和触觉传感器。
68.根据权利要求62所述的装置，还包括并行应用多种瞄准方法。
69.根据权利要求62所述的装置，还包括两种或更多种瞄准方法，其中，两个或更多个函数逼近器的输出被组合，以针对给定传感器图像在这些瞄准方法之间进行选择。
CN201880067484.8A 2017-09-01 2018-04-04 用于稳健抓取和瞄准物体的机器人系统和方法 Pending CN111226237A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762553589P 2017-09-01 2017-09-01
US62/553,589 2017-09-01
PCT/US2018/026122 WO2019045779A1 (en) 2017-09-01 2018-04-04 ROBOTIC SYSTEMS AND METHODS FOR ROBUST STITCHING AND TARGETING OF OBJECTS

Publications (1)

Publication Number Publication Date
CN111226237A true CN111226237A (zh) 2020-06-02

Family

ID=65525862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067484.8A Pending CN111226237A (zh) 2017-09-01 2018-04-04 用于稳健抓取和瞄准物体的机器人系统和方法

Country Status (7)

Country Link
US (1) US11446816B2 (zh)
EP (1) EP3676766A4 (zh)
JP (1) JP2020532440A (zh)
CN (1) CN111226237A (zh)
AU (1) AU2018326171A1 (zh)
CA (1) CA3073516A1 (zh)
WO (1) WO2019045779A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111906781A (zh) * 2020-07-08 2020-11-10 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
CN113787521A (zh) * 2021-09-24 2021-12-14 上海微电机研究所(中国电子科技集团公司第二十一研究所) 基于深度学习的机器人抓取方法、系统、介质和电子设备
CN114603599A (zh) * 2020-12-08 2022-06-10 山东新松工业软件研究院股份有限公司 一种机器人碰撞检测方法、装置、计算机设备及存储介质
CN116416444A (zh) * 2021-12-29 2023-07-11 广东美的白色家电技术创新中心有限公司 物体抓取点估计、模型训练及数据生成方法、装置及系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10899011B2 (en) * 2018-11-14 2021-01-26 Fetch Robotics, Inc. Method and system for selecting a preferred robotic grasp of an object-of-interest using pairwise ranking
US11235466B2 (en) * 2018-04-23 2022-02-01 University Of Southern California Setup planning and parameter selection for robotic finishing
JP7154815B2 (ja) * 2018-04-27 2022-10-18 キヤノン株式会社 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
DE102018211044A1 (de) * 2018-07-04 2020-01-09 Kuka Deutschland Gmbh Verfahren und System zum Analysieren und/oder Konfigurieren einer industriellen Anlage
JP6833777B2 (ja) * 2018-09-10 2021-02-24 株式会社東芝 物体ハンドリング装置及びプログラム
US11325252B2 (en) * 2018-09-15 2022-05-10 X Development Llc Action prediction networks for robotic grasping
US11185978B2 (en) * 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
US20200301510A1 (en) * 2019-03-19 2020-09-24 Nvidia Corporation Force estimation using deep learning
US11185980B2 (en) * 2019-04-16 2021-11-30 Abb Schweiz Ag Machine learning-based systems and methods for controlling robotic object picking and placement in training and run time environments
US11312581B2 (en) * 2019-04-16 2022-04-26 Abb Schweiz Ag Object grasp system and method
PL3921801T3 (pl) * 2019-04-18 2023-07-24 Alma Mater Studiorum - Università di Bologna Tworzenie zmienności danych do szkolenia w uczeniu maszynowym do znakowania obiektów z obrazów
US11701777B2 (en) * 2020-04-03 2023-07-18 Fanuc Corporation Adaptive grasp planning for bin picking
CN112720459B (zh) * 2020-12-02 2022-07-12 达闼机器人股份有限公司 目标物体抓取方法、装置、存储介质及电子设备
US20220196839A1 (en) * 2020-12-17 2022-06-23 Gm Cruise Holdings Llc Procedurally generated three-dimensional environment for use in autonomous vehicle simulations
EP4112238A1 (de) * 2021-06-28 2023-01-04 Bayer Aktiengesellschaft Autonomes manipulieren einer biegeschlaffen primärverpackung in einer formstabilen sekundärverpackung mittels roboter
CN117999153A (zh) * 2021-09-15 2024-05-07 雅马哈发动机株式会社 图像处理装置、元件把持系统、图像处理方法和元件把持方法
DE102021210993A1 (de) 2021-09-30 2023-03-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen von Trainingsdaten für überwachtes Lernen zum Trainieren eines neuronalen Netzes
WO2024040199A2 (en) * 2022-08-17 2024-02-22 Ambi Robotics, Inc. Robotic package handling systems and methods
CN116188883B (zh) * 2023-04-28 2023-08-29 中国科学技术大学 一种抓握位置分析方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150127150A1 (en) * 2013-11-01 2015-05-07 Brain Corporation Apparatus and methods for haptic training of robots
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
US9393693B1 (en) * 2014-07-10 2016-07-19 Google Inc. Methods and systems for determining and modeling admissible gripper forces for robotic devices
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583450B2 (ja) * 1993-09-28 2004-11-04 川崎重工業株式会社 ３次元物体の自動検査装置および方法
US8924021B2 (en) 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5623358B2 (ja) * 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
US9248611B2 (en) 2013-10-07 2016-02-02 David A. Divine 3-D printed packaging
WO2015153739A1 (en) 2014-04-01 2015-10-08 University Of South Florida Systems and methods for planning a robot grasp based upon a demonstrated grasp
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6541397B2 (ja) * 2015-04-06 2019-07-10 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
US9914213B2 (en) * 2016-03-03 2018-03-13 Google Llc Deep machine learning methods and apparatus for robotic grasping
US10166676B1 (en) * 2016-06-08 2019-01-01 X Development Llc Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
US10967507B2 (en) * 2018-05-02 2021-04-06 X Development Llc Positioning a robot sensor for object classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150127150A1 (en) * 2013-11-01 2015-05-07 Brain Corporation Apparatus and methods for haptic training of robots
US9393693B1 (en) * 2014-07-10 2016-07-19 Google Inc. Methods and systems for determining and modeling admissible gripper forces for robotic devices
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106737692A (zh) * 2017-02-10 2017-05-31 杭州迦智科技有限公司 一种基于深度投影的机械手爪抓取规划方法及控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEFFREY MAHLER 等: "Dex-Net 2.0:Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111906781A (zh) * 2020-07-08 2020-11-10 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
CN111906781B (zh) * 2020-07-08 2021-07-13 西安交通大学 基于图神经网络的机器人自主工具构建方法、系统及相关设备
CN114603599A (zh) * 2020-12-08 2022-06-10 山东新松工业软件研究院股份有限公司 一种机器人碰撞检测方法、装置、计算机设备及存储介质
CN113787521A (zh) * 2021-09-24 2021-12-14 上海微电机研究所(中国电子科技集团公司第二十一研究所) 基于深度学习的机器人抓取方法、系统、介质和电子设备
CN116416444A (zh) * 2021-12-29 2023-07-11 广东美的白色家电技术创新中心有限公司 物体抓取点估计、模型训练及数据生成方法、装置及系统

Also Published As

Publication number Publication date
US11446816B2 (en) 2022-09-20
US20200198130A1 (en) 2020-06-25
CA3073516A1 (en) 2019-03-07
JP2020532440A (ja) 2020-11-12
AU2018326171A1 (en) 2020-04-23
EP3676766A4 (en) 2021-05-26
WO2019045779A1 (en) 2019-03-07
EP3676766A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
CN111226237A (zh) 用于稳健抓取和瞄准物体的机器人系统和方法
Mahler et al. Learning deep policies for robot bin picking by simulating robust grasping sequences
Kumra et al. Antipodal robotic grasping using generative residual convolutional neural network
Mahler et al. Dex-net 3.0: Computing robust vacuum suction grasp targets in point clouds using a new analytic model and deep learning
JP6586532B2 (ja) ロボットの把持のための深層機械学習方法および装置
Saxena et al. Robotic grasping of novel objects
Saxena et al. Robotic grasping of novel objects using vision
Sorokin et al. People helping robots helping people: Crowdsourcing for grasping novel objects
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP2020532440A5 (zh)
Lévesque et al. A model-based scooping grasp for the autonomous picking of unknown objects with a two-fingered gripper
Mojtahedzadeh et al. Support relation analysis and decision making for safe robotic manipulation tasks
Suzuki et al. Grasping of unknown objects on a planar surface using a single depth image
JP2022515238A (ja) 空の容器の検出
Eppner et al. Visual detection of opportunities to exploit contact in grasping using contextual multi-armed bandits
Siddiqui et al. Grasp stability prediction for a dexterous robotic hand combining depth vision and haptic bayesian exploration
US10933526B2 (en) Method and robotic system for manipulating instruments
Haidacher et al. Estimating finger contact location and object pose from contact measurements in 3d grasping
Kim et al. Digital twin for autonomous collaborative robot by using synthetic data and reinforcement learning
Hasan et al. Model-free, vision-based object identification and contact force estimation with a hyper-adaptive robotic gripper
WO2022038889A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
Bekiroglu et al. Learning grasp stability based on haptic data
Kyprianou et al. Bin-picking in the industry 4.0 era
Pinzón-Arenas et al. Path Planning for Robotic Training in Virtual Environments using Deep Learning
Matl et al. Learning Robotic Grasping Policies for Suction Cups and Parallel Jaws in Simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200602

WD01 Invention patent application deemed withdrawn after publication