CN111438704A - 任务特定的机器人抓握系统和方法 - Google Patents

任务特定的机器人抓握系统和方法 Download PDF

Info

Publication number
CN111438704A
CN111438704A CN201911306848.6A CN201911306848A CN111438704A CN 111438704 A CN111438704 A CN 111438704A CN 201911306848 A CN201911306848 A CN 201911306848A CN 111438704 A CN111438704 A CN 111438704A
Authority
CN
China
Prior art keywords
robot
gripper
gripping
computer
numerical parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911306848.6A
Other languages
English (en)
Inventor
C.文
J.L.阿帕里西奥奥杰阿
E.索洛约夫
M.塞尔
H.克劳森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN111438704A publication Critical patent/CN111438704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/02Gripping heads and other end effectors servo-actuated
    • B25J15/0206Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39311Multilayer, MNN, four layer perceptron, sigmoidal neural network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39467Select hand as function of geometric form of hand
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39484Locate, reach and grasp, visual guided grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39543Recognize object and plan hand shapes in grasping movements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40532Ann for vision processing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40629Manipulation planning, consider manipulation task, path, grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45067Assembly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

3D体积内可操作的机器人包括:抓具,其可在打开位置和闭合位置之间移动以抓握多个物体中的任何一个;可铰接部分,其联接到抓具并且可操作以将抓具移动到3D体积内的期望位置;物体检测系统,其可操作以捕获指示定位成由所述抓具抓握的多个物体中的第一物体的形状的信息。计算机联接到物体检测系统。计算机可操作以识别第一物体上的多个可能的抓握位置并产生指示每个抓握位置的理想性的数值参数,其中,数值参数至少部分地由机器人要执行的下一个任务限定。

Description

任务特定的机器人抓握系统和方法
技术领域
总的来说,本公开针对一种用于通过机器人自动选择物体的最佳抓握位置的系统和方法,并且更具体地涉及一种在选择抓握位置时使用即将发生的活动作为参数的系统。
背景技术
诸如组装、仓库库存、包装等之类的任务的自动化由机器人越来越多地执行。实践证明,机器人可以在很少或不需要用户干预的情况下有效地执行重复性任务。然而,随着由机器人执行的任务变得越来越多样化,为了确保适当的操作,需要对机器人进行额外的编程。在通过机器人处理的每个物体是从多个选项中随机递送或对每个物体要执行的任务可能不同的情况下,额外的编程可能会变得过于繁琐和复杂。
发明内容
在3D体积内可操作的机器人包括:抓具,其可在打开位置和闭合位置之间移动以抓握多个物体中的任何一个;可铰接部分,其联接到抓具并且可操作以将抓具移动到3D体积内的期望位置;和物体检测系统,其可操作以捕获指示定位成由所述抓具抓握的多个物体中的第一物体的形状的信息。计算机联接到物体检测系统。计算机可操作以识别第一物体上的多个可能的抓握位置并产生指示每个抓握位置的理想性的数值参数,其中,数值参数至少部分地由机器人要执行的下一个任务限定。
在另一构造中,在3D体积内可操作的机器人包括:抓具,其可在打开位置和闭合位置之间移动以抓握多个物体中的任何一个;可铰接部分,其联接到抓具并且可操作以将抓具移动到3D体积内的期望位置;和成像系统,其可操作以捕获定位成由所述抓具抓握的多个物体中的第一物体的图像。计算机联接到成像系统并包括神经网络,神经网络识别在所述第一物体上的多个可能的抓握位置,并且确定每个抓握位置的理想性的数值参数,其中,所述数值参数至少部分地由机器人要执行的下一个任务和抓具的布置来限定,并且其中,所述多个可能的抓握位置中的一部分响应于3D体积内的抓具和可铰接部分的可用移动路径而被至少部分地消除。
在另一种构造中,一种通过在3D体积内可移动的机器人抓握物体的方法包括:将在打开位置和闭合位置之间可移动的抓具连接到机器人的可铰接部分;捕获要抓握的物体的图像;和在计算机上操作神经网络以分析图像并生成多个可能的抓握位置以供考虑。该方法还包括将指示每个抓握位置的理想性的数值参数分配给每个抓握位置,其中,所述数值参数至少部分地由机器人要执行的下一个任务限定;基于所述数值参数选择最理想的抓握位置;和在选定的抓握位置抓握物体。
前述内容已经相当广泛地概述了本公开的技术特征,使得本领域技术人员可以更好地理解以下的详细描述。在下文中将描述形成权利要求的主题的本公开的附加特征和优点。本领域技术人员将理解,他们可以容易地将所公开的概念和特定实施例用作修改或设计用于实现本公开的相同目的的其他结构的基础。本领域技术人员还将认识到,这样的等效构造不脱离其最广泛形式的本公开的精神和范围。
同样,在进行下面的详细描述之前,应当理解,贯穿本说明书提供了某些单词和短语的各种定义,并且本领域普通技术人员将理解,这样的定义适用于许多(如果不是大多数的话)这些定义的单词和短语的先前和将来使用的实例。尽管某些术语可以包括各种各样的实施例,但是所附权利要求可以明确地将这些术语限制为特定的实施例。
附图说明
图1是机器人抓握系统的示意图。
图2是要抓握的可能物体的透视图。
图3是来自图1的机器人的抓具,其在一个可能的抓握位置抓握图2的物体。
图4是来自图1的机器人的抓具,其在另一个可能的抓握位置抓握图2的物体。
图5是示出抓持系统的操作的示意性流程图。
图6是示出选择抓握位置的方法的流程图。
图7是示出物体在部分填充体积中的放置的透视图。
图8是透视图,示出了将图7的物体放置在与图7所示相同但是以不同的方式部分填充的体积中。
图9是透视图,示出了将图7的物体放置在与图7所示相同但是以不同的方式部分填充的体积中。
图10是组装的齿轮布置的透视图。
在详细解释本发明的任何实施例之前,应理解,本发明的应用不限于在以下描述中阐述或在附图中示出的构造细节和部件的布置。本发明能够具有其他实施例并且能够以各种方式被实践或被执行。此外,应当理解,这里使用的措辞和术语是为了描述的目的,不应被视为限制。
具体实施方式
现在将参考附图描述与系统和方法有关的各种技术,其中,相同的附图标记始终表示相同的元件。以下讨论的附图以及用于描述本专利文件中的本公开的原理的各种实施例仅作为说明,而不应以任何方式解释为限制本公开的范围。本领域技术人员将理解,本公开的原理可以在任何适当布置的设备中实现。应当理解,被描述为由某些系统元件执行的功能可以由多个元件执行。类似地,例如,一个元件可以被配置为执行被描述为由多个元件执行的功能。将参考示例性非限制性实施例描述本申请的众多创新性教导。
另外,应当理解,除非在一些示例中明确限制,否则本文中使用的词或短语应当被广义地解释。例如,术语“包括”,“具有”和“包含”及其派生词是指包括但不限于。单数形式“一”,“一个”和“该”也旨在包括复数形式,除非上下文另有明确指示。此外,本文使用的术语“和/或”指或包含一个或多个相关列出的项目的任何和所有可能组合。术语“或”是包含性的,意味着和/或,除非上下文另外明确指出。短语“与...关联”和“与之关联”及其派生词可能表示包括,包括在其中,与之互连,包含,包含在其中,与之相连,与之联接,与之连通,与之协作,交织,并置,接近,受其约束,具有,具有某种特性等。
此外,尽管本文中可以使用术语“第一”,“第二”,“第三”等来指代各种元件,信息,功能或行为,但是这些元件,信息,功能或行为不应受这些术语的限制。相反,这些数字形容词用于区分不同的元件,信息,功能或行为。例如,第一元件,信息,功能或行为可以称为第二元件,信息,功能或行为,并且类似地,第二元件,信息,功能或行为可以称为第一元件,信息,功能或行为,而不脱离本公开的范围。
另外,术语“与...相邻”可以表示:一个元件相对靠近但不与另一个元件接触;除非上下文另外明确指出,否则该元件与另一部分接触。此外,短语“基于”旨在表示“至少部分基于”,除非另有明确说明。术语“大约”或“基本上”或类似术语旨在涵盖在该尺寸的正常工业制造公差范围内的值的变化。如果没有可用的行业标准,除非另有说明,否则百分之二十的变化将落在这些术语的含义之内。
图1示意性地示出了包括机器人15的自动化系统10,该机器人15可在3-D体积20或操作包络内移动。图1中的机器人15固定地附接到地板25或基座,并且包括可铰接部分30和附接到可铰接部分30的抓具35。可铰接部分30包括肩关节40,肘关节45,腕关节50,在肩关节40与肘关节45之间延伸的第一臂55,以及在肘关节45与腕关节50之间延伸的第二臂60。肩关节40使第一臂55绕垂直延伸通过肩关节40t的第一轴线65旋转。肩关节40还包括枢转关节70,该枢转关节70允许第一臂55绕垂直于第一轴线65并且穿过枢转点的第二轴线75枢转。肘关节45包括枢转点,该枢转点允许第二臂60相对于第一臂55绕垂直于第一轴线65的第三轴线80枢转运动。第三轴线80可以相对于第二轴线75以任何期望的角度定向,以在肘关节45处提供期望的运动范围。腕关节50将第二臂60连接到抓具35,并且提供抓具35和第二臂60之间绕沿着第二臂60的长度延伸的第四轴线85的相对旋转。肘关节45还可包括枢转接头,以允许抓具35相对于第二臂60枢转。
抓具35包括连接到腕关节50的主体90,第一手指95和第二手指100。第一手指95和第二手指100均包括被布置为抓握各种物体的接合表面105。第一手指95和第二手指100附接到主体90,并且可在第一手指95和第二手指100的接合表面105彼此间隔开的打开位置与第一手指95和第二手指100的接合表面105彼此接触或彼此非常接近地间隔开的闭合位置之间移动。在所示的结构中,两个连杆110将第一手指95和第二手指100互连到主体90。连杆110被布置成确保接合表面105在打开位置与闭合位置之间的任何位置时保持基本彼此平行。
如本领域普通技术人员将意识到的,在机器人领域中可用的抓具35的设计有很大的变化。抓具可包括在螺杆机构上线性运动的手指95、100,或者可包括枢转且不保持平行的手指95、100。也可以采用完全不同的抓具机构,例如真空系统,磁性系统,三个或更多个手指系统等。另外,可铰接部分有许多不同的布置,包括线性运动机器人,更少的关节或更多的关节等。可铰接部分30和抓具35的实际设计对于本发明不是关键的,只要可铰接部分30能够将抓具35移动到期望的位置和方向,并且抓具35能够以不同的方式抓持多个不同的物体。
如所讨论的,机器人15,特别是可铰接部分30和抓具35可移动到预定3-D体积20内的任意点以拾取物体或执行特定任务。每个机器人15具有众所周知的预定运动极限,并且该极限取决于机器人15的构造。
继续参考图1,示出了输送系统115将物体120输送到机器人15的3-D体积20中。机器人15定位成抓握物体120,然后对物体120执行次要任务。次要任务可以是包装要运输的物体120,将物体120放置在机床中或放入存储装置,执行组装任务,例如将物体120附接到另一个部件或零件上,等等。实际上,任何次要任务都可以解决。尽管在图1中示出了输送系统115,但是可以使用任何可用的系统或布置将物体120输送到机器人15。
计算机125连接到机器人15以控制机器人15的运动。计算机125从机器人15上以及相关系统中的各种传感器接收反馈,并且生成控制信号以根据特定操作的需要移动可铰接部分30和夹具35。计算机125还接收诸如制造计划、客户订单等之类的用户输入,以使计算机125包括对于在输送系统115上传送的任何给定物体120的下一步。
物体检测系统130也连接到计算机125,并且被定位成检测输送机115上和3-D体积20内的物体120。物体检测系统130所检测的不仅仅是物体120的存在。相反,物体检测系统130检测物体120是什么。在一种构造中,物体检测系统130包括捕获物体120的静止图像的成像系统135。静止图像被发送到计算机125,并且计算机125分析该图像以确定什么物体120处于要被抓握的位置。在其他构造中,可以采用其他检测系统130。例如,一个系统130可以读取附着到物体120上或附近的RFID、条形码或其他指示器,并将该信息发送到计算机125以识别物体120。对于不捕获物体120的图像的物体检测系统130,对于每个可能的物体120,图像将需要对于计算机125是可用的。图像将与物体120相关联,并用于确定抓握位置,如将参照图5讨论的。
本发明的软件方面实际上可以存储在任何计算机可读介质上,包括本地磁盘驱动器系统,远程服务器,互联网或基于云的存储位置。另外,可以根据需要将方面存储在便携式设备或存储设备上。计算机125通常包括允许对软件的访问而不管其存储在何处的输入/输出设备,一个或多个处理器,存储设备,用户输入设备以及诸如监视器、打印机等的输出设备。
处理器可以包括标准微处理器,或者可以包括专门设计用于执行诸如人工智能神经网络、机器视觉和机器学习之类的人工智能应用的人工智能加速器或处理器。典型的应用包括机器人、物联网以及其他数据密集型或传感器驱动任务的算法。AI加速器通常是多核设计,并且通常专注于低精度算术,新颖的数据流架构或内存中计算能力。在其他应用中,处理器可以包括图形处理单元(GPU),其被设计用于图像的操纵和局部图像特性的计算。神经网络和图像处理的数学基础相似,这导致GPU越来越多地用于机器学习任务。当然,如果需要,可以采用其他处理器或布置。其他选项包括但不限于现场可编程门阵列(FPGA),专用集成电路(ASIC)等。
计算机125还包括通信设备,该通信设备可以允许其他计算机或计算机网络之间的通信,以及与其他设备的通信,例如机床,工作站,致动器,控制器,传感器等。
图2示出了要抓握的物体120,零件或部件的示例。物体120包括第一部分140,其具有沿长度延伸的矩形横截面。第二部分145从第一部分140的一端延伸并且具有圆形横截面。图2的物体120可以由图1的机器人15以多种不同方式抓握。图3示出了一种可能的抓握布置,其中抓具35定位在打开位置附近,并且第一手指95和第二手指100接合第一部分140和第二部分145的暴露端。图4示出了第二抓握布置,其中抓具35接合第一部分140的两个平行侧。如本领域普通技术人员将意识到的那样,有许多种不同的方式来抓握图2的物体120。
在许多应用中,机器人15可以用于抓握物体120,然后对物体120执行任务。用相同的任务反复抓握相同的物体120然后对物体120执行的重复任务中,可以简单地对机器人15编程以执行抓握和任务。然而,当大量物体120中的任何一个可以出现在输送机115上并且每个物体120可以具有取决于物体120的不同的要执行的任务时,需要更灵活的系统。在这样的系统中,机器人15的直接编程可能是禁止的。
图1所示的计算机125包括能够进行深度学习的神经网络模型150,该神经网络模型150用于确定如何抓握由物体检测系统130识别的物体120。使用诸如伯克利人工智能研究公司(BAIR)提供的Dex-Net 2.0之类的现有数据库或其他此类数据库来训练神经网络模型150,以识别不同的形状并确定不同的可能抓握位置。
一旦被训练,计算机125就使用捕获的图像或物体120的其他方式获得的图像来确定可能的抓握位置,估计每个抓握位置的质量,并且分配指示该质量的数值参数。例如,计算机125可以分配0到100之间的值,其中100是最佳可能的抓握位置。
因此,本文所述的系统无需计算机125的预编程即可确定最佳的抓握位置。可能的抓握位置可以在要抓握的物体120的边缘上找到。可以通过遗传算法(例如,基于粒子滤波器的方法)来实现对最佳抓握位置的搜索。即,在边缘上均匀地采样抓握候选,当发现良好的抓握时,极有可能生成在其附近具有高斯分布的其他抓握候选。如果抓握候选不好,候选将被遗忘,并且在其附近不会产生任何“后代”。继续进行此过程以迭代地找到一个或多个最佳抓握候选。
如图5所示,训练后的神经网络模型150使用要抓握的物体120的图像来选择多个不同的候选抓握位置。图5示出了标记为200a,200b和200c的三个可能的抓握位置。为了提高生产率,关于抓具35的数据也被提供给计算机125,并在候选抓握位置的分析中加以考虑。要求抓具35移动到不在打开位置和闭合位置之间的点的任何可能的抓握位置被很低地加权,或者优选地从考虑中消除。类似地,关于所使用的特定机器人15的数据被提供给计算机125以定义机器人15可以在其中工作的3-D体积20。在特定应用中,该3-D体积20可能受到特定限制的进一步限制。例如,一个机器人可能能够在人行道上移动,但不允许这样做。在这种情况下,可以从机器人的3D体积中省略人行道。要求机器人15移动到3D体积20外的点的任何可能的抓握位置被很低地加权,或者优选地从考虑中消除。
计算机125还被提供有关于要对特定物体120执行的下一步骤的数据。在一种构造中,计算机125包括下一个任务的数据库,每个下一个任务与要抓握的不同的潜在物体120相关联。下一个任务可能与组装有关,可能需要包装物体120,可能需要将物体120放置在机床上,或者可能包含其他任务。
下一个任务充当进一步的约束,由计算机125分析以调整数值参数。例如,图5示出了图2的物体120的下一步骤是组装步骤,其中第二部分145被插入孔中以将物体120附接至另一部件。在此约束下,图3所示的抓握位置接收到非常低的数值参数,而图4所示的位置接收到了较高的数值参数。图5示出了可由抓具35用来抓握物体120的几种可能的抓握位置200a,200b和200c。图3示出了一个可能的抓握位置200b,图4示出了第二抓握位置200c。抓握位置200a是另一个抓握位置,在该抓握位置中,抓具35抓握物体120的第一部分140,但相对于图4所示的位置旋转了90度。更具体地说,如图4所示,当使用抓握位置200c时,物体120的长轴远离机器人延伸。但是,200a旨在说明抓具35与物体120的长轴交叉的抓握位置。该抓握位置在质量上与图4所示的抓握位置相似。然而,在该位置,抓具35会干扰组装步骤。因此,基于下一步所提供的约束,该抓握位置被赋予较低的数值参数。
在完成对候选抓握位置的评估之后,计算机125选择最理想的抓握位置,并向机器人15提供必要的指令以根据需要抓握物体120并执行组装步骤。
在使用中并且如图6所示,用户首先在计算机125中训练(步骤155)神经网络模型150以识别不同的形状和潜在的抓握位置。接下来,生成或访问要抓握的物体的图像(步骤160)。在对物体120成像以确定物体120是什么的系统10中,可以使用该图像。在以另一种方式确定物体120是什么的系统10中,需要图像数据库以将必要的图像提供给神经网络模型150,以便其可以应用其先前学习的知识来确定如何抓握物体。计算机125使用神经网络模型150来分析图像并生成潜在的抓握位置165。计算机125使用关于抓具35(框180)和机器人(框185)的信息来为每个抓握位置191生成数值参数,并消除机器人15的抓具35或铰接部分30不能执行的抓握位置170。机器人15要执行的下一个任务是由用户提供的,或者是基于要抓取的物体120的标识从数据库或其他来源中提取的(框190)。下一个任务用于对数值参数进行加权,以使不利于下一步的抓取位置收到的数值参数低于更好地便于下一步的抓握位置。
数值参数用于选择最理想的抓握位置175。计算机125向机器人15提供必要的命令,以使机器人15使用选择的抓握位置抓取物体120并执行下一任务。
在又一应用中,机器人用于包装具有固定体积的箱或其他存储空间210。在包装箱或其他体积时,必须将不同大小、形状或体积的物体包装到有限数量的箱或容器中,以最大程度减少使用的箱的数量或最大化包装在该体积中的物体的数量。实际中发生的箱包装的一种变型是当包装受到大小、重量、成本等的限制时。箱或体积包装在工业和商业应用,物流,供应链管理和制造中很重要,例如有重量限制的装载卡车,填充容器,将货物存储在仓库中,以及切割原材料。机器人箱包装要求工业机器人执行优化的箱包装策略,即以所需姿势(例如位置和方向)抓握和包装物体。
特定于任务的抓握将显着提高机器人箱包装的效率。为了实施最佳的箱包装策略,每个抓握和包装操作都取决于先前的一个或多个操作以及随后的操作。因此,根据可用的存储几何形状或空间,建议的方法可以为同一物体计算不同但更有效的与任务相关的抓握点。因此,相同的物体可以以一种方式抓握来将第一物体放置在箱中,并且以第二中方式抓握来将第二物体放置在箱中。图7-9示出了箱包装问题的简单示例,其中立方体形物体215被包装到部分填充或以其他方式限制的体积210中。在图7中,该体积的上半部分被填充220或以其他方式阻塞,从而必须将物体215放置在该阻塞空间220的下方。在这种情况下,最佳抓握位置用箭头G1表示。在图8中,将相同的物体215放置在相同的体积210中,其中体积220的右半部分被阻塞或以其他方式占据。在这种情况下,图7的抓握位置(G1)不合适,而是使用图8中的箭头G2所示的第二抓握位置。图9示出了第三种情况,其中,体积220的后部被占据或以其他方式阻塞,从而在体积210的前部为物体215留出空间。在这种情况下,可以使用图7的抓握位置(G1)或图8的抓握位置(G2)来抓握物体215。其他约束或限制将用于最终确定应采用哪种可能性。
未来的制造将朝着更高的自动化水平发展,例如大规模定制需要以小生产量和高产品可变性来制造。未来的制造业自动化系统将需要具有适应不断变化的复杂环境的能力。在许多自主制造任务中,抓握和组装操作取决于与任务相关的制造操作的顺序。
图10示出了齿轮组件225,其中机器人必须将具有不同尺寸和几何形状的齿轮组抓握并组装在不同形状的齿轮支架上。要组装的第一齿轮230是圆形支架上的双层齿轮。第二齿轮235和第三齿轮240的齿必须与相邻齿轮230或其他齿轮的齿匹配。需要任务特定的抓握点来执行齿轮组装任务。这意味着齿轮的几何形状和最终的组装位置都将用于生成候选抓握位置。
任务特定的抓握还可用于在不同类型的抓具之间自动选择。传统的抓具可分为磁性、真空、机械夹头类型和机械抓具类型。磁性抓具通常用于提升和移动铁磁片,例如钢板,毛坯和冲压件。真空(抽吸)抓具可用于抓握磁性抓具可能不合适的有色金属物体。多指机械抓具是最受欢迎的机械抓具。如图1-6所示,两指抓具可以精确地抓握和处理大范围的物体,但更改零件尺寸或几何形状时效率可能很低。三指抓具可以更加精确,可以处理更多种不同的零件尺寸和形状,但是它们通常更昂贵,更复杂。
当多个抓具可用时,本文描述的系统可以评估每个可能的抓具的不同可能的抓握,以确定抓握物体并执行与该物体的后续一个或多个步骤的最有效方式。对于给定的任务和物体,系统首先评估所有可用抓具的所有可能的抓握位置。系统选择最佳的抓握位置,从而为任务选择最佳的抓具。在另一种布置中,系统首先选择最理想的抓具。然后,系统使用选定的抓具计算一组潜在的抓握位置。
作为示例,图10的齿轮组件225可以使用多个不同的抓具来组装。可以使用三指抓具来组装第一齿轮230(安装在圆形支架上双层齿轮)。接下来,可以使用真空抓具组装最小的齿轮235(中心处有一个小方孔)。
本文所述的系统改进了机器人技术,更具体地说,改进了机器人在抓握应用中的使用。通过考虑即将做出的抓握决策的任务,可以提高整个组装过程的效率。
尽管已经详细描述了本公开的示例性实施例,但是本领域技术人员将理解,在不脱离本公开的精神和范围的情况下,可以以最广泛的形式进行本文公开的各种改变,替换,变化和改进。
本申请中的描述均不应理解为暗示任何特定要素,步骤,动作或功能是必不可少的要素,必须将其包括在权利要求的范围内:专利的主题范围仅通过授权的权利要求限定。此外,这些权利要求中的任何一个都不旨在调用装置加功能的权利要求的构造,除非确切的词“……的装置”前面带有分词。

Claims (17)

1.一种3D体积内可操作的机器人,所述机器人包括:
抓具,其能够在打开位置和闭合位置之间移动以抓握多个物体中的任何一个;
可铰接部分,其联接到抓具并且可操作成将抓具移动到3D体积内的期望位置;
物体检测系统,其可操作以捕获指示定位成由所述抓具抓握的多个物体中的第一物体的形状的信息;和
联接到物体检测系统的计算机,所述计算机可操作以识别所述第一物体上的多个可能的抓握位置并产生指示每个抓握位置的理想性的数值参数,其中,所述数值参数至少部分地由机器人要执行的下一个任务限定。
2.根据权利要求1所述的机器人,其中,所述物体检测系统包括捕获所述第一物体的图像的成像系统。
3.根据权利要求2所述的机器人,其中,所述计算机包括神经网络,所述神经网络识别在所述第一物体上的多个可能的抓握位置,其中,所述数值参数至少部分地由所述抓具的布置来限定,并且其中,所述多个可能的抓握位置中的一部分响应于3D体积内的抓具和可铰接部分的可用移动路径而被至少部分地消除。
4.根据权利要求1所述的机器人,其中,所述计算机包括可操作以识别所述多个可能的抓握位置的神经网络和处理器。
5.根据权利要求1所述的机器人,其中,所述数值参数至少部分地由所述抓具的布置来限定。
6.根据权利要求1所述的机器人,其中,所述计算机消除了要求所述抓具移动到不在所述打开位置和所述闭合位置之间的位置的任何可能的抓握位置。
7.根据权利要求1所述的机器人,其中,所述数值参数至少部分地由所述3D体积内的所述抓具和所述可铰接部分的可用移动路径限定。
8.根据权利要求1所述的机器人,其中,所述计算机消除了要求所述抓具或所述可铰接部分沿着不在所述3D空间内的路径移动的任何可能的抓握位置。
9.根据权利要求1所述的机器人,其中,所述计算机识别所述第一物体上的多个可能的抓握位置而无需预先编程。
10.根据权利要求1所述的机器人,其中,所述下一个任务是将第一零件附接到另一部件的组装任务。
11.一种利用在3D体积内可移动的机器人抓握物体的方法,所述方法包括:
将在打开位置和闭合位置之间可移动的抓具连接到机器人的可铰接部分;
捕获要抓握的物体的图像;
在计算机上操作神经网络以分析图像并生成多个可能的抓握位置以供考虑;
将指示每个抓握位置的理想性的数值参数分配给每个抓握位置,其中,所述数值参数至少部分地由机器人要执行的下一个任务限定;
基于所述数值参数选择最理想的抓握位置;和
在选定的抓握位置抓握物体。
12.根据权利要求11所述的机器人,其中,所述数值参数至少部分地由所述抓具的布置来限定。
13.根据权利要求11所述的机器人,还包括从考虑中消除要求所述抓具移动到不在所述打开位置和所述闭合位置之间的位置的任何可能的抓握位置。
14.根据权利要求11所述的机器人,其中,所述数值参数至少部分地由所述3D体积内的所述抓具和所述可铰接部分的可用移动路径限定。
15.根据权利要求11所述的机器人,还包括从考虑中消除要求所述抓具或所述可铰接部分在所述3D空间之外移动的任何可能的抓握位置。
16.根据权利要求11所述的机器人,其中,所述计算机识别所述第一物体上的多个可能的抓握位置而无需预先编程。
17.根据权利要求11所述的机器人,其中,所述下一个任务是将第一零件附接到另一部件的组装任务。
CN201911306848.6A 2018-12-18 2019-12-18 任务特定的机器人抓握系统和方法 Pending CN111438704A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18213367.8 2018-12-18
EP18213367.8A EP3670106B1 (en) 2018-12-18 2018-12-18 Task-specific robot grasping system and method

Publications (1)

Publication Number Publication Date
CN111438704A true CN111438704A (zh) 2020-07-24

Family

ID=64744602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911306848.6A Pending CN111438704A (zh) 2018-12-18 2019-12-18 任务特定的机器人抓握系统和方法

Country Status (3)

Country Link
US (1) US20200189105A1 (zh)
EP (1) EP3670106B1 (zh)
CN (1) CN111438704A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177842A (zh) * 2021-02-18 2023-12-05 圣所认知系统公司 用于多用途机器人的系统、设备和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113731862B (zh) * 2015-11-13 2024-04-12 伯克希尔格雷营业股份有限公司 用于提供各种物体的分拣的分拣系统和方法
WO2018236753A1 (en) * 2017-06-19 2018-12-27 Google Llc PREDICTION OF ROBOTIC SEIZURE USING NEURAL NETWORKS AND A GEOMETRY-SENSITIVE REPRESENTATION OF OBJECT
EP3829827A1 (en) 2018-07-27 2021-06-09 Berkshire Grey, Inc. Systems and methods for efficiently exchanging end effector tools
ES2912406T3 (es) * 2019-02-15 2022-05-25 Siemens Ag Sistema y método computarizados que usan diferentes vistas de imágenes para encontrar ubicaciones de agarre y trayectorias para una recogida robótica
CN113748000B (zh) 2019-04-25 2024-04-05 伯克希尔格雷营业股份有限公司 用于维持可编程运动系统中的软管布线系统中的真空软管寿命的系统和方法
US11701777B2 (en) * 2020-04-03 2023-07-18 Fanuc Corporation Adaptive grasp planning for bin picking
WO2022086157A1 (ko) * 2020-10-20 2022-04-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN115008478B (zh) * 2022-08-09 2022-10-25 北京航空航天大学 一种双臂机器人抓取位姿选择方法、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120059517A1 (en) * 2010-09-07 2012-03-08 Canon Kabushiki Kaisha Object gripping system, object gripping method, storage medium and robot system
US20130211593A1 (en) * 2010-11-17 2013-08-15 Mitsubishi Electric Corporation Workpiece pick-up apparatus
US20140265401A1 (en) * 2011-11-25 2014-09-18 Robotiq Inc. Gripper having a two degree of freedom underactuated mechanical finger for encompassing and pinch grasping
US20170252924A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
US20180099408A1 (en) * 2016-10-11 2018-04-12 Fanuc Corporation Control device for controlling robot by learning action of person, robot system, and production system
CN108778636A (zh) * 2016-02-08 2018-11-09 伯克希尔格雷股份有限公司 用于提供使用运动规划的各种物体的处理的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
US9561587B2 (en) * 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
WO2018160163A1 (en) * 2017-02-28 2018-09-07 Siemens Product Lifecycle Management Software Inc. System and method for determining grasping positions for two-handed grasps of industrial objects
CN108247601A (zh) * 2018-02-09 2018-07-06 中国科学院电子学研究所 基于深度学习的语义抓取机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120059517A1 (en) * 2010-09-07 2012-03-08 Canon Kabushiki Kaisha Object gripping system, object gripping method, storage medium and robot system
US20130211593A1 (en) * 2010-11-17 2013-08-15 Mitsubishi Electric Corporation Workpiece pick-up apparatus
US20140265401A1 (en) * 2011-11-25 2014-09-18 Robotiq Inc. Gripper having a two degree of freedom underactuated mechanical finger for encompassing and pinch grasping
CN108778636A (zh) * 2016-02-08 2018-11-09 伯克希尔格雷股份有限公司 用于提供使用运动规划的各种物体的处理的系统和方法
US20170252924A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
US20180099408A1 (en) * 2016-10-11 2018-04-12 Fanuc Corporation Control device for controlling robot by learning action of person, robot system, and production system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177842A (zh) * 2021-02-18 2023-12-05 圣所认知系统公司 用于多用途机器人的系统、设备和方法

Also Published As

Publication number Publication date
EP3670106B1 (en) 2024-05-15
US20200189105A1 (en) 2020-06-18
EP3670106A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
CN111438704A (zh) 任务特定的机器人抓握系统和方法
CN111730603B (zh) 机器人系统的控制装置以及控制方法
DE102019130048B4 (de) Ein Robotersystem mit Srückverlustverwaltungsmechanismus
US11701777B2 (en) Adaptive grasp planning for bin picking
Krüger et al. Cooperation of human and machines in assembly lines
CN110914024B (zh) 路径输出方法、路径输出系统和路径输出程序
WO2018092860A1 (ja) 干渉回避装置
JP6661208B1 (ja) ロボットシステムの制御装置及び制御方法
Mnyusiwalla et al. A bin-picking benchmark for systematic evaluation of robotic pick-and-place systems
JP2010179443A (ja) 把持位置計算装置及び把持位置計算方法
Pavlichenko et al. Kittingbot: A mobile manipulation robot for collaborative kitting in automotive logistics
WO2020231319A1 (en) Robot cell setup system and process
CN117460601A (zh) 集成移动机械手机器人的动态质量估计方法
US20230158676A1 (en) Controlling multiple robots to cooperatively pick and place items
CN111421546B (zh) 机器人系统的控制装置以及控制方法
WO2020012712A1 (ja) 把持姿勢評価装置及び把持姿勢評価プログラム
Mishra et al. Development of a flexible assembly system using industrial robot with machine vision guidance and dexterous multi-finger gripper
Ranky Reconfigurable robot tool designs and integration applications
CN114746224A (zh) 机器人工具及其操作方法
CN116728399A (zh) 具有物体处理的机器人系统的系统和方法
CN116061192A (zh) 具有物体处理的机器人系统的系统和方法
US20230182293A1 (en) Systems and methods for grasp planning for a robotic manipulator
US20240131712A1 (en) Robotic system
Răileanu et al. Using the Digital Twin Concept to Design and Validate a Robotized Bin Picking Process
Kunchala et al. PLC based Robot Manipulator Control using Position based and Image based Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination