CN115916483A - 机器人系统及拾取方法 - Google Patents

机器人系统及拾取方法 Download PDF

Info

Publication number
CN115916483A
CN115916483A CN202180050579.0A CN202180050579A CN115916483A CN 115916483 A CN115916483 A CN 115916483A CN 202180050579 A CN202180050579 A CN 202180050579A CN 115916483 A CN115916483 A CN 115916483A
Authority
CN
China
Prior art keywords
workpieces
fingers
workpiece
gripped
gripping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180050579.0A
Other languages
English (en)
Inventor
石毛真修
梅馆拓也
井尻善久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
University of Tokyo NUC
Original Assignee
Omron Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, University of Tokyo NUC filed Critical Omron Corp
Publication of CN115916483A publication Critical patent/CN115916483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

机器人系统具备：机器人机构，具备抓握工件的手指；检测部，检测手指抓握工件的抓握状态；识别部，基于检测部的检测结果识别手指所抓握的工件的数量；以及控制部，在使机器人机构进行从载置有多个工件的载置场所抓握工件的动作之后，在通过识别部识别出的工件的数量与预先指定的指定数不同时，所述控制部控制机器人机构的运动以使抓握住的工件的数量达到指定数，手指中的至少一个具有挠性，在通过手指抓握住工件的状态下，控制部控制机器人机构的运动以使至少一个手指的位置变化。

Description

机器人系统及拾取方法
技术领域
本公开涉及机器人系统及拾取方法。
背景技术
专利文献1～3公开了基于散装的工件的拍摄图像识别能够拾取的工件以拾取工件的技术。
专利文献1：日本专利第5767464号公报
专利文献2：日本特开2017-42859号公报
专利文献3：日本专利第5196156号公报
发明内容
发明所要解决的技术问题
但是，在上述现有技术中，特别是在像螺钉等这样的小的工件、金属的工件、有光泽的工件的情况下，难以通过图像传感器、深度传感器准确地检测工件的位置、姿态，其结果，难以准确地进行一个工件的拾取。另外，还会因推测与周边的干扰物的间隙、计算抓握可能性失败而导致拾取的失败。并且，因为多会由于拾取一个工件而致使其周围的工件的配置改变，所以在每次的拾取动作之前还需要用于检测工件的位置、姿态的时间。
本公开是鉴于上述点而完成的，以提供即便每次事前不检测工件的位置、姿态也能够以高的准确度拾取工件的机器人系统及拾取方法为目的。
用于解决技术问题的方案
公开的第一方面是一种机器人系统，具备：机器人机构，具备抓握工件的多个手指；检测部，检测通过所述多个手指抓握所述工件的抓握状态；识别部，基于所述检测部的检测结果识别所述多个手指所抓握的工件的数量；以及控制部，在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在通过所述识别部识别出的所述工件的数量与预先指定的指定数不同时，所述控制部控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，所述多个手指中的至少一个具有挠性，在通过所述多个手指抓握住所述工件的状态下，所述控制部控制所述机器人机构的运动以使至少一个手指的位置变化。
在上述第一方面中，也可以设为，所述多个手指中的至少一个由弹性部件构成。
公开的第二方面具备：机器人机构，具备抓握工件的多个手指；检测部，检测通过所述多个手指抓握所述工件的抓握状态；识别部，基于所述检测部的检测结果识别所述多个手指所抓握的工件的数量；以及控制部，在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在通过所述识别部识别出的所述工件的数量与预先指定的指定数不同时，所述控制部控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，所述检测部包括压力分布传感器，所述压力分布传感器设置于至少一个手指的抓握面，并检测所述工件所接触的所述抓握面的压力分布，所述识别部通过抓握数识别模型识别所述工件的个数，所述抓握数识别模型是通过以通过所述检测部检测到的压力分布为输入、以通过所述多个手指抓握住的所述工件的个数为输出进行学习而得的模型，所述控制部基于从驱动方法模型输出的所述驱动方法控制所述机器人机构的运动，所述驱动方法模型是通过以所述压力分布及驱动所述多个手指的驱动部的驱动状态为输入、以通过所述多个手指抓握住的所述工件的个数和用于将所述工件的数量设为所述指定数的所述驱动部的驱动方法为输出进行学习而得的模型。
在上述第二方面中，也可以设为在所述压力分布传感器上设置有弹性部件的构成。
在上述第一方面中，也可以设为，直到通过所述识别部识别出的所述工件的数量达到所述指定数为止，在通过所述多个手指抓握住所述工件的状态下，所述控制部以重复使所述多个手指中的至少一个沿作为用于抓握的运动方向的第一方向、与所述第一方向及所述手指的长边方向交叉的第二方向、作为所述手指的长边方向的第三方向及以所述第三方向为旋转轴旋转的旋转方向中的至少一个方向移动的方式控制所述机器人机构的运动。
在上述第一方面中，也可以设为，所述检测部在所述多个手指的相对的位置关系互相不同的状态下多次检测所述抓握状态，所述识别部基于多次检测所述抓握状态的结果识别所述工件的个数。
公开的第三方面是一种拾取方法，检测具备抓握工件的多个手指的机器人机构的所述多个手指抓握所述工件的抓握状态，基于所述工件的抓握状态的检测结果识别所述多个手指所抓握的工件的数量，在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在识别出的所述工件的数量与预先指定的指定数不同时，控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，所述多个手指中的至少一个具有挠性，在通过所述多个手指抓握住所述工件的状态下，控制所述机器人机构的运动以使至少一个手指的位置变化。
公开的第四方面是一种拾取方法，检测具备抓握工件的多个手指的机器人机构的所述多个手指抓握所述工件的抓握状态，基于所述工件的抓握状态的检测结果识别所述多个手指所抓握的工件的数量，在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在识别出的所述工件的数量与预先指定的指定数不同时，控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，包括压力分布传感器，所述压力分布传感器设置于至少一个手指的抓握面，并检测所述工件所接触的所述抓握面的压力分布，通过抓握数识别模型识别所述工件的个数，所述抓握数识别模型是通过以检测出的压力分布为输入、以通过所述多个手指抓握住的所述工件的个数为输出进行学习而得的模型，基于从驱动方法模型输出的所述驱动方法控制所述机器人机构的运动，所述驱动方法模型是通过以所述压力分布为输入、以通过所述多个手指抓握住的所述工件的个数和所述多个手指中的至少一个手指的用于将所述工件的数量设为所述指定数的驱动方法为输出进行学习而得的模型。
发明效果
根据本公开，即便每次事前不检测工件的位置、姿态也能够以高的准确度拾取工件。
附图说明
图1为机器人系统的构成图。
图2为控制装置的功能框图。
图3为示出控制装置的硬件构成的框图。
图4为示出拾取处理的流程的流程图。
图5为手指的立体图。
图6为沿着Z轴方向从下方观察抓握住工件的手指而得的图。
图7为沿着Y轴方向观察抓握住工件的手指而得的图。
图8为沿着X轴方向观察抓握住工件的手指而得的图。
图9为示出压力分布传感器及弹性部件的图。
图10为用于对弹性部件进行说明的图。
具体实施方式
下面参照附图对本公开的实施方式的一例进行说明。需要说明的是，在各附图中对于相同或者等价的构成要素及部分赋予相同参照附图标记。另外，关于附图的尺寸比率，为了便于说明，存在夸张的情况，且存在与实际比率不同的情况。
＜第一实施方式＞
图1为第一实施方式涉及的机器人系统10的构成图。如图1所示，机器人系统10具备机器人机构20、控制装置30及拍摄部40。机器人系统10在本实施方式中作为拾取工件W的拾取装置发挥功能。
机器人机构20包括作为进行拾取动作时的运动控制的对象、即机构部分的机械臂AR和安装在机械臂AR的前端的机械手H。机械手H从作为载置有多个工件W的载置场所的一例的箱50抓握工件W。机械手H是抓握部的一例。需要说明的是，在本实施方式中，关于工件W，作为一例，对是螺钉等通过机械手H能够抓握多个工件W的程度的比较小的零件的情况进行说明，但是工件W并不限于此。
机械手H具备多个手指，在本实施方式中作为一例具有两个手指F1、F2，但是手指的数量不限于两个。另外，手指F1、F2在本实施方式中作为一例由板状的部件构成，但是手指F1、F2的形状并不限于此。
另外，机械手H具备驱动部22-1和驱动部22-2，所述驱动部22-1在通过手指F1、F2抓握住工件W的状态下进行驱动以使手指F1的位置变化，所述驱动部22-2在通过手指F1、F2抓握住工件W的状态下进行驱动以使手指F2的位置变化。需要说明的是，在本实施方式中，对在手指F1、F2两方设置驱动部的情况进行说明，但是也可以设为在手指F1、F2中的任一者设置驱动部的构成。
另外，在手指F1的抓握面设置有检测工件W所接触的抓握面的压力分布的压力分布传感器24-1。同样地，在手指F2的抓握面设置有检测工件W所接触的抓握面的压力分布的压力分布传感器24-2。在此，压力分布传感器24-1、24-2是检测手指F1、F2抓握工件W的抓握状态的检测部的一例。
需要说明的是，在本实施方式中，对在手指F1、F2两方的抓握面中的每一个设置压力分布传感器的情况进行说明，但是也可以设为在手指F1、F2中的任一个手指的抓握面设置压力分布传感器的构成。
机器人机构20作为一例可以使用自由度为六的垂直多关节机器人、水平多关节机器人等，但是机器人的自由度及种类并不限于这些。
控制装置30控制机器人机构20。如图2所示，控制装置30从功能上讲包括识别部32及控制部34。
识别部32基于压力分布传感器24-1、24-2的检测结果、即压力分布识别手指F1、F2所抓握的工件W的个数。识别部32在本实施方式中作为一例，使用学习完成模型、例如使用了神经网络的学习完成模型来识别通过手指F1、F2抓握住的工件W的个数，所述学习完成模型是通过以由压力分布传感器24-1、24-2检测出的压力分布中的每一个为输入、以工件W的数量为输出进行学习而得的模型。
在使机器人机构20进行了从箱50抓握工件W的动作之后，在通过识别部32识别出的工件的个数与预先指定的指定数不同时，控制部34控制机器人机构20的运动以使被抓握住的工件W的数量达到指定数。需要说明的是，在本实施方式中，对指定数为1的情况进行说明。即，在通过识别部32识别出的工件的个数为多个时，控制机器人机构20的运动以使工件W落下直到通过识别部32识别出的工件的个数达到一个。
具体地，例如为了使通过手指F1、F2抓握住工件W的抓握状态变化，控制部34控制驱动部22-1、22-2中的至少一方以使手指F1、F2中的至少一方移动。即，挪动手指F1、F2中的至少一方以使手指F1、F2的相对位置变化。由此，通过手指F1、F2抓握着的工件W的抓握状态变化，能够使工件W落下。
拍摄部40设置在能够从箱50的上方对箱50内的工件W进行拍摄的位置处，并根据控制装置30的指示将通过对箱50内的工件W进行拍摄而得的拍摄图像输出到控制装置30。
接下来，是示出控制装置30的硬件构成的框图。
如图3所示，控制装置30具有CPU(Central Processing Unit：中央处理器)30A、ROM(Read Only Memory：只读存储器)30B、RAM(Random Access Memory：随机存取存储器)30C、存储器30D、输入部30E、监视器30F、光盘驱动装置30G及通信接口30H。各构成经由总线30I能够相互通信地连接。
在本实施方式中，在存储器30D中保存有拾取程序。CPU30A是中央演算处理单元，或执行各种程序，或控制各构成。即，CPU30A从存储器30D读取程序，并以RAM30C为作业区域来执行程序。CPU30A根据记录于存储器30D的程序进行上述各构成的控制及各种演算处理。
ROM30B保存各种程序及各种数据。RAM30C作为作业区域临时存储程序或者数据。存储器30D由HDD(Hard Disk Drive：硬盘驱动器)或者SSD(Solid State Drive：固态硬盘)构成，保存包括操作系统的各种程序及各种数据。
输入部30E包括键盘30E1及鼠标30E2等指点设备，用于进行各种输入。监视器30F例如是液晶显示器，显示工件W的抓握状态等各种信息。监视器30F也可以采用触摸面板方式，并作为输入部30E发挥功能。光盘驱动装置30G进行存储于各种记录介质(CD-ROM或者蓝光光碟等)的数据的读入、对记录介质写入数据等。
通信接口30H是用于与其他设备进行通信的接口，例如可以使用以太网(注册商标)、FDDI或者Wi-Fi(注册商标)等规格。
图2示出的控制装置30的各功能构成通过CPU30A读取存储于存储器30D的拾取程序并将所述拾取程序展开于RAM30C并执行来实现。
接下来，对机器人系统10的作用进行说明。
图4为示出通过机器人系统10实现的拾取处理的流程的流程图。在用户操作输入部30E并指示了执行拾取处理后，CPU30A从存储器30D读取拾取程序，以将所述拾取程序展开于RAM30C并执行，由此拾取处理被执行。
在步骤S100中，CPU30A作为控制部34控制机器人机构20通过机械手H抓握箱50内的工件W。具体地，例如对拍摄部40指示拍摄以获取通过对箱50内的工件W拍摄而得的拍摄图像，通过对所获取到的拍摄图像进行图像解析来确定工件W所存在的场所。此时，不需要确定应该抓握的工件W的位置、姿态，仅确定工件W所存在的场所即可。然后，控制机械臂AR以使机械手H移动到工件W所存在的场所，然后，控制驱动部22-1、22-2以便通过手指F1、F2抓握工件W。或者，也可以设为，不进行通过拍摄部40进行的拍摄，而是进行在箱50内的任一位置处关闭手指F1、F2的动作，作为其结果，以某一几率抓握工件W。特别是，当在箱50内残存有数量较多的工件W时，甚至即便事前不确定工件W所存在的场所，也能够以高的几率抓握工件W。
在步骤S102中，CPU30A作为识别部32，从压力分布传感器24-1、24-2分别获取手指F1、F2的抓握面的压力分布。然后，根据所获取到的手指F1、F2的抓握面的压力分布识别通过手指F1、F2抓握住的工件W的个数。
在步骤S104中，CPU30A作为控制部34判定在步骤S102中识别出的工件W的个数是否为0。然后，在识别出的工件W的个数不是0时、即在至少抓握着一个以上的工件W时，转移到步骤S106。另一方面，在识别出的工件的个数是0时，返回步骤S100以重新抓握工件W。
在步骤S106中，CPU30A作为控制部34判定在步骤S102中识别出的工件W的个数是否是指定数、即识别出的工件W的个数是否是一个。然后，在识别出的工件W的个数是1时，转移到步骤S108。另一方面，在识别出的工件W的个数不是1时、即是多个时，转移到步骤S110。
在步骤S108中，CPU30A作为控制部34，控制机器人机构20将通过机械手H抓握住的工件W移动到预定的场所对所述工件W进行载置。
在步骤S110，CPU30A作为控制部34，以挪动手指F1、F2中的至少一方的方式控制驱动部22-1、22-2中的至少一方。例如，既可以预先确定挪动的手指、方向及移动量，也可以基于在步骤S102中获取到的手指F1、F2的抓握面的压力分布来确定挪动的手指、方向及移动量。由此，通过手指F1、F2抓握着的工件W的抓握状态变化，工件W会容易落下。
在步骤S112中，CPU30A作为控制部34，判定是否已将箱50内的工件W全部拾取了。即，判定箱50内是否变空了。具体地，例如对通过拍摄部40拍摄的拍摄图像进行图像解析，以判定在箱50内是否残留有工件W。然后，当在箱50内未残留工件W时，结束本例程。另一方面，当在箱50内残留有工件W时，返回步骤S100，重复与上述同样的处理直到将工件W全部拾取。
这样一来，在本实施方式中，不是在事前检测了应该抓握的工件W的位置、姿态之后再抓握工件W，而是首先在抓握工件W之后，再进行挪动手指F1、F2中的至少一方的运动，直到抓握住的工件W的个数达到指定数。由此，即便每次事前不检测工件W的位置、姿态，也能够以高的准确度拾取工件W。
(变形例1)
接下来，对第一实施方式的变形例1进行说明。
在识别抓握住的工件W的数量时，例如也可以基于工件W在手指F1、F2的各自的抓握面中的接触面积来识别抓握住的工件W的个数。例如，基于通过压力分布传感器24-1、24-2检测出的压力分布中的各个压力分布分别计算工件W在手指F1、F2的各自的抓握面中的接触面积。另外，例如也可以使用表示各接触面积与抓握住的工件的个数的对应关系的表数据或者数学表达式等来识别抓握住的工件W的个数。例如，在工件W是球体时，因为通过用一个工件W按压具有弹性的抓握面而形成的接触面积比较稳定，所以如此处理能够识别个数。
(变形例2)
接下来，对第一实施方式的变形例2进行说明。
在识别抓握住的工件W的数量时，例如也可以设为，通过作为检测部的一例的拍摄部40对通过手指F1、F2抓握住工件W的状态进行拍摄，并基于通过拍摄部40拍摄的拍摄图像识别抓握住的工件W的个数。在该情况下，也可以是，控制部34使机械手H移动以通过拍摄部40在能够拍摄的位置、即工件W未被手指F1、F2遮挡的位置处对通过手指F1、F2抓握住的工件W进行拍摄。另外，也可以设为还具备拍摄部40的移动机构的构成，并使拍摄部40移动到机械手H的位置处。另外，也可以使机械手H及拍摄部40两方移动。
(变形例3)
接下来，对第一实施方式的变形例3进行说明。
在识别抓握住的工件W的数量时，例如也可以设为具备作为检测部的一例的六轴力传感器的构成，所述六轴力传感器检测作用于通过手指F1、F2抓握住工件W的状态下的手指F1、F2的力，识别部32基于通过力传感器检测出的力的铅垂方向分量相对于抓握前而在抓握后增加的量、即工件W的总重量来识别工件W的个数。在该情况下，例如也可以设为基于工件W的总重量和每一个工件W的重量来识别工件W的个数。即，也可以设为，通过用每一个工件W的重量除根据通过力传感器检测出的力计算出的工件W的总重量来计算工件W的个数。
(变形例4)
接下来，对第一实施方式的变形例4进行说明。
也可以设为，在通过识别部32识别出的工件W的数量与指定数不同时，例如比指定数少时，控制部34控制机器人机构20的运动以重新从箱50抓握工件W。即，也可以设为，以先通过在箱50上进行打开手指F1、F2的动作来使暂时抓握住的工件W返回到箱50上之后、再一次抓握箱50内的工件W的方式控制机器人机构20。
(变形例5)
接下来，对第一实施方式的变形例5进行说明。
也可以设为，在通过识别部32识别出的工件W的数量比指定数多时，控制部34控制机器人机构20以对通过手指F1、F2抓握着的工件中的至少一部分施加外力而使其落下。例如也可以设为，控制机器人机构20以使工件W与棒状的固定的夹具碰撞来使工件W落下。另外，例如也可以设为还设置有通过棒状部件对工件W施加外力的外力机构的构成，并通过控制该外力机构以使棒状部件与工件W碰撞来使工件W落下。
＜第二实施方式＞
接下来，对第二实施方式进行说明。需要说明的是，对于与第一实施方式相同的部分标记相同的附图标记，并省略详细说明。
在第二实施方式中，对手指F1、F2中的至少一个具有挠性的构成的情况进行说明。在第二实施方式中，对手指F1、F2两方具有挠性的情况进行说明，但是也可以是手指F1、F2中的一方具有挠性的构成。
如图5所示，第二实施方式涉及的手指F1具备波纹F1A，所述波纹F1A在手指F1的长边方向沿着Z轴方向、即重力方向时在X轴方向上具有挠性。因此，手指F1在图5中在X轴方向上具有挠性。
手指F2具备在X轴方向上具有挠性的波纹F2A。因此，手指F1在图5中在X轴方向上具有挠性。并且，手指F2具备在Y轴方向上具有挠性的波纹F2B。因此，手指F2在图5中在Y轴方向上也具有挠性。
驱动部22-1具备进行驱动以使手指F1在图5中以Z轴方向为旋转轴向箭头A方向旋转的旋转用电机。通过驱动该旋转用电机，在如图6的(A)所示地从下方观察手指F1、F2时，能够以Z轴方向为旋转轴将手指F1从抓握住工件W的状态如图6的(B)所示地向箭头A方向挪动。
另外，手指F2的指尖与驱动部22-2通过例如结状的第一肌腱(省略图示)连接。另外，驱动部22-2具备进行驱动以拉伸第一肌腱的第一拉伸用电机。通过驱动该第一拉伸用电机，能够使手指F2从图7的(A)示出的状态如图7的(B)所示地沿X轴方向活动。需要说明的是，由于手指F1具备在X轴方向上具有挠性的波纹F1A，故而其追随手指F2的活动在X轴方向上移动。
另外，手指F2的指尖与驱动部22-2通过例如结状的第二肌腱(省略图示)连接。另外，驱动部22-2具备进行驱动以拉伸第二肌腱的第二拉伸用电机。通过驱动该第二拉伸用电机，能够使手指F2从图8的(A)示出的状态如图8的(B)所示地沿Y轴方向活动。需要说明的是，由于手指F1在Y轴方向上不具有挠性，故而其不会追随手指F2的活动沿Y轴方向移动。
另外，虽然在图1中省略了图示，但是在手指F1的指尖的工件W的抓握面中，如图9所示，粘贴有压力分布传感器24-1，并且在其上粘贴有弹性部件26-1。手指F2也是同样的，在指尖的工件W的抓握面粘贴有压力分布传感器24-2，并且在其上粘贴有与弹性部件26-1同样的弹性部件。
压力分布传感器24-1、24-2由m×n(m、n为整数)个压力检测元件构成。例如能够设m＝6、n＝4等，但是m、n的值并不限于此。
例如，如图10的(A)所示，在未将弹性部件26-1设置在压力分布传感器24-1上的情况下，在抓握住工件W时，由于只能在两处触点S1、S2处检查出工件W，故而存在无法高精度地识别工件W的可能。与此相对，如图10的(B)所示，在将弹性部件26-1设置在压力分布传感器24-1上的构成的情况下，如在图10的(B)中通过箭头所示，被抓握住的工件W的压力会以面传递到压力分布传感器24-1，能够高精度地识别工件W。
需要说明的是，手指F1、F2也可以由弹性部件构成。即，也可以是，不单独地设置弹性部件，而是手指F1、F2的指尖本身由弹性部件构成。
在第二实施方式中，作为一例，识别部32通过抓握数识别模型来识别工件W的个数，所述抓握数识别模型是通过以由压力分布传感器24-1、24-2检测出的压力分布为输入且以由手指F1、F2抓握住的工件W的个数为输出进行学习而得的模型。
作为抓握数识别模型例如能够使用学习了使用卷积神经网络(ConvolutionalNeural Network(CNN)：卷积神经网络)的学习模型的学习完成模型，但是并不限于此。
用于识别工件W的个数的压力分布检测也可以改变手指F1、F2的相对位置关系以多次进行。在该情况下，通过在控制部34进行使手指F1、F2中的至少一个向预先确定的方向移动的控制，来通过压力分布传感器24-1、24-2多次检测工件W的抓握状态。例如，一边以按压手指F1的方式使手指F2向X轴方向移动一边通过压力分布传感器24-1、24-2多次检测压力分布。即，按照时间序列检测手指F1、F2的抓握面的压力分布。
识别部32将通过压力分布传感器24-1、24-2中的每一个而多次检测出的结果、即多次检测出的手指F1、F2的压力分布分别输入到抓握数识别模型。如此，通过将多个压力分布输入抓握数识别模型能够高精度地识别工件W的个数。
需要说明的是，例如也可以设为，将检测手指F1向X轴方向的翘曲的幅度的拉伸传感器设置于手指F1，并也将该拉伸传感器的输出值输入到抓握数识别模型。
在通过手指F1、F2抓握住工件W的状态下，控制部34控制机器人机构20的运动以使手指F1、F2中的至少一个手指的位置变化。
具体地，在通过手指F1、F2抓握住工件W的状态下，以使手指F1、F2中的至少一个沿预先确定的第一方向、与第一方向交叉的第二方向、与第一方向及第二方向交叉的第三方向及以第三方向为旋转轴旋转的旋转方向中的至少一个方向移动的方式控制机器人机构20的运动。例如，当在图5中以X轴方向为第一方向时，Y轴方向为第二方向，Z轴方向为第三方向，箭头A方向为旋转方向。
关于挪动的手指、方向及移动量，如在第一实施方式中所说明的，例如也可以基于在步骤S102中获取到的手指F1、F2的抓握面的压力分布来确定。
另外，控制部34也可以基于从驱动方法模型输出的驱动方法来控制机器人机构20的运动，所述驱动方法模型为通过以由压力分布传感器24-1、24-2检测出的压力分布及驱动部22-1、22-2的驱动状态为输入、且以通过手指F、F2抓握住的工件W的个数和用于将工件W的数量设为指定数的驱动部22-1、22-2的驱动方法为输出来进行学习而得的模型。这里所说的“驱动方法”例如为像驱动命令或者作为生成驱动命令的来源的信息这样的与驱动相关的信息，意指相当于机器学习中所说的“行动”、控制理论中所说的“控制输入”的信息。在第二实施方式中，对基于从驱动方法模型输出的驱动方法控制机器人机构20的运动的情况进行说明。
在此，驱动部22-1的驱动状态为驱动部22-1的旋转用电机的旋转角，相当于手指F1在箭头A方向上始自初始状态的移动量。另外，驱动部22-2的驱动状态为驱动部22-2的第一拉伸用电机的旋转角及第二拉伸用电机的旋转角，分别相当于手指F2在X轴方向上始自初期状态的移动量及手指F2在Y轴方向上始自初期状态的移动量。
在第二实施方式中作为一例，将驱动方法模型设为使用了包括基于作为递归神经网络(Recurrent Neural Network：RNN)的一种的LSTM(Long Short-Term Memory：长短期记忆网络)的学习模型和/或强化学习模型的学习完成模型的构成。
在这样的驱动方法模型中，向基于LSTM的学习模型中输入通过压力分布传感器24-1、24-2检测出的压力分布及驱动部22-1、22-2的驱动状态，求解抓握着的工件W的个数。然后，将求解出的工件W的个数、通过压力分布传感器24-1、24-2检测出的压力分布及驱动部22-1、22-2的驱动状态作为状态信息输入到强化学习模型。强化学习模型将驱动部22-1、22-2的驱动方法输出为与所输入的状态信息相对应的行动。即，输出驱动部22-1的旋转用电机的旋转角、驱动部22-2的第一拉伸用电机的旋转角及第二拉伸用电机的旋转角。控制部34根据从驱动方法模型输出的驱动方法对驱动部22-1、22-2进行驱动，并使手指F1、F2中的至少一方移动。需要说明的是，也可以设为，将拉伸传感器的输出值包括在状态信息中，并进一步输入到驱动方法模型。
接下来，对机器人系统10的作用进行说明。
第二实施方式涉及的通过机器人系统10实现的拾取处理的基本流程与在第一实施方式中所说明的图4示出的流程图中所示出的处理是同样的。下面，在第二实施方式中对特征性的处理进行说明。
在图4的步骤S102中，在通过手指F1、F2抓握住工件W的状态下，CPU30A一边作为控制部34使手指F2沿X轴方向移动，一边作为识别部32从压力分布传感器24-1、24-2按照时间序列分别获取手指F1、F2的抓握面的压力分布。然后，通过将按照时间序列获取到的手指F1、F2的抓握面的压力分布输入到抓握数识别模型来识别通过手指F1、F2抓握住的工件W的个数。
在步骤S110中，CPU30A作为控制部34，将通过压力分布传感器24-1、24-2检测出的压力分布及驱动部22-1、22-2的驱动状态输入到驱动方法模型，并根据从驱动方法模型输出的驱动方法通过对驱动部22-1、22-2进行驱动来以挪动手指F1、F2中的至少一方的方式使所述手指F1、F2中的至少一方移动，并使工件W的抓握状态变化。由此，工件W会容易落下。
这样，在第二实施方式中，使用抓握数识别模型来识别工件W的抓握数，使用驱动方法模型来控制手指F1、F2的动作。由此，即便每次事前不检测工件W的位置、姿态，也能够以高的准确度拾取工件W。
需要说明的是，在上述各实施方式中通过CPU读入并执行软件(程序)来实现的拾取处理也可以由CPU以外的各种的处理器执行。作为该情况下的处理器，可以例示在FPGA(Field-Programmable Gate Array：现场可编程门阵列)等的制造后能够变更电路构成的PLD(Programmable Logic Device：可编程逻辑器件)及ASIC(Application SpecificIntegrated Circuit：专用集成电路)等为了执行特定的处理而具有设计为专用的电路构成的处理器、即专用电路等。另外，拾取处理既可以通过这些各种处理器中的一个来执行，也可以通过同种类或者不同种类的两个以上的处理器的组合(例如多个FPGA及CPU与FPGA的组合等)来执行。另外，关于这些各种处理器的硬件方面的构造，更具体地说，为通过组合半导体元件等电路元件而得的电路。
另外，在上述各实施方式中，对拾取程序被预先存储(安装)于存储器30D或者ROM30B的方式进行了说明，但是不并限定于此。程序也可以以记录于CD-ROM(Compact DiskRead Only Memory：光盘只读存储器)、DVD-ROM(Digital Versatile Disk Read OnlyMemory：数字多功能只读光盘)及USB(Universal Serial Bus：通用串行总线)存储器等记录介质的形式提供。另外，程序也可以设为经由网络从外部装置下载的形式。
需要说明的是，日本国专利申请第2020-151539号的公开其整体通过参照纳入到本说明书。另外，本说明书中所记载的全部的文献、专利申请及技术规格以与具体且分别记述各文献、专利申请及技术规格作为参照而纳入的情况相同程度地作为参照而纳入本说明书中。
附图标记说明
10 机器人系统
20 机器人机构
22-1、22-2驱动部
24-1、24-2压力分布传感器
26-1 弹性部件
30 控制装置
32 识别部
34 控制部
40 拍摄部
50 箱
F1、F2手指
F1A、F2A、F2B波纹
AR 机械臂
H 机械手
W 工件。

Claims (8)

1.一种机器人系统，具备：
机器人机构，具备抓握工件的多个手指；
检测部，检测通过所述多个手指抓握所述工件的抓握状态；
识别部，基于所述检测部的检测结果识别所述多个手指所抓握的工件的数量；以及
控制部，在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在通过所述识别部识别出的所述工件的数量与预先指定的指定数不同时，所述控制部控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，
所述多个手指中的至少一个手指具有挠性，
在通过所述多个手指抓握住所述工件的状态下，所述控制部控制所述机器人机构的运动以使至少一个手指的位置变化。
2.根据权利要求1所述的机器人系统，其中，
所述多个手指中的至少一个手指由弹性部件构成。
3.一种机器人系统，具备：
机器人机构，具备抓握工件的多个手指；
检测部，检测通过所述多个手指抓握所述工件的抓握状态；
识别部，基于所述检测部的检测结果识别所述多个手指所抓握的工件的数量；以及
控制部，在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在通过所述识别部识别出的所述工件的数量与预先指定的指定数不同时，所述控制部控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，
所述检测部包括压力分布传感器，所述压力分布传感器设置于至少一个手指的抓握面，并检测所述工件所接触的所述抓握面的压力分布，
所述识别部通过抓握数识别模型识别所述工件的个数，所述抓握数识别模型是通过以由所述检测部检测出的压力分布为输入且以由所述多个手指抓握住的所述工件的个数为输出进行学习而得的模型，
所述控制部基于从驱动方法模型输出的所述驱动方法控制所述机器人机构的运动，所述驱动方法模型是通过以所述压力分布及驱动所述多个手指的驱动部的驱动状态为输入且以由所述多个手指抓握住的所述工件的个数和用于将所述工件的数量设为所述指定数的所述驱动部的驱动方法为输出进行学习而得的模型。
4.根据权利要求3所述的机器人系统，其中，
在所述压力分布传感器上设置有弹性部件。
5.根据权利要求1至4中任一项所述的机器人系统，其中，
直到通过所述识别部识别出的所述工件的数量达到所述指定数为止，在通过所述多个手指抓握住所述工件的状态下，所述控制部以重复使所述多个手指中的至少一个手指沿作为用于抓握的运动方向的第一方向、与所述第一方向及所述手指的长边方向交叉的第二方向、作为所述手指的长边方向的第三方向以及以所述第三方向作为旋转轴旋转的旋转方向中的至少一个方向移动的方式控制所述机器人机构的运动。
6.根据权利要求1至5中任一项所述的机器人系统，其中，
所述检测部在所述多个手指的相对的位置关系互相不同的状态下多次检测所述抓握状态，
所述识别部基于多次检测所述抓握状态的结果识别所述工件的个数。
7.一种拾取方法，其中，
检测具备抓握工件的多个手指的机器人机构的所述多个手指抓握所述工件的抓握状态，
基于所述工件的抓握状态的检测结果识别所述多个手指所抓握的工件的数量，
在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在识别出的所述工件的数量与预先指定的指定数不同时，控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，
所述多个手指中的至少一个手指具有挠性，
在通过所述多个手指抓握住所述工件的状态下，控制所述机器人机构的运动以使至少一个手指的位置变化。
8.一种拾取方法，其中，
检测具备抓握工件的多个手指的机器人机构的所述多个手指抓握所述工件的抓握状态，
基于所述工件的抓握状态的检测结果识别所述多个手指所抓握的工件的数量，
在使所述机器人机构进行了从载置有多个所述工件的载置场所抓握所述工件的动作之后，在识别出的所述工件的数量与预先指定的指定数不同时，控制所述机器人机构的运动以使被抓握住的所述工件的数量达到所述指定数，
包括压力分布传感器，所述压力分布传感器设置于至少一个手指的抓握面，并检测所述工件所接触的所述抓握面的压力分布，
通过抓握数识别模型识别所述工件的个数，所述抓握数识别模型是通过以检测到的压力分布为输入且以由所述多个手指抓握住的所述工件的个数为输出进行学习而得的模型，
基于从驱动方法模型输出的所述驱动方法控制所述机器人机构的运动，所述驱动方法模型是通过以所述压力分布为输入且以由所述多个手指抓握住的所述工件的个数和所述多个手指中的至少一个手指的用于将所述工件的数量设为所述指定数的驱动方法为输出进行学习而得的模型。
CN202180050579.0A 2020-09-09 2021-08-17 机器人系统及拾取方法 Pending CN115916483A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020151539A JP2022045772A (ja) 2020-09-09 2020-09-09 ロボットシステム及びピッキング方法
JP2020-151539 2020-09-09
PCT/JP2021/030017 WO2022054505A1 (ja) 2020-09-09 2021-08-17 ロボットシステム及びピッキング方法

Publications (1)

Publication Number Publication Date
CN115916483A true CN115916483A (zh) 2023-04-04

Family

ID=80631542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180050579.0A Pending CN115916483A (zh) 2020-09-09 2021-08-17 机器人系统及拾取方法

Country Status (6)

Country Link
US (1) US20230294278A1 (zh)
EP (1) EP4212291A1 (zh)
JP (1) JP2022045772A (zh)
CN (1) CN115916483A (zh)
TW (1) TWI784700B (zh)
WO (1) WO2022054505A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ｉｈｉ バラ積みピッキング装置におけるワークピッキング方法
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2016141266A1 (en) * 2015-03-05 2016-09-09 President And Fellows Of Harvard College Compliant adaptive robot grasper
JP2017042859A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
JPWO2019065426A1 (ja) * 2017-09-26 2020-10-15 倉敷紡績株式会社 ロボットハンドおよびロボットハンド制御方法
JP6671694B1 (ja) * 2018-11-30 2020-03-25 株式会社クロスコンパス 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP6870764B2 (ja) 2020-06-23 2021-05-12 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
EP4212291A1 (en) 2023-07-19
US20230294278A1 (en) 2023-09-21
JP2022045772A (ja) 2022-03-22
TWI784700B (zh) 2022-11-21
WO2022054505A1 (ja) 2022-03-17
TW202210253A (zh) 2022-03-16

Similar Documents

Publication Publication Date Title
US11745338B2 (en) Control apparatus, robot, learning apparatus, robot system, and method
US20170249561A1 (en) Robot learning via human-demonstration of tasks with force and position objectives
Zollner et al. Understanding users intention: programming fine manipulation tasks by demonstration
WO2022123849A1 (ja) ロボット、把持力制御装置、把持力制御方法、及び把持力制御プログラム
JP2001179669A (ja) ロボットの制御装置
JP2010064155A (ja) 把持装置
US20220335622A1 (en) Device and method for training a neural network for controlling a robot for an inserting task
EP3900890A1 (en) Picking apparatus, control apparatus, and program
Kelley et al. A robot system which acquires cylindrical workpieces from bins
Moreira et al. Assessment of robotic picking operations using a 6 axis force/torque sensor
CN115194755A (zh) 用于控制机器人将对象插入到插入部中的设备和方法
CN115916483A (zh) 机器人系统及拾取方法
Ali et al. Design and development of smart gripper with vision sensor for industrial applications
WO2022054506A1 (ja) ロボットシステム及びピッキング方法
Romero et al. Modeling and evaluation of human-to-robot mapping of grasps
US20240083023A1 (en) Robot model learning device, robot model machine learning method, recording medium storing robot model machine learning program, robot control device, robot control method, and recording medium storing robot control program
Friedl et al. Experimental Evaluation of Tactile Sensors for Compliant Robotic Hands
JP2004160614A (ja) 自動作業教示システム
WO2021029205A1 (ja) 情報処理装置、情報処理方法、プログラム、およびロボット
Ali et al. Development of Vision Based Smart Gripper for Material Handling Using Internet of Things
Peña et al. Invariant object recognition robot vision system for assembly
Ford et al. Tactile-driven gentle grasping for human-robot collaborative tasks
US20240131699A1 (en) Robot system, learning apparatus, information processing apparatus, learned model, control method, information processing method, method for manufacturing product, and recording medium
WO2023167003A1 (ja) 制御装置、制御方法、及び制御プログラム
US20220335295A1 (en) Device and method for training a neural network for controlling a robot for an inserting task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination