CN109773776B - 把持方法、把持系统以及存储介质 - Google Patents

把持方法、把持系统以及存储介质 Download PDF

Info

Publication number
CN109773776B
CN109773776B CN201811049588.4A CN201811049588A CN109773776B CN 109773776 B CN109773776 B CN 109773776B CN 201811049588 A CN201811049588 A CN 201811049588A CN 109773776 B CN109773776 B CN 109773776B
Authority
CN
China
Prior art keywords
fingers
region
distance
distance information
gripping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811049588.4A
Other languages
English (en)
Other versions
CN109773776A (zh
Inventor
仁科有贵
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109773776A publication Critical patent/CN109773776A/zh
Application granted granted Critical
Publication of CN109773776B publication Critical patent/CN109773776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种把持方法、把持系统以及存储介质，即使存在无法获取三维测量信息的区域，也能够把持对象物。该把持方法使用具备多个手指的多指手(H)把持对象物W。该把持方法包括：距离信息获取步骤，使用三维测量传感器(16)，对包含对象物(W)的区域进行测量并获取三维信息；以及插补步骤，当在区域内存在无法获取三维信息的区域时，划分测量区域和未测量区域，并利用与在手指的开闭方向上隔着未测量区域UA相邻的两个位置对应的距离信息中、与距离较近位置对应的距离信息进行插补。并且，确定用于把持对象物(W)的手指之间的间隔，并基于此对多指手进行控制。

Description

把持方法、把持系统以及存储介质
技术领域
本发明涉及把持方法、把持系统以及存储介质。
背景技术
作为用于使用多指手把持工件的方法，在专利文献1中公开了如下的工件取出方法：基于对工件进行三维测量而获得的工件测量数据以及用于把持工件的手形状数据，求出把持位置姿势。
在该专利文献1中，作为获取工件的三维测量数据的方式，例如记载有具备双镜头或多镜头的立体相机、激光、投影仪等投光部和相机的主动(active)的立体测量方式等。
现有技术文献
专利文献
专利文献1：日本专利第5558585号公报
发明内容
发明所要解决的技术问题
在上述记载那样的立体测量方式中，通常已知存在因发生遮挡而无法获取工件三维测量数据的区域。另外，还已知除了被遮挡的区域以外，还存在由于作为测量对象物的工件的表面状态而无法获取三维测量数据的区域。在这种情况下，即使试图基于工件的测量数据及用于把持工件的手形状数据来求出把持位置姿势，对于无法获取测量数据的区域周边的工件，也无法求出把持位置姿势并且无法把持工件。
因此，本发明的目的在于，提供一种把持方法、把持系统以及存储介质，即使在包含对象物的区域内存在无法获取三维测量信息的区域，也能够对对象物进行把持。
用于解决技术问题的方案
根据本公开的一方面的把持方法，使用具备多个手指的多指手把持对象物，其中，把持方法包括：距离信息获取步骤，针对包含对象物的预定区域，使用三维测量传感器获取包含距离信息的三维信息；插补步骤，当在预定区域内存在无法获取三维信息的区域时，基于三维信息，划分测量区域和未测量区域，并利用与在手指的开闭方向上隔着未测量区域相邻的两个位置对应的距离信息中、与距离较近位置对应的距离信息，对至少一个未测量区域进行插补；间隔确定步骤，基于在距离信息获取步骤中获取的距离信息和在插补步骤中插补的距离信息，确定多个手指之间的间隔；以及对多指手进行控制以使得以所确定多个手指之间的间隔把持对象物的步骤。
根据该方法，当存在无法获取三维信息的未测量区域时，利用表示距离较近的距离信息进行插补，因此即使存在这样的区域，也可以通过对包含对象物的区域内的每个位置确定距离信息并求出把持位置姿势，从而把持对象物。
另外，也可以是，在间隔确定步骤中，基于在距离信息获取步骤中获取的距离信息和在插补步骤中插补的距离信息，将与对象物不干涉的手指之间的间隔确定为多个手指之间的间隔。
根据该方法，即使在包含对象物的区域内存在无法获取三维测量信息的区域，也可以以不损坏对象物的方式确定手指的间隔。
另外，也可以是，把持方法还包括：第二插补步骤，利用与相邻于未测量区域的两个位置对应的距离信息中、与距离较远位置对应的的距离信息，对至少一个未测量区域进行插补；以及把持位置确定步骤，基于在距离信息获取步骤中获取的距离信息和在第二插补步骤中插补的距离信息，确定多个手指把持对象物时的多个手指的位置。
根据该方法，为了确定把持对象物时的手指的位置，使用利用在利用表示距离较远的距离信息进行插补的第二插补步骤中插补的距离信息，因此通过提取对象物的边缘，能够适当地确定把持位置。
另外，也可以是，在把持位置确定步骤中，使用表示对象物形状的数据、表示多个手指的形状的数据以及表示对象物的可把持位置的数据，确定多个手指把持对象物时的多个手指的位置。
根据该方法，使用表示对象物形状的数据、表示多个手指的形状的数据以及表示对象物的可把持位置的数据，因此能够更准确地确定把持时的手指的位置。
另外，也可以是，在插补步骤中，当手指的运转区域包含一个未测量区域和被一个未测量区域划分开的两个测量区域时，利用第一位置处的距离信息和第二位置处的距离信息中、表示距离较近的距离信息，对一个未测量区域进行插补，手指的运转区域包含在把持位置确定步骤中确定的多个手指的位置，第一位置是运转区域内的一个测量区域与未测量区域相邻的位置，第二位置是运转区域内的另一个测量区域与未测量区域相邻的位置。
根据该方法，当包含手指位置的手指工作区域包含一个未测量区域和被该未测量区域划分开的两个测量区域时，使用表示距离较近的距离信息插补未测量区域，因此即使未测量区域中存在对象物，也可以以不损坏对象物的方式进行把持。
另外，也可以是，把持方法还包括：多指手移动步骤，以保持在间隔确定步骤中确定的多个手指之间的间隔的方式，使多指手朝向对象物行进；以及把持步骤，使多个手指之间的间隔改变，并使多个手指移动至在把持位置确定步骤中确定的多个手指的位置，从而把持对象物。
根据该方法，包括以保持所确定的多个手指之间的间隔的方式多指手朝向对象物行进的多指手移动步骤，因此在多指手行进时不会损坏对象物。
需要说明的是，以保持手指的间隔的方式使多指手朝向对象物行进，包括至少在对象物的附近以保持手指的间隔的方式使多指手朝向对象物行进的情况。
另外，也可以是，在把持步骤中，以缩窄多个手指之间的间隔的方式使多个手指移动。
根据该方法，通过缩小多个手指的间隔，可以把持对象物的外缘。
另外，也可以是，在把持步骤中，多个手指中的任一方在从测量区域移动到未测量区域之后，与对象物接触。
根据该方法，多个手指中的任一方从测量区域移动到未测量区域，因此即使未测量区域中存在对象物，也可以在不损坏对象物的情况下进行把持。
另外，也可以是，间隔确定步骤包括如下步骤：基于在距离信息获取步骤中获取的距离信息和在插补步骤中插补的距离信息，判断当多个手指之间的间隔为第一间隔时，对象物与多个手指是否干涉；以及当在判断对象物与多个手指是否干涉的步骤中，判断为对象物与多个手指干涉时，探索第二间隔，第二间隔是对象物与多个手指不干涉的多个手指之间的间隔。
根据该方法，当在多个手指之间的间隔为第一间隔的情况下，判断为对象物与多个手指干涉时，探索多个手指之间的间隔、即对象物不与多个手指干涉的第二间隔，因此可以确定适当的手指之间的间隔。
另外，根据本公开的另一方面的把持系统，具备：多指手，具备用于把持对象物的多个手指；机器人臂，与多指手连接；三维测量传感器，用于针对包含对象物的预定区域获取包含距离信息的三维信息；以及控制器，当在预定区域内存在无法获取三维信息的区域时，基于三维信息，划分测量区域和未测量区域，并利用与在手指的开闭方向上隔着未测量区域相邻的两个位置对应的距离信息中、与距离较近位置对应的距离信息，对至少一个未测量区域进行插补，基于三维测量传感器获取的距离信息和所插补的距离信息，确定多个手指之间的间隔，对多指手进行控制以使得以所确定的多个手指之间的间隔把持对象物。
根据该把持系统，当存在无法获取三维信息的未测量区域时，用与相邻的两个位置对应的距离信息中、表示距离较近的距离信息进行插补，因此即使存在这样的区域，也可以通过对包含对象物的区域内的每个位置确定距离信息并求出把持位置姿势来把持对象物。
另外，根据本公开的另一方面的存储介质，存储有程序，程序用于使用具备多个手指的多指手把持对象物，其中，程序用于使计算机执行：距离信息获取步骤，针对包含对象物的预定区域，使用三维测量传感器获取包含距离信息的三维信息；插补步骤，当在预定区域内存在无法获取三维信息的区域时，基于三维信息，划分测量区域和未测量区域，并利用与在手指的开闭方向上隔着未测量区域相邻的两个位置对应的距离信息中、与距离较近位置对应的距离信息，对至少一个未测量区域进行插补；间隔确定步骤，基于在距离信息获取步骤中获取的距离信息和在插补步骤中插补的距离信息，确定多个手指之间的间隔；以及对多指手进行控制以使得以所确定多个手指之间的间隔把持对象物的步骤。
根据该程序，当存在无法获取三维信息的未测量区域时，用与相邻的两个位置对应的距离信息中、表示距离较近的距离信息进行插补，因此即使存在这样的区域，也可以通过对包含对象物的区域内的每个位置确定距离信息并求出把持位置姿势来把持对象物。
发明效果
根据本发明，能够提供一种把持方法、把持系统以及存储介质，即使在包含对象物的区域内存在无法获取三维测量信息的区域，也能够对对象物进行把持。
附图说明
图1是本实施方式的把持系统10。
图2是本实施方式的把持系统10的功能框图。
图3是本实施方式的把持方法的流程图。
图4是对散装的多个工件W进行摄像而获得的距离图像数据的一例。
图5是预定截面中的距离数据的分布曲线图。
图6是更新多指手H的张开宽度的子步骤的流程图。
图7是示出多指手H的各手指L及R的移动方向与工件W的位置关系的图。
图8是包括八处未测量区域UA1～UA8的距离图像数据DD。
图9是第三实施方式的把持方法的流程图。
图10是步骤S92及S94的插补方法的比较图。
附图标记说明：
10...把持系统；12...机器人控制部；14...信息处理装置；16...三维测量传感器；18...信息处理部；20...存储介质；22...把持位置姿势识别部；24...距离图像插补部；26...手张开宽度更新部；28...最佳把持位置姿势计算部；DB...把持位置数据库；DD...距离图像数据；E...边缘；H...多指手；HD...手形状数据；R...机器人；UA...未测量区域；W...工件；WD...工件形状数据。
具体实施方式
[第一实施方式]
首先，使用图1对应用本发明的实施方式的一例进行说明。
图1是本实施方式的把持系统10(“把持系统”的一例)的硬件结构图。作为应用本发明的场景的一例，对使用具备与多指手H连接的机器人臂的机器人R对工件W(“对象物”的一例)进行把持时的把持方法进行说明。
首先，使用三维测量传感器16(“三维测量传感器”的一例)对包含工件W的区域进行测量，并针对区域内的每个位置获取包含距离数据(“距离信息”的一例)的三维信息。
此时，由于各种原因，有时产生无法获取距离数据的未测量区域UA(“未测量区域”的一例)。例如，工件W的边缘附近是通常难以获取距离数据的区域。
当产生了未测量区域UA时，使用相邻的能够获取三维信息的区域(“测量区域”的一例)的距离数据，插补未测量区域UA的距离数据。此时，用与相邻的两个位置对应的距离数据中的、较近距离的距离数据进行插补。
例如，当在放置于桌子上的工件W的边缘附近存在未测量区域UA时，由于工件W相比于桌子距离更近，因此相当于用工件W的距离数据对未测量区域UA进行插补。因此，未测量区域UA像工件W所存在的区域那样被处理。
然后，使用插补后的三维信息，确定多指手H的手指的间隔。通过使用插补后的三维信息，即使工件W存在于未测量区域UA，也能够在不损坏工件W的情况下对工件W进行把持。
需要说明的是，多指手H的手指的数量只要是多个，则可以是任何数量。例如，也可以是三根以上。
另外，确定手指的间隔包括直接或间接地确定表示手指间隔的信息。例如，当多指手H的手指间隔根据某个信息变动时，确定手指的间隔包括确定该信息。
另外，多指手H无论是以缩小手指间隔的方式移动各手指而把持工件W的所谓外径把持的类型，还是以扩大手指间隔的方式移动各手指而把持工件W的所谓内径把持的类型，都能够应用本实施方式的把持方法。
另外，未必需要对未测量区域UA的整个区域进行插补。也可以仅对把持工件W时的多指手H的各手指的工作方向进行插补。例如，在多指手H的各手指一维地移动而与工件W接触的情况下，也可以仅对各手指的工作区域、即通过各手指的移动方向的各截面的未测量区域UA插补距离数据。
另外，不需要对所有的未测量区域UA进行插补。也可以仅对用于把持工件W所需的未测量区域UA(例如，工件W的边缘附近的未测量区域UA)进行插补而不对一部分未测量区域UA(例如，由于面积小而可以忽略的未测量区域UA、位于远离工件W的位置的未测量区域UA)进行插补。
[第二实施方式]
以下，参照附图说明本发明的第二实施方式。需要注意的是，对同一要素标注相同的附图标记，省略或简化重复的说明。
图1是本实施方式的把持系统10的硬件结构图。另外，图2是该把持系统10的功能框图。
该把持系统10具备机器人R。该机器人R是多轴多关节型机器人臂，具备固定于地面的基座、作为可动轴发挥功能的多个接头、根据接头的可动轴旋转驱动的多个连杆以及用于旋转驱动各连杆的伺服电机。另外，在前端的连杆上连结有具备两根手指的多指手H(“多指手”的一例)。多指手H的各手指构成为可分别一维地移动，并且能够基于从机器人控制部12接收到的指令，改变两根手指的间隔。
机器人控制部12基于从信息处理装置14接收的指定把持位置姿势的信息，生成并向机器人R及多指手H输出用于对机器人R及多指手H进行控制的控制指令。
三维测量传感器16(“三维测量传感器”的一例)对包含作为把持对象物的工件W(“对象物”的一例)的区域进行摄像，并针对每个像素(或者称为像元)输出三维测量传感器16与存在于该区域的物体的距离数据。这里，将从三维测量传感器16与各像素对应地输出的距离数据(“距离信息”的一例)的集合(包括未获得距离信息的像素的信息)称为距离图像数据DD(“三维信息”的一例)。
三维测量传感器16只要关于预定区域内的多个位置能够获取表示距作为基准的位置的距离的信息，也可以是任何方式。例如，能够使用如下方式作为三维测量传感器16：照射激光并基于其反射光的接收时间或相位等获取距离的TOF(Time Of Flight：飞行时间)方式、照射具有预定图案的激光光线并基于反射光的图案测定距离的图案照射方式、使用照射红外线激光并基于其反射光测定距离的激光测距仪的三维测量传感器、使用利用双镜头或多镜头的照相机测量距离的立体照相机的三维测量传感器。
另外，三维测量传感器16既可以固定于工件W的上方，也可以固定于机器人R的前端的连杆等。
信息处理装置14例如能够使用通用的个人计算机作为硬件。该信息处理装置14由信息处理部18(“控制器”的一例)和存储介质20构成，其中信息处理部18具备用于实施本实施方式所示的各种运算处理的未图示的处理器、临时存储装置以及接口，存储介质20用于存储多指手H的手形状数据HD、工件W的工件形状数据WD、用于实现本实施方式所示的各处理的计算机可读程序等。
信息处理部18的处理器读出存储在存储介质20中的程序(包括规定由本公开的各流程图等所示的运算处理的程序)，或者使用接口从外部获取程序并执行。临时存储装置由SRAM(Static Random Access Memory：静态随机存取存储器)等构成，临时存储程序的一部分、运算数据等。
存储介质20是在使用计算机可读取的状态下，通过电、磁、光、机械、化学方式或其组合来存储程序等信息的介质，例如包括CD、DVD、磁盘、MO、半导体存储器(NOR闪存、NAND闪存、MRAM等)。
如图2的功能框图所示，信息处理部18具备把持位置姿势识别部22、距离图像插补部24、手张开宽度更新部26、最佳把持位置姿势计算部28。
把持位置姿势识别部22基于距离图像数据DD、从存储介质20读出的手形状数据HD及工件形状数据WD，识别多指手H的各手指与工件W接触而进行把持时的把持位置姿势。
距离图像插补部24插补未测量区域UA的距离信息，生成插补后的距离图像数据DD。
手张开宽度更新部26基于在距离图像插补部24插补后的距离图像数据DD，更新多指手H的张开宽度的设定值。
最佳把持位置姿势计算部28计算由把持位置姿势识别部22设定的把持位置姿势以及由手张开宽度更新部26设定的多指手H的张开宽度，作为最佳的把持位置姿势。
需要说明的是，信息处理部18的临时存储装置(未图示)用于临时存储从三维测量传感器16及存储介质20接收到的各种数据、在各框22～28中进行运算处理的数据等。
接着，使用图3说明本实施方式的把持方法。图3是本实施方式的把持方法的流程图。
需要说明的是，在本实施方式中，作为把持对象物的工件W是三维形状确定的部件、基本三维形状共通但具有个体差异的物体(例如，相同种类的鱼、水果、食物等)。这些工件W的三维的工件形状数据WD被预先存储于存储介质20。
另外，把持系统10不指定地从散装的多个工件W中选择一个工件W并进行把持。但是，本发明并不限于此，例如，也可以构成为，把持系统10依次把持由传送带输送来的多个工件W。
首先，三维测量传感器16对包含至少一个工件W的区域进行摄像，并获取距离图像数据DD(步骤S31)。该距离图像数据DD能够作为距离越近则亮度越高的二维图像显示在未图示的显示装置上。
这里，有时无法获取关于一部分像素的距离数据。例如，在由立体照相机的死角所引起的遮挡、因物体表面的法线具有与传感器的摄像表面的法线接近垂直的角度而未获得有意义的反射光的情况下，无法获取距离数据。进而，当对低反射物体、相反地对镜面反射物体进行摄像时，也无法获取距离数据。距离图像数据DD也包括由于这样的原因而无法获取距离数据的像素的信息。
图4是将对散装的多个工件W(水果中的桔子)进行摄像而获得的距离图像数据显示为距离越近则亮度越高的二维图像的示例。在该示例的情况下，多个工件W的右侧的边缘附近包含由于遮挡等而无法获取距离数据的未测量区域UA。
接着，把持位置姿势识别部22插补未测量区域UA的距离数据(步骤S32)。该步骤是为了在计算工件W的位置姿势(步骤S33)时，执行距离图像数据DD与工件形状数据WD的模式匹配等而插补未测量区域UA的距离数据的步骤，可以使用已知的各种插补方法。另外，该步骤中的未测量区域UA的插补方法也可以不同于后面的步骤S35中的未测量区域UA的插补方法。
接着，把持位置姿势识别部22从存储介质20读出工件形状数据WD，并基于在步骤S32中插补了未测量区域UA的距离数据的距离图像数据DD和工件形状数据WD，提取存在于距离图像数据DD中的多个工件W，并计算该工件W的位置及姿势(步骤S33)。例如，可以使用基于已知三维形状特征的方法、基于二维投影的方法来执行该步骤。
然后，如下计算多指手H对工件W的把持位置姿势(步骤S34)。首先，把持位置姿势识别部22从把持位置数据库DB获取指定了可把持工件W的位置的把持位置信息。把持位置信息是使用示教器、把持模拟器等，指定能够把持已知工件W的位置的信息。把持位置信息也可以针对一个工件W包括多处可把持的位置。另外，也可以包括与每个可把持位置相关联的得分信息。把持位置信息是在具备两个手指的多指手H的情况下由两个可把持位置对构成的信息。
另外，把持位置姿势识别部22从存储介质20读出手形状数据HD。然后，基于在步骤S33中提取的工件W的位置姿势信息、从把持位置数据库DB读出的把持位置信息以及手形状数据HD，计算多指手H的各手指与工件W接触而进行把持时的把持位置姿势。这里，也判定多指手H是否与工件W周围的物体、存放工件W的容器干涉，并将产生干涉的把持位置姿势从把持位置姿势中排除。这样计算出的把持位置姿势是由六维信息及一维信息构成的七维信息，其中六维信息指定相当于机器人R的前端部的多指手H的位置及姿势，一维信息规定多指手H的手指的张开宽度。也可以计算多个把持位置姿势以作为把持位置姿势的候补。
接着，距离图像插补部24为了在接下来的步骤S36中执行的干涉判定，用距离数据对未测量区域UA进行插补(步骤S35)。
具体而言，基于在步骤S34中把持位置姿势识别部22计算出的把持位置姿势中的、包括多指手H的各手指的工作区域的截面上的距离数据，用未测量区域UA与测量区域的边界处的两个距离数据中的、距离较近的距离数据，插补该截面中的未测量区域UA的距离信息。
图5的(a)示出这种截面的距离数据的分布曲线图。横轴表示以多指手H的一个手指的工作方向上的像素为单位的位置，并且在多指手H的手指的工作区域内包含未测量区域UA。因此，在工作区域内包含被未测量区域UA分开的两个测量区域。
纵轴表示距离数据。在图中，未测量区域UA左侧的测量区域的距离较近(距离数据的值较小)。另一方面，未测量区域UA右侧的测量区域的距离较远(距离数据的值较大)。这表示在距离较近的区域中存在工件W。
图5的(b)示出了基于步骤S35的插补后的分布曲线图。示出了，用左侧的测量区域与未测量区域UA相邻的位置(“第一位置”的一例)处的距离数据和右侧的测量区域与未测量区域UA相邻的位置(“第二位置”的一例)处的距离数据中的、距离较近(距离数据的值较小)的距离数据，对截面上的未测量区域UA进行插补。在多数情况下，工件W比周边突出，因此工件W的距离比周边近(距离数据小)。因此，通过这样进行插补，能够生成将未测量区域UA像工件W所存在的区域那样进行处理的距离图像数据DD。
需要说明的是，在多指手H的各手指具有对应于多个像素的宽度的情况下，对于通过各像素的多个截面的分布曲线图，同样地插补未测量区域UA的距离数据。例如，在多指手H的各手指具有对应于五个像素的宽度的情况下，对于五个截面插补未测量区域UA的距离数据。
作为比较例，图5的(c)示出用未测量区域UA和测量区域的边界的两个距离数据中较远(距离数据的值较大)的距离数据对未测量区域UA进行插补时的分布曲线图。
接着，手张开宽度更新部26基于插补了未测量区域UA的距离数据的距离图像数据DD，更新多指手H的张开宽度(“多个手指的间隔”的一例)(步骤S36)。
图6是手张开宽度更新部26更新多指手H的张开宽度的步骤S36的子步骤的流程图。
首先，判断在步骤S34中设定的多指手H的当前时刻的张开宽度(“第一间隔”的一例)是否在多指手H可采取的张开宽度的最大值以下(子步骤S61)。当多指手H的张开宽度在多指手H可采取的张开宽度的最大值以下时(是)，前进到子步骤S62。
然后，判断当前时刻的张开宽度的多指手H与在步骤S35中插补后的距离图像数据DD是否干涉(子步骤S62)。具体而言，执行以下流程。
首先，计算多指手H的各手指在由构成距离图像数据DD的图像坐标定义的区域中所占的手指区域。
这里，通过以下透视投影的公式，求出将由三维位置坐标(X、Y、Z)指定的点投影到由构成距离图像数据DD的图像坐标所规定平面上时的图像坐标(x、y)。
【公式1】
Figure BDA0001794175430000141
这里，f是三维测量传感器16的焦点距离。另外，Cx、Cy是三维测量传感器16的中心的图像坐标。
因此，通过基于在步骤S34中计算出的多指手H的把持位置姿势计算多指手H的各手指顶点的三维位置坐标，并对各顶点应用上述公式来计算其在图像坐标上的位置，从而能够计算由各顶点在图像坐标上的位置包围的区域以作为多指手H的各手指所占的手指区域。
然后，使用计算出的多指手H的手指区域和插补后的距离图像数据DD，判断多指手H是否发生干涉(子步骤S62)。例如，在距离图像数据DD中，通过判断有可能与多指手H干涉的区域(例如，距离数据为预定值以下的区域)和多指手H的手指区域是否重叠，从而判断是否存在多指手H的干涉。
当判断为不干涉(否)时，将此时的多指手H的张开宽度登记为最佳值(“第二间隔”的一例)(子步骤S64)，子流程结束。
当判断为干涉(是)时，在子步骤S63中使多指手H的张开宽度的设定值增加预定量(例如对应于五个像素)，之后再次执行子步骤S61。
在子步骤S61中，在当前时刻的多指手H的张开宽度的设定值在多指手H可采取的张开宽度的最大值以下时(是)，反复执行子步骤S62和之后步骤。
另一方面，在当前时刻的多指手H的张开宽度的设定值超过多指手H可采取的张开宽度的最大值时(否)，登记为不存在最佳的张开宽度(子步骤S65)，子程序结束。
之后，选择在步骤S34中设定的多指手H的位置以及姿势和在子步骤S64中登记的多指手H的张开宽度，作为用于把持工件W的最佳的把持位置姿势(步骤S37)。这里，当在步骤S34中设定的多指手H的位置及姿势有多个候补时，从中选择最好的把持位置姿势。例如，以与三维测量传感器16的距离(越近则越优选)、多指手H的倾斜(越不倾斜则越优选)、多指手H所占区域中的未测量区域UA的面积(越小则越优选)等为指标，在多个把持位置姿势之间进行优先级顺序设置，从中选择最好的把持位置姿势。
接着，从信息处理部18向机器人控制部12输出最佳的把持位置姿势信息(步骤S38)。
机器人控制部12输出控制指令，以使得机器人R及多指手H采取所输入的最佳把持位置姿势。
按照该控制指令，机器人R及多指手H以在步骤S37中作为最佳的把持位置姿势所选择的多指手H的张开宽度接近工件W，并采取最佳的把持位置姿势。然后，基于从机器人控制部12输出的控制指令，缩小多指手H的手指的间隔并把持工件W。
使用附图说明这种本实施方式的把持方法的效果。
图7示出各手指L及R在包含多指手H的各手指L及R的工作区域的截面中的移动方向、工件W的实际截面(虚线)、插补了未测量区域UA的截面(实线)。图7的(a)示出比较例的情况下的把持方法，图7的(b)示出本实施方式的把持方法。
在比较例的情况下，对未测量区域UA进行插补的结果是，经插补使得工件W的宽度相比于实际的工件W变窄。因此，在多指手H朝向工件W行进时，手指L与工件W碰撞。因此，造成工件W损坏、作业工序停止等巨大的损害。
在本实施方式的情况下，在确定了用于使用多指手H把持工件W的把持位置姿势之后，用相邻的距离数据中的距离较近(较小)的距离数据对沿着多指手H的开闭方向的轴的未测量区域UA的整个范围进行插补，并且基于该插补后的距离图像数据DD，也以不与工件W等干涉的方式设定多指手H的张开宽度。然后，通过至少在工件W的附近保持该张开宽度以上的张开宽度而行进到工件W，之后缩小手H的手指间隔，从而能够在不损坏工件W的情况下进行把持。
需要说明的是，以上虽描述了外径把持的情况，但在内径把持的情况下，只要改变为在子步骤S61中判断多指手H的张开宽度是否为最小值以上，或者改变为在子步骤S63中减小多指手H的张开宽度即可。
另外，在子步骤S62中，在判断为多指手H与插补后的距离图像数据DD不干涉(否)后，也可以更详细地探索最佳的张开宽度。例如，通过边使多指手H减少比子步骤S63中规定的张开宽度增加量小的量，边执行子步骤S62，能够探索不与插补后的距离图像数据DD干涉的最小张开宽度。
另外，也可以从一开始就将子步骤S63的张开宽度的增加量设为可设定的最小值，探索不与插补后的距离图像数据DD干涉的最小张开宽度。
另外，在本实施方式的情况下，多指手H为两根手指，因此更新多指手H的张开宽度的一维信息，设定了最佳的手指间隔，但并不限于此，也可以将本实施方式的把持方法应用于像能够对每个手指独立地设定位置那样的多指手H。在这种情况下，也可以代替更新张开宽度，而针对每个手指确定不与插补后的距离图像数据DD干涉的位置。例如，在三根手指的情况下，也可以将包含各手指的工作区域的各截面与该截面中的插补后的距离图像数据DD进行比较，并分别设定不与工件W干涉的各手指的位置。
另外，也可以使多指手H移动，以使得登记为最佳值的多指手H的张开宽度至少在工件W的附近在外径把持的情况下保持该张开宽度以上、在内径把持的情况下保持该张开宽度以下。
需要说明的是，根据载置工件W的状况，有时在工件W的边缘以外的区域中也会产生未测量区域。以下，对在这种情况下应用本实施方式的把持方法的示例进行说明。
图8的(a)示出在距离图像数据DD中存在八处未测量区域UA1～UA8的情况。另外，线段V表示包含多指手H的手指的可动区域的线段。
图8的(b)示出包含多指手H的手指的工作区域的截面中的距离数据的分布曲线图。纵轴表示距离数据，越靠近附图的下面则距离数据的值越大、即距离越远。另外，未测量区域UA1～UA8的距离数据不明确。
图8的(c)示出步骤S35中的插补后的分布曲线图与多指手H的左手指L及右手指R干涉的张开宽度的情况。如该分布曲线图所示，各未测量区域UA1～UA8使用与测量区域的边界处的两个距离数据中较近(较小)的距离数据来进行插补。另一方面，根据在步骤S34中计算出的把持位置姿势，可知多指手H的左手指L及右手指R的位置，因此能够在子步骤S62中判断在该张开宽度下是否发生干涉。这里，未测量区域UA1～UA3及UA6～UA8是两端的距离数据几乎没有差异且距离远(距离数据大)的区域。因此，在进行把持时，是不与多指手H干涉的未测量区域。另一方面，UA4及UA5是因相邻距离数据的至少一个的值小而距离近且有干涉可能性的未测量区域，因此可以说需要以与其不干涉的方式增大多指手H的张开宽度。
图8的(d)示出增大多指手H的张开宽度直到插补后的距离图像数据DD不与多指手H干涉的情况。
这样，使用本实施方式的把持方法所示的插补方法，对于手指工作的区域中所包含的未测量区域UA，一律地即不管判断为是否是位于工件W的边缘的未测量区域UA地插补距离数据，从而也能够确定不损坏工件W的适当的张开宽度。另一方面，也可以仅对预定的(例如距离近的)未测量区域UA进行插补。
另外，在设定张开宽度时，也可以考虑工件W周边的状况。例如，在图8中，在未测量区域UA7的至少一方的距离较近(距离数据较小)的情况下，也可以以多指手H与其不干涉的方式设定张开宽度。
另外，子步骤S62中的多指手H与插补后的距离图像数据DD的干涉判定也可以使用其他方法来执行。例如，也可以基于多指手H的各手指的工作方向上的距离数据的分布曲线图(包含未测量区域UA)计算工件W的宽度，并与此时的多指手H的张开宽度进行比较。
另外，步骤S35中的距离图像数据DD的插补也可以不一定使用多指手H的工作方向上的距离数据。例如，也可以用与周边的多个位置对应的多个距离数据中的、较近位置的距离数据来进行插补。
[第三实施方式]
以下，对第三实施方式进行说明。需要注意的是，对于与其他实施方式共通或类似的部分简化说明，并以与其他实施方式不同的部分为中心进行说明。
在第二实施方式中，工件W的形状是已知的，因此在设定把持位置姿势等时，可以利用工件形状数据WD。另一方面，在本实施方式中，对工件W的形状未知时的把持方法进行说明。但是，也可以对形状已知的工件W应用本实施方式的把持方法。
图9是本实施方式的把持方法的流程图。
首先，使用三维测量传感器16，获取距离图像数据DD(步骤S91)。
接着，为了计算把持位置姿势，对获得的距离图像数据DD内的未测量区域UA插补距离数据(步骤S92)。具体而言，基于包含多指手H的手指工作区域的截面上的距离数据，使用未测量区域UA与测量区域的边界处的两个距离数据中较远的一个(距离数据的值较大的一个)对未测量区域UA进行插补。例如，对于如图5的(a)那样的截面的分布曲线图，如图5的(c)所示那样插补距离数据。
接着，计算多指手H的把持位置姿势(步骤S93)。把持位置姿势识别部22在步骤S92中，基于插补了未测量区域UA的距离数据的距离图像数据DD，获取工件W的边缘形状。另外，从存储介质20读出手形状数据HD，并计算多指手H用于把持工件W的把持位置姿势。这里，计算出的把持位置姿势是由六维信息及一维信息构成的七维信息，其中六维信息指定相当于机器人R的前端部的多指手H的位置及姿势，一维信息规定多指手H的手指的张开宽度。也可以计算多个把持位置姿势。
之后的步骤S94～S97与图3的步骤S35～S38(以及图6所示的子步骤)相同，因此省略其说明。通过这些步骤，能够确定用于把持工件W的最佳的把持位置姿势。
在这种把持方法中，在步骤S92中，首先，基于包含未测量区域UA的距离图像数据DD，以使三维测量传感器16与未测量区域UA的距离变长的方式(距离数据变大的方式)插补距离数据(图5的(c))，计算可把持的一个或多个把持位置姿势(步骤S93)，接着，基于包含相同的未测量区域UA的距离图像数据DD，以使三维测量传感器16与未测量区域UA的距离变短的方式(距离数据变小的方式)插补距离数据(步骤S94、图5的(b))，确定多指手H的张开宽度(步骤S95)。
以下，使用附图对使用通过根据目的而不同的插补方法进行了插补的距离图像数据DD的效果进行说明。
图10示出在对图4中的区域AR应用本实施方式所示的插补方法时所能够提取的边缘E。图10的(a)是能够通过步骤S92的插补提取的边缘E，图10的(b)是能够通过步骤S94的插补提取的边缘E。三维测量传感器16与工件W的距离通常小于三维测量传感器16与载置有工件W的面的距离。因此，未测量区域UA容易形成于工件W的表面(距离近的或者距离数据小的区域)与载置有工件W的面(距离远的或者距离数据大的区域)之间的间隙。而且，在工件W的表面中三维测量传感器16与工件W的距离恒定的曲线通常是平滑的，因此工件W的测量区域与未测量区域UA的边界容易变得平滑。
因此，如图10的(a)所示，以将工件W的测量区域与未测量区域UA的边界识别为边缘E的方式进行插补，从而能够在提取边缘E时使用多指手H可把持的位置。
另一方面，在判断干涉可能性时，为了避免干涉的风险，优选地，对于与工件W相邻的未测量区域UA，处理为与工件W同样地距离较近(数据较小)的区域，并设定多指手H的张开宽度。因此，如图10的(b)所示，以将未测量区域UA和不与工件W相邻的测量区域的边界识别为边缘E的方式进行插补，从而能够选择避免干涉的多指手H的张开宽度。
如上所述，在设定用于把持工件W的多指手H的把持位置姿势时，首先，以将工件W和未测量区域的边界识别为边缘的方式对距离图像数据DD进行了插补。因此，与以距离数据从工件W到载置有工件W的面连续变化的方式对未测量区域进行插补的情况相比，容易检测出距离数据较大变化的边缘E。因此，能够识别工件W的形状，并指定可由多指手H把持的一个或多个部位。但是，本实施方式并不限于此，也可以指定可通过其他方法把持工件W的一个或多个部位。
另一方面，在确定工件W和多指手H的各手指的张开宽度时，通过在未测定区域UA插补与工件W相同的距离数据，能够抑制工件W和多指手H的各手指的干涉风险。
这样，当在距离图像数据DD中存在未测量区域UA时，制作并根据目的区别使用基于两种插补的距离图像数据DD(基于包括工件W在内的具有与工件W同等的距离数据的区域扩大的插补的距离图像数据DD、基于包括工件W在内的具有与工件W同等的距离数据的区域缩小的插补的距离图像数据DD)，因此能够实现更优选的工件W的把持方法。
需要说明的是，在本说明书中，“部件”、“单元”、“流程”并不仅仅是指物理结构，也包括通过软件实现该“部件”等所进行的处理的情况。另外，可以由两个以上的物理结构、装置执行一个“部件”等、装置所进行的处理，也可以由一个物理单元、装置执行两个以上的“部件”等、装置所进行的处理。另外，以上的实施方式是用于说明本发明的例示，并不旨在将本发明仅限于那些实施方式。
另外，本发明可以在不脱离其主旨的情况下，进行各种变形。例如，可以在本领域技术人员通常的创作能力的范围内，将某个实施方式中的一部分构成要素与其他实施方式组合。进而，也可以在本领域技术人员通常的创作能力的范围内，改变各流程图所示的各步骤的顺序。例如，也可以同时执行步骤S92和步骤S94。
上述实施方式的一部分或全部也可以记载为以下附记，但并不限于此。
(附记1)
一种把持方法，使用具备多个手指的多指手把持对象物，其中，所述把持方法包括：
距离信息获取步骤，针对包含所述对象物W的预定区域，使用三维测量传感器16获取包括距离信息的三维信息；
插补步骤，当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，划分测量区域和未测量区域UA，并利用与在所述手指的开闭方向的轴线上隔着所述未测量区域UA而相邻的两个位置对应的所述距离信息中、表示距离较近的所述距离信息，对至少一个所述未测量区域UA进行插补；
间隔确定步骤，基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，确定所述多个手指之间的间隔；以及
对所述多指手进行控制以使得以所确定所述多个手指之间的间隔把持所述对象物W的步骤一种把持方法，使用具备多个手指的多指手把持对象物W，其中，所述把持方法包括：
距离信息获取步骤，针对包含所述对象物W的预定区域，使用三维测量传感器16获取包括距离信息的三维信息；
插补步骤，当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，划分测量区域和未测量区域UA，并利用与在所述手指的开闭方向的轴线上隔着所述未测量区域UA而相邻的两个位置对应的所述距离信息中、表示距离较近的所述距离信息，对至少一个所述未测量区域UA进行插补；
间隔确定步骤，基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，确定所述多个手指之间的间隔；以及
对所述多指手进行控制以使得以所确定所述多个手指之间的间隔把持所述对象物W的步骤。
(附记2)
一种把持系统10，具备：
多指手，具备用于把持对象物W的多个手指；
机器人臂，与所述多指手H连接；
三维测量传感器16，用于针对包含所述对象物W的预定区域获取包括距离信息的三维信息；以及
控制器18，
当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，所述控制器18划分测量区域和未测量区域UA，并利用与在所述手指的开闭方向的轴线上隔着所述未测量区域UA而相邻的两个位置对应的所述距离信息中、表示距离较近的所述距离信息，对至少一个所述未测量区域UA进行插补，
所述控制器18基于由所述三维测量传感器16获取的距离信息和所插补的距离信息，确定所述多个手指之间的间隔，
所述控制器18对所述多指手H进行控制以使得以所确定的所述多个手指之间的间隔把持所述对象物W。
(附记3)
一种存储介质，存储有程序，所述程序用于使用具备多个手指的多指手H把持对象物W，其中，所述程序用于使计算机执行：
距离信息获取步骤，针对包含所述对象物W的预定区域，使用三维测量传感器16获取包括距离信息的三维信息；
插补步骤，当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，划分测量区域和未测量区域UA，并利用与在所述手指的开闭方向的轴线上隔着所述未测量区域UA而相邻的两个位置对应的所述距离信息中、表示距离较近的所述距离信息，对至少一个所述未测量区域UA进行插补；
间隔确定步骤，基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，确定所述多个手指之间的间隔；以及
对所述多指手H进行控制以使得以所确定所述多个手指之间的间隔把持所述对象物W的步骤。

Claims (11)

1.一种把持方法，使用具备多个手指的多指手把持对象物，其中，所述把持方法包括：
距离信息获取步骤，针对包含所述对象物的预定区域，使用三维测量传感器获取包含距离信息的三维信息；
插补步骤，当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，划分测量区域和未测量区域，并利用与在所述手指的开闭方向上隔着所述未测量区域相邻的两个位置对应的所述距离信息中的与距离较近位置对应的所述距离信息，对至少一个所述未测量区域进行插补；
间隔确定步骤，基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，确定所述多个手指之间的间隔；以及
对所述多指手进行控制以使得以所确定的所述多个手指之间的间隔把持所述对象物的步骤。
2.根据权利要求1所述的把持方法，其中，
在所述间隔确定步骤中，基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，将与所述对象物不干涉的手指之间的间隔确定为所述多个手指之间的间隔。
3.根据权利要求1或2所述的把持方法，其中，
所述把持方法还包括：
第二插补步骤，利用与相邻于所述未测量区域的两个位置对应的所述距离信息中的与距离较远位置对应的所述距离信息，对至少一个所述未测量区域进行插补；以及
把持位置确定步骤，基于在所述距离信息获取步骤中获取的距离信息和在所述第二插补步骤中插补的距离信息，确定所述多个手指把持所述对象物时的所述多个手指的位置。
4.根据权利要求3所述的把持方法，其中，
在所述把持位置确定步骤中，使用表示所述对象物形状的数据、表示所述多个手指的形状的数据以及表示所述对象物的可把持位置的数据，确定所述多个手指把持所述对象物时的所述多个手指的位置。
5.根据权利要求3所述的把持方法，其中，
在所述插补步骤中，当所述手指的运转区域包含一个未测量区域和被所述一个未测量区域划分开的两个测量区域时，利用第一位置处的所述距离信息和第二位置处的所述距离信息中的距离较近位置处的所述距离信息，对所述一个未测量区域进行插补，所述手指的运转区域包含在所述把持位置确定步骤中确定的所述多个手指的位置，所述第一位置是所述运转区域内的一个所述测量区域与所述未测量区域相邻的位置，所述第二位置是所述运转区域内的另一个所述测量区域与所述未测量区域相邻的位置。
6.根据权利要求3所述的把持方法，其中，
所述把持方法还包括：
多指手移动步骤，以保持在所述间隔确定步骤中确定的所述多个手指之间的间隔的方式，使所述多指手朝向所述对象物行进；以及
把持步骤，使所述多个手指之间的间隔改变，并使所述多个手指移动至在所述把持位置确定步骤中确定的所述多个手指的位置，从而把持所述对象物。
7.根据权利要求6所述的把持方法，其中，
在所述把持步骤中，以缩窄所述多个手指之间的间隔的方式使所述多个手指移动。
8.根据权利要求6所述的把持方法，其中，
在所述把持步骤中，所述多个手指中的任一手指在从所述测量区域移动到所述未测量区域之后与所述对象物接触。
9.根据权利要求1或2所述的把持方法，其中，
所述间隔确定步骤包括如下步骤：
基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，判断当所述多个手指之间的间隔为第一间隔时所述对象物与所述多个手指是否干涉；以及
当在判断所述对象物与所述多个手指是否干涉的步骤中判断为所述对象物与所述多个手指干涉时，探索第二间隔，所述第二间隔是所述对象物与所述多个手指不干涉的所述多个手指之间的间隔。
10.一种把持系统，具备：
多指手，具备用于把持对象物的多个手指；
机器人臂，与所述多指手连接；
三维测量传感器，用于针对包含所述对象物的预定区域获取包括距离信息的三维信息；以及
控制器，当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，划分测量区域和未测量区域，并利用与在所述手指的开闭方向上隔着所述未测量区域相邻的两个位置对应的所述距离信息中的与距离较近位置对应的所述距离信息，对至少一个所述未测量区域进行插补，基于所述三维测量传感器获取的距离信息和所插补的距离信息，确定所述多个手指之间的间隔，对所述多指手进行控制以使得以所确定的所述多个手指之间的间隔把持所述对象物。
11.一种存储介质，存储有程序，所述程序用于使用具备多个手指的多指手把持对象物，其中，所述程序用于使计算机执行：
距离信息获取步骤，针对包含所述对象物的预定区域，使用三维测量传感器获取包含距离信息的三维信息；
插补步骤，当在所述预定区域内存在无法获取所述三维信息的区域时，基于所述三维信息，划分测量区域和未测量区域，并利用与在所述手指的开闭方向上隔着所述未测量区域相邻的两个位置对应的所述距离信息中的与距离较近位置对应的所述距离信息，对至少一个所述未测量区域进行插补；
间隔确定步骤，基于在所述距离信息获取步骤中获取的距离信息和在所述插补步骤中插补的距离信息，确定所述多个手指之间的间隔；以及
对所述多指手进行控制以使得以所确定的所述多个手指之间的间隔把持所述对象物的步骤。
CN201811049588.4A 2017-11-14 2018-09-10 把持方法、把持系统以及存储介质 Active CN109773776B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-218956 2017-11-14
JP2017218956A JP6902208B2 (ja) 2017-11-14 2017-11-14 把持方法、把持システム及びプログラム

Publications (2)

Publication Number Publication Date
CN109773776A CN109773776A (zh) 2019-05-21
CN109773776B true CN109773776B (zh) 2022-02-18

Family

ID=63637780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811049588.4A Active CN109773776B (zh) 2017-11-14 2018-09-10 把持方法、把持系统以及存储介质

Country Status (4)

Country Link
US (1) US10888995B2 (zh)
EP (1) EP3482885B1 (zh)
JP (1) JP6902208B2 (zh)
CN (1) CN109773776B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6687657B2 (ja) * 2018-03-20 2020-04-28 ファナック株式会社 センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法
US10977480B2 (en) * 2019-03-27 2021-04-13 Mitsubishi Electric Research Laboratories, Inc. Detection, tracking and 3D modeling of objects with sparse RGB-D SLAM and interactive perception
EP3991924A4 (en) * 2019-08-15 2023-04-05 OMRON Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US11745337B2 (en) 2019-08-29 2023-09-05 Kabushiki Kaisha Toshiba Handling device, control device, and computer program product
EP4046473A1 (en) * 2019-11-12 2022-08-24 Bright Machines, Inc. A configurable object application handler for automated assembly
CN114845844B (zh) 2019-12-17 2023-05-30 三菱电机株式会社 信息处理装置、工件识别装置及工件取出装置
KR102288278B1 (ko) * 2019-12-30 2021-08-09 한국산업기술대학교산학협력단 비전 센서를 이용한 기하학 특징 기반 파지점 도출 방법
WO2021149429A1 (ja) * 2020-01-23 2021-07-29 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP7364505B2 (ja) 2020-03-18 2023-10-18 株式会社東芝 ハンドリング装置、制御装置、およびプログラム
CN117794709A (zh) * 2021-08-04 2024-03-29 京瓷株式会社 握持参数估计设备和握持参数估计方法
DE102022112879B3 (de) 2022-05-23 2023-08-03 Deutsches Zentrum für Luft- und Raumfahrt e.V. Posenschätzung eines von einem Roboter-Greifer gegriffenen Objekts

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930007775B1 (ko) * 1990-12-28 1993-08-19 삼성전자 주식회사 로보트의 직선보간(補間)방법
JP3805302B2 (ja) * 2002-12-13 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
TWI253848B (en) * 2004-04-09 2006-04-21 Mstar Semiconductor Inc Pixel interpolation method and related pixel interpolation device
JP4317518B2 (ja) * 2004-12-14 2009-08-19 本田技研工業株式会社 物品運搬システム
JP4908020B2 (ja) * 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
US7313464B1 (en) 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
KR101479232B1 (ko) * 2008-05-13 2015-01-06 삼성전자 주식회사 로봇과 로봇 핸드, 로봇 핸드의 제어 방법
JP4866890B2 (ja) * 2008-10-08 2012-02-01 本田技研工業株式会社 ワーク形状推定装置
US8504198B2 (en) * 2009-05-14 2013-08-06 Honda Motor Co., Ltd. Robot hand and control system, control method and control program for the same
JP5335551B2 (ja) * 2009-05-14 2013-11-06 本田技研工業株式会社 ロボットハンドならびにその制御システム、制御方法および制御プログラム
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
JP5895337B2 (ja) * 2010-09-15 2016-03-30 セイコーエプソン株式会社 ロボット
WO2012056520A1 (ja) 2010-10-26 2012-05-03 財団法人機械振興協会 工具衝突防止システム及び工具衝突防止方法
KR101308373B1 (ko) * 2010-11-17 2013-09-16 삼성전자주식회사 로봇 제어방법
US9089966B2 (en) 2010-11-17 2015-07-28 Mitsubishi Electric Corporation Workpiece pick-up apparatus
JP5588392B2 (ja) * 2011-04-27 2014-09-10 株式会社日立製作所 マニプレータ装置
KR101896473B1 (ko) * 2012-01-04 2018-10-24 삼성전자주식회사 로봇 핸드의 제어 방법
JP5480340B2 (ja) * 2012-07-26 2014-04-23 ファナック株式会社 ローラ装置を用いた取出しロボットシステム
DK2919948T3 (da) * 2012-11-14 2017-11-27 European Space Agency (Esa) Håndstyringsindretning
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP5788460B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
CN103822594A (zh) * 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
JP2016099257A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 情報処理装置及び情報処理方法
JP6752615B2 (ja) * 2015-07-29 2020-09-09 キヤノン株式会社 情報処理装置、情報処理方法、ロボット制御装置及びロボットシステム
CN106426173B (zh) * 2016-11-04 2019-08-20 华南理工大学 针对解决形变问题的机器人磨削系统及其轨迹规划方法

Also Published As

Publication number Publication date
CN109773776A (zh) 2019-05-21
EP3482885A1 (en) 2019-05-15
JP6902208B2 (ja) 2021-07-14
US20190143507A1 (en) 2019-05-16
JP2019089157A (ja) 2019-06-13
EP3482885B1 (en) 2020-02-19
US10888995B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
CN109773776B (zh) 把持方法、把持系统以及存储介质
US11833694B2 (en) Robot motion planning
US11400598B2 (en) Information processing apparatus, method, and robot system
US11504853B2 (en) Robotic system architecture and control processes
CN109382820B (zh) 干扰判定方法、干扰判定系统以及存储介质
US11207780B2 (en) Path planning apparatus, path planning method, and path planning program
US12090660B2 (en) Calculation device, calculation method, and storage medium
EP3392002A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US11794343B2 (en) System and method for height-map-based grasp execution
EP3618980A1 (en) Methods and systems for improved quality inspection of products using a robot
US20240075629A1 (en) Autonomous welding robots
JP2014161965A (ja) 物品取り出し装置
JP6747665B2 (ja) ロボット
CN110587592B (zh) 机器人控制装置、机器人控制方法及计算机可读记录介质
CN109773777B (zh) 把持方法、把持系统以及存储介质
US10778902B2 (en) Sensor control device, object search system, object search method, and program
CN107848117B (zh) 机器人系统以及控制方法
JP6489894B2 (ja) 対象物の取出経路を補正する機能を有するロボットシステム
JP5744117B2 (ja) 荷物相互間の相対的な移動を制御するためのシステム
US12097615B2 (en) Information processing device and information processing method
JP7299442B1 (ja) 制御装置、３次元位置計測システム、及びプログラム
US20230264352A1 (en) Robot device for detecting interference of constituent member of robot
JP2024147313A (ja) 画像処理装置、画像処理方法、ロボットシステム、物品の製造方法、撮像装置、撮像装置の制御方法、プログラム及び記録媒体
Monica et al. GMM-based detection of human hand actions for robot spatial attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant