CN109773777B

CN109773777B - 把持方法、把持系统以及存储介质

Info

Publication number: CN109773777B
Application number: CN201811049589.9A
Authority: CN
Inventors: 仁科有贵; 小西嘉典
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2017-11-14
Filing date: 2018-09-10
Publication date: 2022-02-18
Anticipated expiration: 2038-09-10
Also published as: EP3486040A1; US11577386B2; EP3486040B1; JP2019089152A; CN109773777A; US20190143508A1; JP6880457B2

Abstract

一种把持方法、把持系统以及存储介质，能够在不损坏对象物的情况下对对象物进行把持。该把持方法是使用具备多个手指的多指手把持对象物的把持方法，包括如下步骤：使用三维测量传感器(16)对包含对象物(W)的区域进行测量，针对区域内的每个位置获取三维信息；以及当在以上步骤中，在区域内存在能够获取三维信息的测量区域和无法获取三维信息的未测量区域时，基于表示距离的信息，划分测量区域和未测量区域，并基于未测量区域的位置，确定用于把持对象物(W)的多个手指的位置。

Description

把持方法、把持系统以及存储介质

技术领域

本发明涉及把持方法、把持系统以及存储介质。

背景技术

作为用于使用多指手把持工件的方法，在专利文献1中公开了如下的工件取出方法：基于对工件进行三维测量而获得的工件测量数据以及用于把持工件的手形状数据，求出把持位置姿势。

在该专利文献1中，作为获取工件的三维测量数据的方式，例如记载有具备双镜头或多镜头的立体相机、激光、投影仪等投光部和相机的主动(active)的立体测量方式等。

现有技术文献

专利文献

专利文献1：日本专利第5558585号公报

发明内容

发明所要解决的技术问题

在上述记载那样的立体测量方式中，通常已知存在因发生遮挡而无法获取工件三维测量数据的区域。另外，还已知除了被遮挡的区域以外，还存在由于作为测量对象物的工件的表面状态而无法获取三维测量数据的区域。在这种情况下，即使试图基于工件的测量数据及用于把持工件的手形状数据来求出把持位置姿势，对于无法获取测量数据的区域周边的工件，也无法求出把持位置姿势并且无法把持工件。

因此，本发明的目的在于，提供一种把持方法、把持系统以及存储介质，即使在包含对象物的区域内存在无法获取三维测量信息的区域，也能够对对象物进行把持。

用于解决技术问题的手段

根据本发明的一方面的把持方法，使用具备多个手指的多指手把持对象物，该把持方法包括如下步骤：使用传感器对包含对象物的区域进行测量，获取表示传感器与区域内的每个位置的距离的信息；以及当在获取表示距离的信息的步骤中，在区域内存在无法获取表示距离的信息的区域时，基于表示距离的信息，划分测量区域和未测量区域，并基于未测量区域的位置，确定用于把持对象物的多个手指的位置。

根据该方面，能够确定避开未测量区域的位置的适当的把持位置。

也可以是，确定多个手指的位置的步骤包括如下步骤：以多个手指存在于测量区域内的方式确定多个手指的位置。

根据该方面，以多个手指存在于测量区域内的方式确定多个手指的位置，因此即使在未测量区域内存在对象物，也能够不干涉地对对象物进行把持。

也可以是，确定多个手指的位置的步骤包括如下步骤：判断在未测量区域内是否存在多个手指；以及当判断为在未测量区域内存在多个手指时，以多个手指存在于测量区域内的方式确定多个手指的位置。

根据该方面，以多个手指存在于测量区域内的方式确定多个手指的位置，因此即使在未测量区域内存在对象物，也能够在不与对象物相干涉的情况下进行把持。

也可以是，把持方法还包括设定多指手的位置及姿势的步骤，确定多个手指的位置的步骤还包括如下步骤：判断手指区域是否包含未测量区域，手指区域相当于基于设定好的多指手的位置及姿势的多个手指的位置；以及当手指区域包含未测量区域时，以手指区域不包含未测量区域的方式设定多个手指间的间隔。

根据该方面，以手指区域不包含未测量区域的方式设定多个手指间的间隔，因此即使在未测量区域中存在对象物，也能够在不与对象物相干涉的情况下进行把持。

也可以是，把持方法还包括设定多指手的位置及姿势的步骤，确定多个手指的位置的步骤还包括如下步骤：判断手指区域是否包含未测量区域，手指区域相当于基于设定好的多指手的位置及姿势的多个手指的位置；当手指区域包含未测量区域时，用在未测量区域与测量区域的交界部处获得的距离中较近(较小)的距离，对多个手指能够移动的区域内的未测量区域进行插补；以及基于表示所插补后的未测量区域的距离的信息和多指手的位置及姿势，判断多指手与对象物的干涉可能性。

根据该方面，利用在该未测量区域与测量区域的交界部处获得的距离中较近(较小)的距离对多个手指能够移动的区域内的未测量区域进行插补，因此能够排除没有干涉可能性的未测量区域来判断干涉可能性。

也可以是，把持方法还包括如下步骤：用在未测量区域与测量区域的交界部处获得的距离中较远(较大)的距离，对多个手指能够移动的区域内的未测量区域进行插补；以及基于表示所插补后的未测量区域的距离的信息以及表示与传感器的距离的信息，确定多指手的位置及姿势。

根据该方面，利用在该未测量区域与测量区域的交界部处获得的距离中较远(较大)的距离对未测量区域进行插补，因此容易提取对象物的边缘。

也可以是，把持方法还包括如下步骤：使多指手及与多指手连接的机器人臂工作而以所设定的手指的间隔接近对象物；以及缩窄手指的间隔，把持对象物。

根据该方面，能够在不与对象物相干涉的情况下对对象物进行把持。

根据本发明的一方面的把持系统，具备：多指手，具备用于把持对象物的多个手指；机器人臂，与多指手连接；获取单元，用于从对包含对象物的区域进行测量的传感器，获取表示传感器与区域内的每个位置的距离的信息；以及确定单元，在区域内存在无法获取到表示距离的信息的区域时，基于表示距离的信息，划分测量区域和未测量区域，并基于未测量区域的位置，确定用于把持对象物的多个手指的位置。

根据该方面，可以提供确定避开未测量区域的位置的适当的把持位置的把持系统。

也可以是，确定单元构成为，以多个手指存在于测量区域内的方式确定多个手指的位置。

也可以是，确定单元构成为，判断在未测量区域内是否存在多个手指，确定单元构成为，当判断为在未测量区域内存在多个手指时，以多个手指存在于测量区域内的方式确定多个手指的位置。

根据该方面，以手指区域不包含未测量区域的方式设定多个手指间隔，因此即使在未测量区域中存在对象物，也能够在不与对象物相干涉的情况下进行把持。

根据本发明的一方面的存储介质，存储有程序，程序用于使用具备多个手指的多指手把持对象物，程序用于使计算机执行如下步骤：使用传感器对包含对象物的区域进行测量，获取表示传感器与区域内的每个位置的距离的信息；以及当在获取表示距离的信息的步骤中，在区域内存在能够获取表示距离的信息的测量区域和无法获取表示距离的信息的未测量区域时，基于表示距离的信息，划分测量区域和未测量区域，并基于未测量区域的位置，确定用于把持对象物的多个手指的位置。

发明效果

根据本发明，能够提供提供一种把持方法、把持系统以及存储介质，即使在包含对象物的区域内存在无法获取三维测量信息的区域，也能够对对象物进行把持。

附图说明

图1是第一实施方式的把持系统10的硬件结构图。

图2是第一实施方式的把持系统10的功能框图。

图3是第一实施方式的把持方法的流程图。

图4是散装的多个工件W的距离图像的一例。

图5是第一实施方式的把持方法(子步骤)的流程图。

图6是伴随距离图像数据DD中的未测量区域UA的问题的说明图。

图7是多指手H的各手指L及R的移动方向与未测量区域UA的关系图。

图8是第二实施方式的把持方法的流程图。

图9是插补后的距离图像数据DD的说明图。

图10是第二实施方式的把持方法的效果的说明图。

图11是第三实施方式的把持方法的流程图。

图12是距离图像数据DD的插补方法的说明图。

图13是基于不同的插补方法所提取的边缘E的差异的说明图。

附图标记说明：

10...把持系统；12...机器人控制部；14...信息处理装置；16...三维测量传感器；18...信息处理部；20...存储介质；22...把持位置姿势识别部；24...未测量区域验证部；26...手张开宽度更新部；28...最佳把持位置姿势计算部；HD...手形状数据；UA...未测量区域；WD...工件形状数据。

具体实施方式

[应用例]

首先，作为应用本发明的场景的一例，对使用具备多指手的机器人臂对把持对象物(或者称为工件)进行把持时的把持方法进行说明。该把持方法使用距离图像传感器(“三维测量传感器”的一例)对把持对象物进行摄像，并基于所获得的距离图像数据(“三维信息”的一例)对多指手(或者简称为手)的位置及姿势进行控制。并且，在使用距离图像传感器对包含把持对象物的区域进行摄像时，在存在无法获取距离信息的区域的情况下，利用该区域的信息确定用于对对象物进行把持的手指的位置及姿势。需要说明的是，未必需要利用无法获取距离信息的所有像素的信息，例如，也可以根据与对象物的关系，提取由无法获取距离信息的相邻像素的集合构成的区域作为未测量区域，确定用于对对象物进行把持的手指的位置及姿势。以下，将无法获取距离信息的区域中的、作为用于对对象物进行把持有用而被提取的区域称为未测量区域。

具体而言，首先，使用距离图像传感器对对象物进行摄像，获取包含对象物的摄像区域的距离图像数据。此时，也同时地获取无法获取距离图像数据的未测量区域的位置信息。

接着，基于距离图像数据，设定用于对对象物进行把持的各手指的位置及姿势。

在对象物的形状已知的情况下，能够基于预先获取的对象物的形状数据和距离图像数据，设定适于对对象物进行把持的各手指的位置及姿势。在对象物的形状未知的情况下，能够基于距离图像数据检测对象物的边缘，并设定适于对对象物进行把持的各手指的位置及姿势。具体而言，通过包括用于指定与机器人前端的连杆连接的多指手的位置及姿势的六维信息以及用于指定手指间隔的一维信息的总计七维信息，能够指定构成多指手的各手指的位置及姿势。

然后，判断所设定的各手指的位置是否包含未测量区域。具体而言，判断在未测量区域中是否有与投影到距离图像传感器的摄像面上的各手指所占的区域重叠的区域。

当把持时的各手指的位置不包含未测量区域时，其位置及姿势被确定为最佳。具体而言，多指手以保持所确定的手指间隔的状态按所确定的位置及姿势接近对象物，接着，通过缩小手指间隔来对对象物进行把持。

另一方面，当把持时的各手指的位置包含未测量区域时，以进一步扩大手指间隔的方式进行再次设定。然后，再次判断各手指的位置是否包含未测量区域。

当把持时的各手指的位置不包含未测量区域时，其位置及姿势被确定为最佳，多指手以保持所确定的手指间隔的状态按所确定的位置及姿势接近对象物，接着，通过缩小手指间隔来对对象物进行把持。

另一方面，当把持时的各手指的位置仍然包含未测量区域时，以进一步扩大手指间隔的方式进行再次设定。

通过反复进行这种过程，能够确定把持时的各手指的位置不包含未测量区域的手指间隔。因此，即使对象物延伸到未测量区域，也可以在不损坏、不破坏对象物的情况下对对象物进行把持。

需要说明的是，为了以不包含未测量区域的方式确定把持时各手指的位置，也可以提取多个可把持位置的候补，并选择不包含未测量区域的候补作为把持位置。

以上，对从对象物的外侧以缩小手指间隔的方式移动各手指而对对象物进行把持的、所谓的外径把持类型的多指手进行了说明。然而，例如在环状对象物的内侧以扩大手指间隔的方式移动各手指而对对象物进行把持的、所谓的内径把持类型的多指手也能够应用本实施方式的把持方法。在这种情况下，当把持时的各手指的位置包含未测量区域时，以进一步缩小手指间隔的方式进行再次设定。

这样，获取未测量区域的位置信息，从而以避开未测量区域的方式确定了把持时各手指的位置，因此能够在不损坏、不破坏对象物的情况下对对象物进行把持。

需要说明的是，三维信息通常是指由针对每个像素(像元)获得的距离数据构成的距离图像数据。但是，本发明并不限于此，只要是反映与基准位置的距离的信息即可。另外，不需要是准确的距离信息。

另外，未测量区域是指使用距离图像传感器等进行摄像的区域中未获得距离信息的区域。这里，虽未获得距离信息但基于周围区域的距离信息等插补了距离信息的区域包含在未测量区域中。

[第一实施方式]

以下，对使用了附图的实施方式进行说明。

图1是本实施方式的把持系统10的硬件结构图。另外，图2是该把持系统10的功能框图。

该把持系统10具备机器人R。该机器人R是多轴多关节型机器人臂，具备固定于地面的基座、作为可动轴发挥功能的多个接头、根据接头的可动轴进行旋转驱动的多个连杆以及用于旋转驱动各连杆的伺服电机。另外，在前端的连杆连结有具备两根手指的多指手H(或者简称为手)。多指手H的各手指构成为可分别一维地移动，并且能够基于从机器人控制部12(或者称为机器人控制装置12)接收到的指令，改变两根手指的间隔。

机器人控制部12基于从信息处理装置14接收的指定把持位置姿势的信息，生成并向机器人R及多指手H输出用于控制机器人R及多指手H的控制指令。

三维测量传感器16对包含作为把持对象物的工件W的区域进行摄像，并针对每个像素(或者称为像元)输出三维测量传感器16与该区域中存在的物体的距离数据(也包括未获得距离数据的情况)。这里，将从三维测量传感器16与各像素对应地输出的距离数据(也包括未获得距离数据的情况)的集合称为距离图像数据DD。

三维测量传感器16只要能够获取关于摄像区域内的多个位置的距离信息，也可以是任何方式。例如，能够使用：照射激光并基于其反射光的接收时间或相位等获取距离的TOF(Time Of Flight：飞行时间)方式、照射具有预定图案的激光光线并基于反射光的图案测定距离的图案照射方式，能够使用照射红外线激光并基于其反射光测定距离的激光测距仪的三维测量传感器、使用利用双镜头或多镜头的相机测量距离的立体相机的三维测量传感器作为三维测量传感器16。

另外，三维测量传感器16既可以固定于工件W的上方，也可以固定于机器人R的前端的连杆等。

信息处理装置14例如能够使用通用的个人计算机作为硬件。该信息处理装置14由信息处理部18和存储介质20构成，其中信息处理部18具备用于实施本实施方式所示的各种运算处理的未图示的处理器，存储介质20具备用于存储多指手H的手形状数据HD、工件W的工件形状数据WD、用于实现本实施方式所示各处理的计算机可读程序等的HDD或闪存等非易失性存储器。

信息处理部18具备把持位置姿势识别部22、未测量区域验证部24、手张开宽度更新部26以及最佳把持位置姿势计算部28。把持位置姿势识别部22基于距离图像数据DD、从存储介质20读出的手形状数据HD及工件形状数据WD，识别用于把持工件W的把持位置姿势。未测量区域验证部24将基于由把持位置姿势识别部22识别的把持位置姿势信息计算出的多指手H的各手指在由三维测量传感器16进行摄像的区域内所占的手指区域，与基于距离图像数据DD获取的未测量区域UA进行比较。当在未测量区域验证部24中判断为多指手H的各手指所占的区域包含未测量区域UA时，手张开宽度更新部26以进一步扩大多指手H的手指间隔的方式更新打开幅度。最佳把持位置姿势计算部28将多指手H的各手指所占的区域不包含未测量区域UA的把持位置姿势确定为最佳的把持位置姿势。

需要说明的是，信息处理部18具备由易失性存储器构成的未图示的存储单元，该易失性存储器用于临时存储从三维测量传感器16及存储介质20接收到的各种数据、在各框22～28中进行运算处理的数据等。

接着，使用图3对本实施方式的把持方法进行说明。

在本实施方式中，作为把持对象物的工件W是三维形状确定的部件、基本三维形状相同但具有个体差异的物体(例如，相同种类的鱼、水果)。这些工件W的三维工件形状数据WD预先存储于存储介质20。

另外，把持系统10以未指定方式从散装的多个工件W中选择一个工件W并进行把持。但是，本发明并不限于此，例如，也可以构成为把持系统10依次把持由传送带输送来的工件W。

首先，三维测量传感器16对包含至少一个工件W的区域进行摄像，并获取距离图像数据DD(步骤S31)。该距离图像数据DD能够作为距离越近则亮度越高的二维图像显示在未图示的显示装置上。

这里，有时无法获取关于一部分像素的距离数据。例如，在由立体相机的死角所引起的遮挡、因物体表面的法线具有与传感器的摄像表面的法线接近垂直的角度而未获得有意义的反射光的情况下，无法获取距离数据。进而，当对低反射物体、相反地对镜面反射物体进行摄像时，也无法获取距离数据。距离图像数据DD也包括由于这样的原因而无法获取距离数据的像素的信息。

图4是将对散装的多个工件W(水果桔子)进行摄像而获得的距离图像数据作为距离越近则亮度越高的图像进行显示的示例。如该图所示，各工件W的朝向右侧的侧面包含由于遮挡等原因而无法获取距离数据的未测量区域UA。

接着，把持位置姿势识别部22插补未测量区域UA的距离数据(步骤S32)。

接着，把持位置姿势识别部22从存储介质20读出工件形状数据WD，并对在步骤S32中插补了未测量区域UA的距离数据的距离图像数据DD与工件形状数据WD执行模式匹配，提取存在于距离图像数据DD中的工件W，并计算该工件W的位置及姿势(步骤S33)。

进而，把持位置姿势识别部22从把持位置数据库DB获取指定了可对工件W进行把持的位置的把持位置信息。把持位置信息是使用示教器等指定能够对已知的工件W进行把持的位置的信息。把持位置信息可以对于一个工件W包括多个可把持的部位。另外，也可以包括与每个可把持位置相关联的得分信息。这里，把持位置信息是在具备两个手指的多指手H的情况下由两个可把持位置的对构成的信息。

另外，把持位置姿势识别部22从存储介质20读出手形状数据HD。然后，基于在步骤S33中提取的工件W的位置姿势信息、把持位置信息以及手形状数据HD，计算用于把持工件W的多指手H的把持位置姿势(步骤S34)。这里，计算出的把持位置姿势是由六维信息及一维信息构成的七维信息，其中六维信息指定相当于机器人R的前端部的多指手H的位置及姿势，一维信息规定多指手H的手指的张开宽度。

接着，未测量区域验证部24判断在基于由把持位置姿势识别部22识别的把持位置姿势而计算出的多指手H的各手指所占的手指区域中，是否包含基于距离图像数据DD而获得的未测量区域UA(步骤S35)。

然后，当判断为在多指手H的各手指所占的手指区域中包含未测量区域UA时，手张开宽度更新部26更新多指手H的张开宽度，直到在多指手H的各手指所占的区域中不包含未测量区域UA(步骤S36)。

该步骤S35及步骤S36也可以由图5所示的子步骤S351～S355构成。

首先，将在步骤S34中计算出的多指手H的张开宽度设定为初始值(子步骤S351)。

接着，判断所设定的手H的张开宽度是否超过多指手H的张开宽度的最大值(子步骤S352)。

当多指手H的张开宽度超过多指手H的张开宽度的最大值时，判断为没有最佳的张开宽度，用于把持工件W的过程结束(子步骤S355)。

当多指手H的张开宽度在手H的张开宽度的最大值以下时，判断在多指手H的各手指所占的区域中是否包含未测量区域UA(子步骤S353)。具体而言，执行以下流程。

首先，计算多指手H的各手指在由构成距离图像数据DD的图像坐标定义的摄像区域中所占的手指区域。

这里，通过以下透视投影的式子，求出将由三维位置坐标(X、Y、Z)指定的点投影到由构成距离图像数据DD的图像坐标规定的平面上时的图像坐标(x、y)。

【公式1】

这里，f是三维测量传感器16的焦点距离。另外，C_x、C_y是三维测量传感器16的中心的图像坐标。

因此，通过基于在步骤S34中计算出的多指手H的把持位置姿势来计算多指手H的各手指顶点的三维位置坐标，并对各顶点应用上述式子来计算其在图像坐标上的位置，从而作为多指手H的各手指所占的手指区域而能够计算由各顶点在图像坐标上的位置包围的区域。

然后，在图像坐标上，判断在多指手H的各手指所占的区域中是否包含未测量区域UA(子步骤S353)。

当判定为在多指手H的各手指所占的手指区域中不包含未测量区域UA时，将此时的张开宽度登记为最佳值(子步骤S354)。然后，将在步骤S34中设定的多指手H的位置及姿势和在子步骤S354中登记为最佳值的多指手H的手指的张开宽度，选择为用于把持工件W的最佳把持位置姿势(步骤S37)。

当判定为在多指手H的各手指所占的手指区域中包含未测量区域UA时，手张开宽度更新部26以使张开宽度增加预定量的方式进行更新(子步骤S351)。

然后，同样地执行子步骤S352及S353。

然后，当在达到张开宽度的最大值之前，判定为在多指手H的各手指所占的手指区域中不包含未测量区域UA时，将此时的张开宽度登记为最佳值(子步骤S354)，并确定用于把持工件W的最佳把持位置姿势(步骤S37)。

接着，从信息处理部18向机器人控制部12输出最佳把持位置姿势信息(步骤S38)。

机器人控制部12输出控制指令，以使机器人R及多指手H采取所输入的最佳把持位置姿势。

按照该控制指令，机器人R及多指手H以最佳的把持位置姿势接近工件W，接着，基于从机器人控制部12输出的控制指令，缩小多指手H的手指间宽度并把持工件W。

使用图6及图7，说明上述把持方法的效果。

图6的(a)示出在使用三维测量传感器16对工件W进行摄像时所获得的距离图像数据DD中不存在未测量区域UA的情况，图6的(b)示出在未测量区域UA存在的情况下，通过比较例的把持方法把持工件W的示例。需要说明的是，在图6中，实线所示的工件W表示工件W实际存在的区域，虚线所示的工件W表示基于距离图像数据DD识别的工件W的区域。

在图6的(a)所示的情况下，获得关于工件W的整个区域的距离数据(图6的(a)的上图)。因此，基于距离图像数据DD识别的工件W的位置与工件W所存在的区域一致(图6的(a)的中图)。因此，在把持工件W时，多指手H的左手指L及右手指R与工件W不干涉(图6的(a)的下图)。

另一方面，在图6的(b)所示的比较例的情况下，未测量区域UA包括工件W的一部分，因此未获得关于工件W的一部分区域的距离数据(图6的(b)的上图)。因此，需要基于距离图像数据DD插补未测量区域UA的距离数据，从而识别工件W的位置。因此，有时会从实际的工件W的位置(实线)偏离地识别工件W(虚线)(图6的(b)的中图)。其结果，多指手H的左手指L与工件W干涉(图6的(b)的下图)。

图7示出在包含多指手H的各手指L及R的工作区域的截面中的各手指L及R的移动方向、工件W的实际截面(虚线)、插补过的未测量区域UA的截面(实线)。图7的(a)示出比较例的情况下的把持方法，图7的(b)示出本实施方式的把持方法。

在比较例的情况下，对未测量区域UA进行了插补的结果是，经插补使得工件W的宽度相比于实际工件W的宽度变窄。因此，在多指手H朝向工件W行进时，手指L与工件W碰撞。因此，造成工件W损坏、作业工序停止等巨大的损害。

在本实施方式的情况下，在确定了用于使用多指手H把持工件W的把持位置姿势之后，利用相邻的距离数据中的距离较近(较小)的距离数据对沿着多指手H的开闭方向的轴的未测量区域UA的整个范围进行插补，并且即使基于该插补后的距离图像数据DD，也以不与工件W等干涉的方式设定多指手H的张开宽度。然后，通过至少在工件W的附近保持该张开宽度以上的张开宽度而行进至工件W，之后缩小手H的手指间隔，从而能够在不损坏工件W的情况下进行把持。

这样，在以不包含未测量区域UA的方式设定了张开宽度的状态下，多指手H的左手指L及右手指R接近工件W，然后，缩窄多指手H的手指来把持工件W，因此有即使工件W存在于未测量区域UA也不会损坏工件W的效果。

需要说明的是，在步骤S351中，当边对多指手H的张开宽度进行预定量改变边探索最佳的张开宽度时，也可以使用疏密探索的方法。例如，也可以首先以大的改变量增加张开宽度，发现在手指区域中不包含未测量区域的张开宽度，接着，以小的改变量减小张开宽度，从而指定在手指区域中不包含未测量区域的最小张开宽度，并将此时的张开宽度登记为最佳值(步骤S354)。

另外，也可以构成为，当在步骤S37中确定最佳把持位置姿势时，在步骤S34中计算多个把持位置姿势，并对各把持位置姿势执行步骤S35及之后步骤，从中确定最佳的把持位置姿势。此时，也可以基于其他信息确定最佳的把持位置姿势。例如，也可以通过考虑周边的障碍物等，选择与周边的障碍物的干涉可能性低的把持位置姿势作为最佳的把持位置姿势。

另外，多指手H的手指数量不限于两根，也可以有三根以上。另外，把持位置姿势信息只要是指定多指手H的位置及姿势的信息，就不需要是七维信息。例如，也可以针对每个手指独立地设定。

另外，手指的张开宽度包括用于直接或间接地确定表示手指间隔的信息。例如，当多指手H的手指间隔根据某个信息变动时，手指的张开宽度包括这样的信息。

[第二实施方式]

以下，对第二实施方式进行说明。需要注意的是，对同一要素标注相同的附图标记，简化重复的说明，并以与其他实施方式不同的部分为中心进行说明。

本实施方式包括以下步骤：当多指手H的各手指所占的区域包含未测量区域UA时，进一步判断该未测量区域UA是有可能对多指手H的各手指造成干涉的未测量区域UA，还是没有可能对多指手H的各手指造成干涉的、即可忽略的未测量区域UA。

图8是用于说明这种步骤的流程图。

需要说明的是，第二实施方式包括在第一实施方式中说明过的步骤S31～S38及步骤S351～S355，因此省略其说明。以下，对在步骤S353中判断为“是”的之后的步骤S356～S358进行说明。

首先，判断插补后的距离图像数据DD是否已制作完毕(步骤S356)。这里，插补后的距离图像数据DD是指，在包含多指手H的各手指的移动方向的面上，利用未测量区域UA与获得了距离数据的测量区域的交界处的距离数据中较小的一方的距离数据，对未测量区域UA的距离图像数据DD进行插补。

在未制作插补后的距离图像数据DD的情况下(“否”的情况下)，制作插补后的距离图像数据DD(步骤S357)。

图9是插补后的距离图像数据DD的说明图。图9的(a)示出在距离图像数据DD中存在八处未测量区域UA1～UA8。另外，线段V示出多指手H的手指的可动区域。在本实施方式中，多指手H是用两根手指夹着工件W进行把持的类型，因此手指的可动区域由线段V表示。

图9的(b)示出包含多指手H的手指的可动区域的线段V中的截面的距离数据的分布图。纵轴表示距离数据，越靠近附图的下面则距离数据的值越大、即与三维测量传感器16的距离越远。另外，未测量区域UA1～UA8的距离数据不明确。

图9的(c)示出插补后的分布图。如该分布图所示，各未测量区域UA1～UA8使用与测量区域的交界处的两个距离数据中较近(较小)的距离数据来进行插补。

然后，根据在步骤S34中计算出的把持位置姿势，得知多指手H的手指中左手指L及右手指R的位置，因此通过与分布图进行比较，能够判断是否为有可能与多指手H干涉的未测量区域UA(步骤S358)。

图9的(c)示出为，未测量区域UA1～UA3及UA6～UA8是没有干涉可能性的未测量区域UA，而UA4及UA5是有干涉可能性的未测量区域UA。

在未测量区域UA有干涉风险的情况下(图9的(c)的情况下)，前进到步骤S351，执行进一步扩大多指手H的张开宽度的步骤，然后执行上述步骤。

在未测量区域UA没有干涉风险的情况下(图9的(d)的情况下)，将此时的张开宽度登记为最佳值(子步骤S354)，并选择用于把持工件W的最佳把持位置姿势(步骤S37)。

使用图10，对上述的把持方法的效果进行说明。图10的(a)是距离图像数据DD的示例。如上所述，未测量区域由于各种原因而产生，因此有时会散布在距离图像上。因此，在仅将多指手H的左手指L及右手指R所占的手指区域是否包含未测量区域UA作为判断基准的情况下，即使反复执行张开多指手H的步骤，也有可能由于原本能够忽略的未测量区域UA1～UA3及UA6～UA8而不确定最佳的张开宽度(图10的(b))。

与此相对，在上述的把持方法的情况下，对未测量区域UA使用周围的测量区域的距离数据进行插补，能够将有干涉可能性的未测量区域UA与没有干涉可能性的未测量区域UA区分开。因此，能够选择更适当的把持位置姿势。特别地，作为插补的距离数据，采用了周围测量区域的距离数据中较小一个的值。因此，能够排除原本干涉但判断为不干涉的风险，因此能够在不损坏对象物的情况下进行把持。

需要说明的是，也可以构成为，在判断手指区域是否包含未测量区域UA时，从判断对象中排除面积较小的未测量区域UA。

[第三实施方式]

以下，对第三实施方式进行说明。需要注意的是，对于与其他实施方式相同或类似的部分简化说明，并以与其他实施方式不同的部分为中心进行说明。

在上述实施方式中，工件W的形状是已知的，因此在设定把持位置姿势等时，利用了工件形状数据WD。另一方面，在本实施方式中，对工件W的形状未知时的把持方法进行说明。但是，也可以向形状已知的工件W提供本实施方式的把持方法。

图11是本实施方式的把持方法的流程图。

首先，使用三维测量传感器16，获取距离图像数据DD(或者称为三维测量数据)(步骤S41)。

接着，对所获得的距离图像数据DD内的未测量区域UA插补距离数据(步骤S42)。具体而言，基于包含多指手H的手指的工作区域的截面上的距离数据，使用未测量区域UA和测量区域的交界处的两个距离数据中较远的一个(较大的一个)对未测量区域UA进行插补。

图12的(a)示出截面的距离数据的分布图。

图12的(b)示出插补后的分布图。示出用测量区域的交界处的两个距离数据中与未测量区域UA较远的一方(较大的一方)即右侧的距离数据对未测量区域UA进行插补后的情况。

作为比较例，图12的(c)示出用测量区域的交界处的两个距离数据中与未测量区域UA较近的一方(距离数据的值较小的一方)即左侧的距离数据对未测量区域UA进行插补后的分布图。

接着，计算多指手H的把持位置姿势(步骤S43)。把持位置姿势识别部22在步骤S42中，基于插补了未测量区域UA的距离数据的距离图像数据DD，获取工件W的边缘形状。另外，从存储介质20读出手形状数据HD。然后，计算多指手H用于把持工件W的把持位置姿势。这里，计算出的把持位置姿势是由六维信息及一维信息构成的七维信息，其中六维信息指定相当于机器人R的前端部的多指手H的位置及姿势，一维信息规定多指手H的手指的张开宽度。

之后的步骤S44～S47通过执行图3的步骤S35～S38(以及图5或图8所示的子步骤)，从而能够把持工件W。

因此，在执行了图8所示的子步骤的情况下，基于包含未测量区域UA的距离图像数据DD，首先，以增大未测量区域UA的距离的方式插补距离数据(图12的(b))，并计算可把持的一个或多个把持位置姿势(步骤S42)，接着，基于相同的距离图像数据DD以缩小未测量区域UA的距离的方式插补距离数据(图12的(c))，并指定实际操作时的多指手H的张开宽度(步骤S354)。

以下，使用附图，对根据目的进行不同插补的效果进行说明。图13的(a)示出在利用图12的(b)所示的方法对图4所示的区域AR进行插补后所能够提取的边缘E，图13的(b)示出在利用图12的(c)所示的方法对该区域AR进行插补后所能够提取的边缘E。三维测量传感器16与工件W的距离小于三维测量传感器16与载置有工件W的面的距离。因此，未测量区域UA容易形成于工件W的表面(距离小)与载置有工件W的面(距离大)之间的间隙。并且，在工件W的表面中三维测量传感器16与工件W的距离恒定的曲线通常变得平滑，因此工件W的测量区域与未测量区域UA的交界容易变得平滑。

因此，如图13的(a)所示，以将工件W的测量区域与未测量区域UA的交界识别为边缘E的方式进行插补，从而能够在提取边缘E时使用多指手H可把持的位置。

另一方面，在判断干涉可能性时，为了避免干涉的风险，优选地，对于与工件W相邻的未测量区域UA，处理为与工件W同样地距离数据较小的区域，并设定多指手H的张开宽度。因此，如图13的(b)所示，以将未测量区域UA和不与工件W相邻的测量区域的交界识别为边缘E的方式进行插补，从而能够选择避免干涉的多指手H的张开宽度。

如上所述，在设定用于把持工件W的多指手H的把持位置姿势时，首先，以将工件W和未测量区域的交界识别为边缘的方式对距离图像数据DD进行了插补。因此，与以距离数据从工件W到载置有工件W的面连续变化的方式对未测量区域进行插补的情况相比，容易检测出距离数据较大变化的边缘E。因此，能够识别工件W的形状，并指定可由多指手H把持的一个或多个部位。但是，本实施方式并不限于此，也可以指定可通过其他方法把持工件W的一个或多个部位。

另一方面，在确定多指手H的各手指的张开宽度时，通过在未测量区域UA插补与工件W相同的距离数据，能够抑制工件W和多指手H的各手指的干涉可能性。

这样，当在距离图像数据DD中存在未测量区域UA时，制作并根据目的区别使用基于两种插补的距离图像数据DD(基于包括工件W在内的具有与工件W同等的距离数据的区域扩大的插补的距离图像数据DD、基于包括工件W在内的具有与工件W同等的距离数据的区域缩小的插补的距离图像数据DD)，因此能够实现更优选的工件W的把持方法。

需要说明的是，在进行插补时，也可以仅对必要的区域进行插补，例如仅对多指手H的各手指的工作区域进行插补，而不需要对所有的未测量区域UA进行插补。

另外，也可以不一定利用包含多指手H的工作区域的截面(在两个手指的情况下为一个截面，在使用三根手指的多指手H的情况下为包括各手指的可动区域的三个截面)中的未测量区域UA和测量区域的交界处的距离数据进行插补。例如也可以使用周边的测量区域的平均距离数据进行插补。

以上说明的实施方式是为了易于理解本发明，而不是为了将本发明限定于实施方式而进行解释。实施方式所具备的各要素及其配置、材料、条件、形状及尺寸等并不限定于例示的内容，只要不脱离主旨，本领域技术人员就能够适当地进行改变。另外，能够将不同实施方式所示的结构彼此部分地替换或组合。

需要说明的是，在本说明书中，“部件”、“单元”、“流程”并不仅仅是指物理结构，也包括通过软件实现该“部件”等所进行的处理的情况。另外，可以由两个以上的物理结构、装置执行一个“部件”等、装置所进行的处理，也可以由一个物理单元、装置执行两个以上的“部件”等、装置所进行的处理。

上述实施方式的一部分或全部也可以记载为以下附记，但并不限于此。

(附记1)

一种把持方法，使用具备多个手指的多指手把持对象物，其中，所述把持方法包括如下步骤：

使用传感器对包含所述对象物的区域进行测量，获取表示所述传感器与所述区域内的每个位置的距离的信息；以及

当在以上步骤中，在所述区域内存在无法获取表示所述距离的信息的区域时，基于表示所述距离的信息，划分测量区域和未测量区域，并基于所述未测量区域的位置，确定用于把持所述对象物的所述多个手指的位置。

(附记2)

一种把持系统，具备：

多指手，具备用于把持对象物的多个手指；

机器人臂，与所述多指手连接；

获取单元，用于从对包含所述对象物的区域进行测量的传感器，获取表示所述传感器与所述区域内的每个位置的距离的信息；以及

确定单元，在所述区域内存在无法获取到表示所述距离的信息时，基于表示所述距离的信息，划分测量区域和未测量区域，并基于所述未测量区域的位置，确定用于把持所述对象物的所述多个手指的位置。

(附记3)

一种存储介质，存储有程序，所述程序用于使用具备多个手指的多指手把持对象物，其特征在于，所述程序用于使计算机执行如下步骤：

当在以上步骤中，在所述区域内存在能够获取表示所述距离的信息的测量区域和无法获取表示所述距离的信息的未测量区域时，基于表示所述距离的信息，划分测量区域和未测量区域，并基于所述未测量区域的位置，确定用于把持所述对象物的所述多个手指的位置。

Claims

1.一种把持方法，使用具备多个手指的多指手把持对象物，其中，所述把持方法包括如下步骤：

当在获取表示所述距离的信息的步骤中，在所述区域内存在无法获取表示所述距离的信息的区域时，基于表示所述距离的信息，划分测量区域和未测量区域，并基于所述未测量区域的位置，确定用于把持所述对象物的所述多个手指的位置，

所述把持方法还包括设定所述多指手的位置及姿势的步骤，

确定所述多个手指的位置的步骤还包括如下步骤：

判断手指区域是否包含所述未测量区域，所述手指区域相当于基于设定的所述多指手的位置及姿势的所述多个手指的位置；以及

当所述手指区域包含所述未测量区域时，以所述手指区域不包含所述未测量区域的方式设定所述多个手指之间的间隔。

2.一种把持方法，使用具备多个手指的多指手把持对象物，其中，所述把持方法包括如下步骤：

所述把持方法还包括设定所述多指手的位置及姿势的步骤，

确定所述多个手指的位置的步骤还包括如下步骤：

判断手指区域是否包含所述未测量区域，所述手指区域相当于基于设定的所述多指手的位置及姿势的所述多个手指的位置；

当所述手指区域包含所述未测量区域时，使用在所述未测量区域与所述测量区域的交界部处获得的所述距离中最小的距离，对所述多个手指能够移动的区域内的所述未测量区域进行插补；以及

基于表示所插补的所述未测量区域的距离的信息和所述多指手的位置及姿势，判断所述多指手与所述对象物之间的干涉可能性。

3.根据权利要求1或2所述的把持方法，其中，

所述把持方法还包括如下步骤：

用在所述未测量区域与所述测量区域的交界部处获得的所述距离中最大的距离，对所述多个手指能够移动的区域内的所述未测量区域进行插补；以及

基于表示所插补的所述未测量区域的距离的信息和表示所述每个位置与所述传感器的距离的信息，确定所述多指手的位置及姿势。

4.根据权利要求1所述的把持方法，其中，

所述把持方法还包括如下步骤：

使所述多指手及与所述多指手连接的机器人臂进行动作而以所设定的手指间隔接近所述对象物；以及

缩窄所述手指间隔，把持所述对象物。

5.一种把持系统，具备：

多指手，具备用于把持对象物的多个手指；

机器人臂，与所述多指手连接；

确定单元，当在所述区域内存在无法获取表示所述距离的信息的区域时，基于表示所述距离的信息，划分测量区域和未测量区域，并基于所述未测量区域的位置，确定用于把持所述对象物的所述多个手指的位置，

所述确定单元构成为，判断在所述未测量区域内是否存在所述多个手指，并且当判断为在所述未测量区域内存在所述多个手指时，以所述多个手指存在于所述测量区域内的方式确定所述多个手指的位置。

6.根据权利要求5所述的把持系统，其中，

所述确定单元构成为，以所述多个手指存在于所述测量区域内的方式确定所述多个手指的位置。

7.一种存储介质，存储有程序，所述程序用于使用具备多个手指的多指手把持对象物，其中，所述程序用于使计算机执行如下步骤：

当在获取表示所述距离的信息的步骤中，在所述区域内存在能够获取表示所述距离的信息的测量区域和无法获取表示所述距离的信息的未测量区域时，基于表示所述距离的信息，划分测量区域和未测量区域，并基于所述未测量区域的位置，确定用于把持所述对象物的所述多个手指的位置，

确定所述多个手指的位置的步骤包括如下步骤：

以所述多个手指存在于所述测量区域内的方式确定所述多个手指的位置，

确定所述多个手指的位置的步骤包括如下步骤：

判断在所述未测量区域内是否存在所述多个手指；以及

当判断为在所述未测量区域内存在所述多个手指时，以所述多个手指存在于所述测量区域内的方式确定所述多个手指的位置。