CN113165187A - 图像信息处理装置、把持系统以及图像信息处理方法 - Google Patents

Abstract

本发明的目的在于掌握在对象物中能够使机械手机构的指部接近的部分。在图像信息处理装置中，从图像中，使用第一搜索框搜索收容容器，并使用第二搜索框搜索对象物。在第二搜索框预先设定有多个判定点，并且对各判定点设定有规定的接近方向。并且，对存在于第二搜索框内的一个对象物，判定是否能够使机械手机构的指部从对各判定点设定的规定的接近方向接近与设定于该第二搜索框的各判定点对应的部分。

Description

图像信息处理装置、把持系统以及图像信息处理方法

技术领域

本发明涉及利用具有多个指部的机械手机构把持对象物的把持系统、以及用于在该把持系统中对包含该对象物的图像信息进行处理的图像信息处理装置、图像信息处理方法。

背景技术

以往，开发有利用具有多个指部的机械手机构把持对象物的把持系统。另外，作为把持系统，已知有具备对包含对象物的图像进行拍摄的拍摄装置的把持系统。在具备这样的拍摄装置的把持系统中，基于由该拍摄装置取得的图像信息而识别对象物。并且，为了把持识别到的对象物，基于图像信息而控制机械手机构。

例如，在专利文献1中，公开了具备从上方对多个箱状工件进行摄影而取得整体图像的单眼相机的拾取系统(把持系统)。该专利文献1所记载的拾取系统除了单眼相机以外，还具备对多个箱状工件整体的三维形状进行计测的距离传感器。并且，根据单眼相机所取得的整体图像检测箱状工件的边缘部分，并以检测出的边缘部分为边界，提取与该边缘部分对应的、距离传感器的计测点的点组。并且，根据由距离传感器基于提取出的点组计测出的三维形状来识别各箱状工件的位置和姿态。在此基础上，输出成为拾取的对象的箱状工件的位置和姿态。

现有技术文献

专利文献

专利文献1：日本特许第5429614号公报

发明内容

发明要解决的课题

在要利用机械手机构把持对象物的情况下，需要首先使该机械手机构的指部接近该对象物，在此基础上，使该指部接触该对象物。然而，根据对象物的载置状况，存在在该对象物中产生使机械手机构的指部难以接近的部分的情况。换句话说，在以对象物中的任一部分与其他对象物、或者收容该对象物的收容容器接触的状态载置该对象物的情况下，难以使机械手机构的指部接近该接触部分。另外，在对象物中的任一部分不与其他对象物或者收容容器接触的情况下，在该部分与其他对象物或者收容容器之间的距离(间隔)过小的情况下，也还是难以使机械手机构的指部接近该部分。因此，在要利用机械手机构把持对象物的情况下，需要掌握在该对象物中能够使机械手机构的指部接近的部分。

本发明是鉴于上述问题而完成的，其目的在于，提供能够掌握在成为由机械手机构把持的对象的对象物中能够使该机械手机构的指部接近的部分的技术。

用于解决课题的方案

本发明的图像信息处理装置应用于把持系统，所述把持系统利用具有多个指部的机械手机构对收容于收容容器的对象物进行把持，且具有对包含该收容容器、以及收容于该收容容器的至少一个该对象物的图像进行拍摄的拍摄装置，所述图像信息处理装置对由该拍摄装置取得的图像信息进行处理，其中，所述图像信息处理装置具备：搜索部，其基于预先存储的、所述收容容器的形状信息以及所述对象物的形状信息，从由所述拍摄装置拍摄到的图像中，使用所述收容容器搜索用的搜索框即第一搜索框搜索所述收容容器，并使用所述对象物搜索用的搜索框即第二搜索框搜索所述对象物；以及检测部，其基于根据所述搜索部的搜索结果得到的、一个对象物与其他对象物以及所述收容容器各自的接触状态，来检测在收容于所述收容容器的一个对象物中能够使所述机械手机构的所述指部接近的部分，在所述第二搜索框的规定的位置预先设定有多个判定点，并且对各判定点设定有规定的接近方向，所述检测部对存在于所述第二搜索框内的一个对象物，判定是否能够使所述机械手机构的所述指部从对各判定点设定的所述规定的接近方向接近与设定于该第二搜索框的各判定点对应的部分。

发明效果

根据本发明，能够掌握在成为由机械手机构把持的对象的对象物中使该机械手机构的指部接近的部分。

附图说明

图1是示出实施例的把持系统的概要结构的图。

图2是示出实施例的机械臂的概要结构的图。

图3是实施例的机械手机构的立体图。

图4是实施例的机械手机构的俯视图。

图5是示出实施例的机械手机构的指部中的第二关节部的可动范围的图。

图6是示出实施例的机械手机构的指部中的第一关节部的可动范围的图。

图7是示出实施例的臂控制装置、机械手控制装置、图像信息处理装置所包括的各功能部的框图。

图8是示出通过直接把持来把持对象物时的机械手机构以及该对象物的状态的图。

图9是示出为了通过倾倒把持来把持对象物而利用机械手机构的第一指部使该对象物倾倒时的动作的第一图。

图10是示出为了通过倾倒把持来把持对象物而利用机械手机构的第一指部使该对象物倾倒时的动作的第二图。

图11是示出利用机械手机构的第二指部、第三指部以及第四指部把持住对象物的状态的图。

图12是示出为了通过错开把持来把持对象物而利用机械手机构的第一指部将该对象物的位置错开时的动作的第一图。

图13是示出为了通过错开把持来把持对象物而利用机械手机构的第一指部将该对象物的位置错开时的动作的第二图。

图14是示出图像信息处理的第一具体例中的、由拍摄装置拍摄到的图像的图。

图15是示出图像信息处理的第一具体例中的、以收容容器的正面为视点时的投影图像的图。

图16是示出从图15所示的投影图像中搜索到收容容器以及对象物的情形的图。

图17是示出图像信息处理的第一具体例中的、设定于第二搜索框的多个判定点以及对各判定点设定的规定的接近方向的图。

图18是示出图像信息处理的第一具体例中的、接近判定处理的结果的一部分的图。

图19是示出图像信息处理的第二具体例中的、由拍摄装置拍摄到的图像的图。

图20是示出图像信息处理的第二具体例中的、以收容容器的顶面为视点时的投影图像的图。

图21是示出从图20所示的投影图像中搜索到收容容器以及对象物的情形的图。

图22是示出图像信息处理的第二具体例中的、接近判定处理的结果的一部分的图。

图23是示出图像信息处理的第三具体例中的、由拍摄装置拍摄到的图像的图。

图24是示出图像信息处理的第三具体例中的、以收容容器的顶面为视点时的投影图像的图。

图25是示出从图24所示的投影图像中搜索到收容容器以及对象物的情形的图。

图26是示出图像信息处理的第三具体例中的、设定于第二搜索框的多个判定点以及对各判定点设定的规定的接近方向的图。

图27是用于对判定距离的具体例进行说明的图。

图28是示出图像信息处理的第三具体例中的、接近判定处理的结果的一部分的图。

图29是示出在图像信息处理装置中进行的图像信息处理的流程的流程图。

图30是示出在由机械手机构把持对象物时由机械手控制装置进行的机械手控制的流程的流程图。

图31是示出实施例的变形例中的、收容容器11以及收容于该收容容器11的两个对象物的情形的图。

图32是示出实施例的变形例中的、第一接近方式的图。

图33是示出实施例的变形例中的、第二接近方式的图。

具体实施方式

本发明的把持系统是由具有多个指部的机械手机构对收容于收容容器的对象物进行把持的系统。该把持系统具有对包含收容容器、以及收容于该收容容器的至少一个对象物的图像进行拍摄的拍摄装置。并且，在本发明的图像信息处理装置中，搜索部基于收容容器的形状信息以及对象物的形状信息，从由拍摄装置拍摄到的图像中，搜索该收容容器以及该对象物。并且，在图像信息处理装置中，检测部基于一个对象物与其他对象物以及与收容容器各自的接触状态，来检测在收容于收容容器的一个对象物中能够使机械手机构的指部接近的部分。

更详细而言，在图像信息处理装置预先存储有收容容器的形状信息和对象物的形状信息。需要说明的是，在各个形状信息中，不仅包含与收容容器或者对象物的形状相关的信息，还包含与其尺寸相关的信息。并且，搜索部基于这些形状信息，在由拍摄装置拍摄到的图像上搜索收容容器以及对象物。此时，搜索部使用第一搜索框搜索收容容器，并使用第二搜索框搜索对象物。第一搜索框是收容容器搜索用的搜索框，第二搜索框是对象物搜索用的搜索框。更详细而言，搜索部在利用第一搜索框在图像上进行搜索时，在该第一搜索框内检测出与收容容器的形状信息吻合的形状的情况下，识别为在该第一搜索框内存在收容容器。需要说明的是，第一搜索框也可以是用于对收容容器中的收容对象物的部分进行搜索的搜索框。另外，搜索部在利用第二搜索框在图像上进行搜索时，在该第二搜索框内检测出与对象物的形状信息吻合的形状的情况下，识别为在该第二搜索框内存在对象物。

另外，在第二搜索框的规定的位置预先设定有多个判定点。并且，对各判定点设定有规定的接近方向。在此，各判定点表示在存在于第二搜索框内的一个对象物(换句话说，由第二搜索框在图像上识别出其存在的对象物)中应判定是否能够使机械手机构的指部接近的位置。另外，规定的接近方向表示使机械手机构的指部接近存在于第二搜索框内的一个对象物中的与各判定点对应的部分时的接近方向。

并且，检测部对存在于第二搜索框内的一个对象物，判定是否能够使机械手机构的指部从对各判定点设定的规定的接近方向接近与设定于该第二搜索框的各判定点对应的部分。这样，通过对在第二搜索框设定有多个的判定点分别判定是否能够使机械手机构的指部接近存在于该第二搜索框内的一个对象物中的与各判定点对应的部分，从而能够在一个对象物中对能够使该机械手机构的该指部接近的部分进行检测。

其结果是，能够基于一个对象物中的、能够使机械手机构的指部接近的部分的检测结果，来决定使机械手机构相对于一个对象物接近时的机械手机构的方式、由机械手机构对由一个对象物进行把持时的把持方案。由此，能够实现由机械手机构对对象物进行把持时的稳定性、生产节拍时间的提升。

以下，基于附图对本发明的具体的实施例进行说明。本实施例所记载的结构部件的尺寸、材质、形状、其相对配置等只要没有特别记载，则并不旨在将发明的技术的范围仅限定于此。

＜实施例1＞

在此，对将本发明应用于具备机械臂的把持系统的情况进行说明。图1是示出本实施例的把持系统的概要结构的图。把持系统100包括机械臂1和拍摄装置8。拍摄装置8例如是相机。拍摄装置8对包含收容容器11以及收容于该收容容器11的至少一个对象物10的图像进行拍摄。此时，拍摄装置8从规定的方向对包含收容容器11、收容于该收容容器11的对象物10的图像进行拍摄。需要说明的是，拍摄装置8无需一定图1所示与机械臂1分体设置。换句话说，拍摄装置8也可以安装于机械臂1。另外，机械臂1具备用于把持对象物10的机械手机构2、臂机构3以及台座部4。在此，对机械臂1中的臂机构3、机械手机构2以及台座部4的详细的结构进行说明。

(臂机构)

图2是示出机械臂1的概要结构的图。在臂机构3的一端安装有机械手机构2。另外，臂机构3的另一端安装于台座部4。臂机构3具备第一臂连杆部31、第二臂连杆部32、第三臂连杆部33、第四臂连杆部34、第五臂连杆部35以及连接构件36。并且，机械手机构2的基座部20与在臂机构3的第一臂连杆部31的一端侧形成的第一关节部30a连接。在第一关节部30a设置有用于使机械手机构2相对于第一臂连杆部31绕该第一臂连杆部31的轴旋转的马达(省略图示)。第一臂连杆部31的另一端侧通过第二关节部30b而与第二臂连杆部32的一端侧连接。第一臂连杆部31与第二臂连杆部32以它们的中心轴垂直相交的方式连接。并且，在第二关节部30b设置有用于使第一臂连杆部31以其另一端侧为中心相对于第二臂连杆部32绕该第二臂连杆部32的轴旋转的马达(省略图示)。另外，第二臂连杆部32的另一端侧通过第三关节部30c而与第三臂连杆部33的一端侧连接。在第三关节部30c设置有用于使第二臂连杆部32相对于第三臂连杆部33相对地旋转的马达(省略图示)。

相同地，第三臂连杆部33的另一端侧通过第四关节部30d而与第四臂连杆部34的一端侧连接。另外，第四臂连杆部34的另一端侧通过第五关节部30e而与第五臂连杆部35连接。并且，在第四关节部30d设置有用于使第三臂连杆部33相对于第四臂连杆部34相对地旋转的马达(省略图示)。另外，在第五关节部30e设置有用于使第四臂连杆部34相对于第五臂连杆部35相对地旋转的马达(省略图示)。并且，第五臂连杆部35与从台座部4垂直地配置的连接构件36通过第六关节部30f而连接。第五臂连杆部35与连接构件36以各自的中心轴同轴的方式连接。并且，在第六关节部30f设置有用于使第五臂连杆部35绕该第五臂连杆部35以及连接构件36的轴旋转的马达(省略图示)。通过将臂机构3设为这样的结构，例如能够使该臂机构3成为具有6自由度的自由度的机构。

(机械手机构)

接下来，基于图3至图6对机械手机构2的结构进行说明。图3是机械手机构2的立体图。图4是机械手机构2的俯视图。需要说明的是，在图4中，箭头表示各指部21的旋转可动范围。机械手机构2具备与臂机构3连接的基座部20、以及设置于该基座部20的四根指部21。另外，如图3以及图4所示，在机械手机构2中，四根指部21在以机械手机构2的长度方向(在图4中与纸面垂直的方向)的轴为中心的圆周上等角度间隔(即90deg间隔)地配置于基座部20。另外，四根指部21全部具有相同的结构且为相同的长度。但是，各指部21的动作分别被独立地控制。

如图3所示的那样，各指部21具有第一指连杆部211、第二指连杆部212以及基端部213。并且，指部21的基端部213与基座部20连接。在此，基端部213在图4中如箭头所示，相对于基座部20能够绕指部21的长度方向(在图4中与纸面垂直的方向)的轴旋转地连接。另外，在指部21中，第二指连杆部212的一端与基端部213连接。并且，在该第二指连杆部212与基端部213连接的连接部形成有第二关节部23。在基座部20的内部设置有使基端部213驱动旋转的马达、以及使第二指连杆部212相对于基端部213相对地驱动旋转的马达。通过这样的结构，基端部213被驱动旋转，伴随于此，指部21整体在图4中箭头所示的范围被驱动旋转。另外，如图5所示，第二关节部23形成为能够弯曲以及伸展。

另外，如图3、图5以及图6所示，在指部21中，第一指连杆部211的一端与第二指连杆部212的另一端连接。并且，在该第一指连杆部211与第二指连杆部212连接的连接部形成有第一关节部22。在第二指连杆部212的内部设置有使第一指连杆部211相对于第二指连杆部212相对地驱动旋转的马达。通过这样的结构，如图6所示，第一关节部22形成为能够弯曲以及伸展。

另外，如图3所示，在本实施例中，在指部21的第一指连杆部211的前端侧设置有压敏传感器70。压敏传感器70是对作用于第一指连杆部211的前端部的外力(压力)进行检测的传感器。

(台座部)

接下来，基于图7对内置于台座部4的、臂控制装置42、机械手控制装置43以及图像信息处理装置44的结构进行说明。臂控制装置42是用于对机械臂1的臂机构3进行控制的控制装置。机械手控制装置43是用于对机械臂1的机械手机构2进行控制的控制装置。图像信息处理装置44是用于对图像信息进行处理的处理装置，该图像信息通过由拍摄装置8对包含收容容器11以及对象物10的图像进行拍摄而取得。图7是示出臂控制装置42、机械手控制装置43以及图像信息处理装置44所包括的各功能部的框图。

臂控制装置42包括生成用于驱动在臂机构3的各关节部设置的马达的驱动信号的多个驱动器，且构成为将来自各驱动器的驱动信号向对应的各马达供给。另外，臂控制装置42包括具有运算处理装置以及存储器的计算机。并且，臂控制装置42具有臂控制部420以及马达状态量取得部421作为功能部。这些功能部通过在臂控制装置42所包括的计算机中执行规定的控制程序而形成。

臂控制部420基于由机械手控制装置43所具有的功能部即后述的对象物信息取得部430取得的对象物信息从各驱动器供给驱动信号，从而对设置于臂机构3的各关节部30a、30b、30c、30d、30e、30f的马达进行控制。并且，臂控制部420通过控制各马达而移动臂机构3，由此，使机械手机构2的位置向所希望的位置(能够由机械手机构2把持对象物10的位置)移动。另外，在设置于臂机构3的各关节部30a、30b、30c、30d、30e、30f的马达设置有对与各自的旋转状态相关的状态量(马达的旋转轴的旋转位置、旋转速度等)进行检测的编码器(省略图示)。并且，由各马达的编码器检测出的各马达的状态量被输入臂控制装置42的马达状态量取得部421。并且，臂控制部420基于输入到马达状态量取得部421的各马达的状态量，对各马达进行伺服控制，以使机械手机构2向所希望的位置移动。

另外，机械手控制装置43包括生成用于驱动在机械手机构2设置的各马达的驱动信号的多个驱动器，且构成为将来自各驱动器的驱动信号向对应的各马达供给。另外，机械手控制装置43包括具有运算处理装置以及存储器的计算机。并且，机械手控制装置43具有对象物信息取得部430、机械手控制部431、马达状态量取得部432以及传感器信息取得部433作为功能部。这些功能部通过在机械手控制装置43所包括的计算机中执行规定的控制程序而形成。

对象物信息取得部430从图像信息处理装置44取得与应由机械手机构2把持的对象物相关的信息即对象物信息。另外，机械手控制部431基于由对象物信息取得部430取得的对象物信息从各驱动器向供给驱动信号，从而对使机械手机构2的各指部21驱动的各马达进行控制。由此，通过机械手机构2的多个指部21把持对象物10。另外，在机械手机构2的各马达设置有对与各自的旋转状态相关的状态量(马达的旋转轴的旋转位置、旋转速度等)进行检测的编码器(省略图示)。并且，由各马达的编码器检测出的各马达的状态量被输入机械手控制装置43的马达状态量取得部432。并且，机械手控制部431基于输入到马达状态量取得部432的各马达的状态量，对各指部21中的各马达进行伺服控制，以通过多个指部21把持对象物。

并且，机械手控制装置43具有传感器信息取得部(省略图示)。向传感器信息取得部输入在机械手机构2的各指部21的第一指连杆部211设置的压敏传感器70的检测值。并且，机械手控制部431在由各压敏传感器70检测到各指部21向对象物的接触的情况下，也能够基于该检测信号对各指部21中的各马达进行控制。

图像信息处理装置44包括具有运算处理装置以及存储器的计算机。并且，图像信息处理装置44具有图像信息取得部440、搜索部441以及检测部442作为功能部。这些功能部通过在图像信息处理装置44所包括的计算机中执行规定的控制程序而形成。并且，图像信息处理装置44具有存储部443。存储部443是存储收容容器11的形状信息以及对象物10的形状信息等的单元。由存储部443存储的收容容器11的形状信息以及对象物10的形状信息由用户预先登记。需要说明的是，在各个形状信息中不仅包括与收容容器11或者对象物10的形状相关的信息，还包括与其尺寸相关的信息。另外，图像信息处理装置44的图像信息的处理结果作为对象物信息而被输入机械手控制部431的对象物信息取得部430。需要说明的是，对图像信息处理装置44中的各功能部所发挥的功能在后叙述。

需要说明的是，在图7中，作为把持系统所包括的控制装置，区别示出了臂控制装置42和机械手控制装置43，但作为其他方法，也能够采用将各功能部形成于两装置一体化而成的一个控制装置内的结构。另外，在将把持系统所包括的控制装置区别为臂控制装置42和机械手控制装置43的情况下，也同样，图7所示的各功能部只要不产生技术上的分歧则实质上形成于任一控制装置内均可，且能够根据需要而在臂控制装置42与机械手控制装置43之间进行适当的信息的授受。另外，也能够采用臂控制装置42或者机械手控制装置43的各功能部中的一部分形成于与臂控制装置42以及机械手控制装置43分体的控制装置内的结构。

(把持方式)

在此，基于图8～图13，对在本实施例的把持系统100中利用机械臂1的机械手机构2把持对象物10时实现的把持方式的具体例进行说明。图8是用于对利用机械手机构2将对象物10在被载置的状态下把持的把持方式即直接把持进行说明的图。另外，图9～图11是用于对使对象物10倾倒后利用机械手机构2把持的把持方式即倾倒把持进行说明的图。图12以及图13是用于对将对象物10的位置错开后利用机械手机构2把持的把持方式即错开把持进行说明的图。需要说明的是，在此，将机械手机构2的各指部21分别称为第一指部21A、第二指部21B、第三指部21C、第四指部21D。

图8示出通过直接把持来把持对象物10时的机械手机构2以及该对象物10的状态。如图8所示，在直接把持下，利用机械手机构2的指部21将被载置的对象物10在原来的状态下夹入而把持。需要说明的是，无需一定用机械手机构2的全部四根指部21将对象物10夹入，只要能够用至少两根指部21将对象物10夹入则直接把持成立。只要是能够使机械手机构2的指部21与在该对象物10中相互对置的部分分别接触的状况，则利用这样的直接把持进行的对象物10的把持能够实施。

另外，图9以及图10示出为了通过倾倒把持来把持对象物10而利用机械手机构2的第一指部21A使该对象物10倾倒时的动作。另外，图11示出利用机械手机构2的第二指部21B、第三指部21C以及第四指部21D把持住对象物10的状态。

更详细而言，在图9中，对象物10在与相邻的其他对象物10′接触的状态下排列而载置。在这样的情况下，也能够使机械手机构2的指部21与对象物10的上表面S1接触。于是，首先，如图9所示，使第一指部21A的第一指连杆部211A与对象物10的上表面S1接触。需要说明的是，此时，在使第一指部21A接触到对象物10的上表面S1的状态下，机械手机构2中的其他指部21B、21C、21D不与对象物10接触。并且，接下来，如图10所示，利用第一指部21A，在使该第一指连杆部211A接触到对象物10的上表面S1的状态下，使该对象物10向近前倾倒。这样，通过利用第一指部21A变更对象物10的姿态，能够增大该对象物10与相邻的对象物10′的间隔。由此，成为如下状况：即使是在对象物10中与相邻的对象物10′接触、且在被载置的状态下不能使机械手机构2的指部21接触的侧面，也能够使该机械手机构2的指部21接触。并且，接下来，如图11所示，在利用第一指部21A使对象物10倾倒的状态下，利用第二指部21B、第三指部21C以及第四指部21D将该对象物10夹入而把持。该对象物10即使处于不能使机械手机构2的指部21与相互对抗的部分分别接触的状态，只要处于能够利用该机械手机构2使该对象物10倾倒的状态，则利用这样的倾倒把持进行的对象物10的把持也能够实施。

另外，图12以及图13示出为了通过错开把持来把持对象物10而利用机械手机构2的第一指部21A将该对象物10的位置错开时的动作。

更详细而言，在图12中，对象物10在与相邻的其他对象物10′接触的状态下排列而载置。在这样的情况下，也能够使机械手机构2的指部21与对象物10中的、和接触于其他对象物10′的侧面S3对置的侧面S2接触。于是，首先，如图12所示，使第一指部21A的第一指连杆部211A与对象物10的侧面S2接触。然后，保持该状态，通过利用第一指部21A按压对象物10的侧面S2而将该对象物10按压在其他对象物10′，并且利用该第一指部21A将该对象物10的位置向空心箭头所示的方向错开。

由此，如图13所示，对象物10的位置向上方移动，其结果是，该对象物10成为与其他对象物10′的上表面S1的高度相比向上方突出的状态。换句话说，在对象物10中，成为与其他对象物10′接触的侧面S3的上方部分露出的状态。由此，能够使机械手机构2的指部21(第一指部21A以外的指部21)不仅与对象物10中的侧面S2接触，还与和该侧面S2对抗的侧面S3接触。于是，对于成为图16所示那样的状态的对象物10，使机械手机构2的指部21与侧面S2以及侧面S3分别接触，将该对象物10夹入而把持。该对象物10即使处于不能使机械手机构2的指部21与相互对抗的部分分别接触的状态，只要处于能够利用该机械手机构2将该对象物10的位置错开的状态，则利用这样的倾倒把持进行的对象物10的把持也能够实施。

如上述那样，在本实施例的把持系统100中，能够通过包括由机械手机构2实现的直接把持、倾倒把持以及错开把持的各种把持方式来把持对象物10。需要说明的是，在图8～图13中，对象物10的形状为长方体，但对象物10即使是其他形状，也不仅能够实施直接把持，还能够实施倾倒把持、错开把持。

并且，为了通过上述那样的各种把持方式来把持对象物10，均需要使机械手机构2的指部21相对于该对象物10接触。因此，在收容于收容容器11的对象物10中，需要掌握能够使机械手机构2的指部21接近的部分(以下，有时也称为“可接近部分”。)。于是，在本实施例的把持系统100中，通过在图像信息处理装置44中对图像信息进行处理，从而对收容于收容容器11的对象物10中的可接近部分进行检测，该图像信息通过由拍摄装置8对包含收容容器11以及对象物10的图像进行拍摄而取得。

(图像信息处理)

以下，对在图像信息处理装置44中进行的图像信息处理的具体例进行说明。首先，基于图14～图18对第一具体例进行说明。图14是示出第一具体例中的、由拍摄装置8拍摄到收容容器11以及收容于该收容容器11的多个对象物10时的图像的图。如图14所示，在本具体例中，收容容器11具有前方部分(前方侧面)以及上方部分(顶面)开放的箱型的形状。另外，对象物10的形状为长方体。并且，在收容容器11内无间隙地排列收容有12个对象物10。需要说明的是，如上述那样，收容容器11的形状信息以及对象物10的形状信息预先存储于图像信息处理装置44的存储部443。

在把持系统100中，利用拍摄装置8对包含上述那样的状态的收容容器11以及对象物10的图像从能够看到其前表面的方向进行拍摄。图15是示出将由拍摄装置8拍摄到的图像以从收容容器11的前方的视点投影而得到的图像(即，从图14中的空心箭头的方向的投影图像)的图。如图15所示，在该投影图像包含收容容器11、以及在该收容容器11内的最前方的部分配置的三个对象物10a～10c。

在图像信息处理装置44中，图14所示那样的图像作为图像信息由图像信息取得部440取得。并且，在图像信息处理装置44中，利用搜索部441，从图15所示那样的以由拍摄装置8拍摄到的图像为基础得到的投影图像中，搜索收容容器11以及对象物10。图16是示出从图15所示的投影图像中搜索到收容容器11以及对象物10的情形的图。

在图像信息处理装置44中，搜索部441使用收容容器搜索用的搜索框即第一搜索框搜索收容容器11，并使用对象物搜索用的搜索框及第二搜索框搜索对象物10。在图16中，双点划线所示的框f1表示第一搜索框，单点划线所示的框f2表示第二搜索框。在此，第一搜索框f1基于登记在存储部443的收容容器11的形状信息而设定。需要说明的是，如图16所示，第一搜索框f1设定为用于对收容容器11中的收容对象物10的部分进行搜索的搜索框。另外，第二搜索框f2基于登记在存储部443的对象物10的形状信息而设定。需要说明的是，如图16所示，第二搜索框f2根据对象物10的图像上的大小(即，从前方观察对象物10时的该对象物10的外周的大小)而设定。另外，第一搜索框f1以及第二搜索框f2均为四边形形状。但是，第一搜索框f1以及第二搜索框f2无需一定为四边形形状，也可以是其他多边形状。

并且，如图16所示，搜索部441在利用第一搜索框f1在图像上进行搜索时，在该第一搜索框f1内对收容容器11中的收容对象物10的部分检测出与形状信息吻合的形状的情况下，识别为在该第一搜索框f1内存在该收容容器11中的收容对象物10的部分。另外，搜索部441在利用第二搜索框f2在图像上进行搜索时，在该第二搜索框f2内检测出与对象物10的形状信息吻合的形状的情况下，识别为在该第二搜索框f2内存在对象物10。这样的搜索部441的搜索的结果是，识别为在图像信息处理装置44中，在收容容器11内无间隙地排列配置有三个对象物10a～10c。

另外，在第二搜索框f2的规定的位置预先设定有多个判定点。并且，对各判定点设定有规定的接近方向。图17是示出设定于第二搜索框f2的多个判定点、以及对各判定点设定的规定的接近方向的图。

在此，各判定点表示在存在于第二搜索框f2内的一个对象物10中应判定是否能够使机械手机构2的指部21接近的位置。在图17中，第二搜索框f2的各黑圆点表示判定点。如图17所示，判定点在第二搜索框f2的、各顶点以及各边上的各两个部位设定于共计12个部位。另外，规定的接近方向表示使机械手机构2的指部21接近存在于第二搜索框f2内的一个对象物10的与各判定点对应的部分时的接近方向。在图17中，对各黑圆点设定的箭头表示规定的接近方向。如图17所示，对于设定于第二搜索框f2的各边上的判定点，将与各边正交的方向设定为规定的接近方向。另外，对于设定于第二搜索框f2的各顶点的判定点，将与形成各顶点的两边分别正交的两个方向设定为规定的接近方向。

并且，在图像信息处理装置44中，利用检测部442对搜索部441的搜索的结果、即如图16所示在图像上识别出其存在的各对象物10检测可接近部分。此时，检测部442基于根据搜索部441的搜索的结果得到的、一个对象物10与其他对象物10以及收容容器11各自的接触状态来检测一个对象物10中的可接近部分。

更详细而言，检测部442对存在于第二搜索框f2内的一个对象物10，判定是否能够使机械手机构2的指部21从对各判定点设定的规定的接近方向接近与设定于该第二搜索框f2的各判定点对应的部分。以下，也有时将由这样的检测部442进行的判定处理称为“接近判定处理”。另外，为了使对接近判定处理的说明方便，在该接近判定处理中，也有时将判定为能够使机械手机构2的指部21从对该判定点设定的规定的接近方向接近对象物10中的与判定点对应的部分的情况称为“接近向量成立”。另外，在接近判定处理中，也有时将判定为不能使机械手机构2的指部21从对该判定点设定的规定的接近方向接近对象物10中的与判定点对应的部分的情况称为“接近向量不成立”。

图18是示出由检测部442进行的接近判定处理的结果的一部分的图。在图18中，示出对图16所示的对象物10b、10c分别进行的接近判定处理的结果。在图18中，表示规定的接近方向的箭头上的圆圈表示接近向量成立。另外，在图18中，表示规定的接近方向的箭头上的×标记表示接近向量不成立。需要说明的是，实线的×标记表示由于存在于搜索框f2内的一个对象物10与收容容器11接触而使接近向量不成立。另外，单点划线的×标记表示由于存在于搜索框f2内的一个对象物10与其他对象物10接触而使接近向量不成立。如上述那样，在本实施例中，搜索部441对收容容器11和对象物10分别进行搜索。并且，检测部442基于该搜索部441的搜索结果来对各对象物10执行接近判定处理。因此，能够区别存在于搜索框f2内的一个对象物10的接触对象是收容容器11还是其他对象物10。

如上述那样，在收容容器11内，三个对象物10a～10c无间隙地排列配置。因此，如图18所示，在对象物10b、10c中，对于在与该对象物10b、10c的下表面以及侧面对应的位置设定的各判定点，接近向量均不成立。换句话说，在接近判定处理中，若其他对象物10或者收容容器11从对该判定点设定的规定的接近方向与存在于第二搜索框f2内的一个对象物10中的与设定于该第二搜索框f2的判定点对应的部分接触，则检测部442判定为不能使机械手机构2的指部21从该规定的接近方向接近一个对象物10中的与该判定点对应的部分。

另一方面，在对象物10b、10c中，对于在与该对象物10b、10c的上表面对应的位置设定的各判定点的、表示从上方的接近的规定的接近方向，基本上接近向量均成立。换句话说，在对象物10b、10c中，对于在搜索框f2的上边上设定的两个部位的判定点，接近向量均成立。

另外，在对象物10b中，对于在成为搜索框f2的上边的两端的两个顶点设定的判定点的、表示从上方的接近的规定的接近方向，接近向量成立。另外，在对象物10c中，对于在成为搜索框f2的上边的两端的两个顶点中的对象物10b侧(在图18中朝向左侧)的顶点设定的判定点的、表示从上方的接近的规定的接近方向，接近向量成立。但是，在对象物10c中，对于在成为搜索框f2的上边的两端的两个顶点中的收容容器11的侧壁侧(在图18中朝向右侧)的顶点设定的判定点的、表示从上方的接近的规定的接近方向，接近向量不成立。这是因为，如图14、图15所示，该对象物10c所接触的收容容器11的侧壁的高度高于对象物10c的高度。在该情况下，即使收容容器11的上方开放，由于该收容容器11的侧壁成为障碍，因此也不能使机械手机构2的指部21与对象物10c的上表面中的收容容器11的侧壁侧的端部接触。因此，如上述那样，在对象物10c中，对于在成为搜索框f2的上边的两端的两个顶点中的收容容器11的侧壁侧的顶点设定的判定点的、表示从上方的接近的规定的接近方向，接近向量不成立。

换句话说，在接近判定处理中，对于在一个对象物10的图像上的外周的、由与收容容器11接触的边和另一边形成的顶点，检测部442判定为从对设定于与该顶点对应的第二搜索框f2的顶点的判定点设定的两个方向的规定的接近方向，均不能使机械手机构2的指部21接近。

接下来，基于图19～图22对第二具体例进行说明。图19是示出第二具体例中的、由拍摄装置8拍摄到收容容器11以及收容于该收容容器11的多个对象物10时的图像的图。如图19所示，在本具体例中，收容容器11具有仅上方部分(顶面)开放的箱型的形状。另外，对象物10的形状与第一具体例同样地为长方体。并且，在收容容器11内排列收容有9个对象物10。在此，在收容容器11内，9个对象物10塞于前方侧而收容。因此，在收容容器11内的收容有9个对象物10的部分，在对象物10彼此之间、以及对象物10与收容容器11之间未形成间隙。但是，在收容容器11内的后方部分，形成有未载置对象物10的空间。需要说明的是，如上述那样，在本具体例中，收容容器11的形状信息以及对象物10的形状信息也预先存储于图像信息处理装置44的存储部443。

在把持系统100中，利用拍摄装置8对包含上述那样的状态的收容容器11以及对象物10的图像从能够看到其上表面的方向进行拍摄。图20是示出将由拍摄装置8拍摄到的图像以从收容容器11的上方的视点投影而得到的图像(即，从图19中的空心箭头的方向的投影图像)的图。如图20所示，在该投影图像中包含收容容器11、以及收容于该收容容器11的9个对象物10a～10i。

在图像信息处理装置44中，图19所示那样的图像作为图像信息由图像信息取得部440取得。并且，在图像信息处理装置44中，利用搜索部441，从以图20所示那样的由拍摄装置8拍摄到的图像为基础得到的投影图像中搜索收容容器11以及对象物10。图21是示出从图20所示的投影图像中搜索到收容容器11以及对象物10的情形的图。

与第一具体例同样地，在本具体例中，搜索部441也使用收容容器搜索用的搜索框即第一搜索框f1搜索收容容器11，并使用对象物搜索用的搜索框即第二搜索框f2搜索对象物10。另外，如图21所示，第一搜索框f1设定为用于对收容容器11中的收容对象物10的部分进行搜索的搜索框。另外，如图21所示，第二搜索框f2根据对象物10的图像上的大小(即，从上方观察对象物10时的该对象物10的外周的大小)而设定。并且，搜索部441的搜索的结果是，在图像信息处理装置44中，识别为在收容容器11内的前方部分9个对象物10a～10i无间隙地排列配置。

另外，在本具体例中，在第二搜索框f2也与第一具体例同样地设定有多个判定点，且对各判定点也与第一具体例同样地设定有规定的接近方向。并且，在本具体例中，也由检测部442基于根据搜索部441的搜索的结果得到的、一个对象物10与其他对象物10以及收容容器11各自的接触状态来进行接近判定处理。

图22是示出由检测部442进行的接近判定处理的结果的一部分的图。在图22中，示出对图21所示的对象物10b、10c分别进行的接近判定处理的结果。需要说明的是，与图18同样地，在图22中，第二搜索框f2的各黑圆点表示判定点。另外，在图22中，对各黑圆点设定的箭头表示规定的接近方向。另外，在图22中，表示规定的接近方向的箭头上的圆圈表示接近向量成立。另外，在图22中，表示规定的接近方向的箭头上的×标记表示接近向量不成立。需要说明的是，实线的×标记表示由于存在于搜索框f2内的一个对象物10与收容容器11接触而使接近向量不成立。另外，单点划线的×标记表示由于存在于搜索框f2内的一个对象物10与其他对象物10接触而使接近向量不成立。

如上述那样，在收容容器11内的前方部分无间隙地排列配置有9个对象物10a～10i。因此，如图22所示，在对象物10b、10c中，对于在与该对象物10b、10c的前方侧面、右侧侧面以及左侧侧面对应的位置设定的各判定点，接近向量均不成立。

另一方面，如图21所示，在收容容器11内，在比对象物10a～10c靠后方的部分形成有空间。因此，在对象物10b、10c中，对于在与该对象物10b、10c的后方侧面对应的位置设定的各判定点的、表示从后方的接近的规定的接近方向，基本上接近向量均成立。换句话说，在对象物10b、10c中，对于在搜索框f2的后方的边上设定的两个部位的判定点，接近向量均成立。

另外，在对象物10b中，对于在成为搜索框f2的后方的边的两端的两个顶点设定的判定点的、表示从后方的接近的规定的接近方向，接近向量也成立。另外，在对象物10c中，对于在成为搜索框f2的后方的边的两端的两个顶点中的对象物10b侧(在图22中朝向左侧)的顶点设定的判定点的、表示从后方的接近的规定的接近方向，接近向量成立。但是，在对象物10c中，在成为搜索框f2的后方的边的两端的两个顶点中的收容容器11的侧壁侧(在图22中朝向右侧)的顶点设定的判定点的、表示从后方的接近的规定的接近方向，接近向量不成立。这是因为，如图21所示，即使在收容容器11内的比对象物10a～10c靠后方的部分形成有空间，由于该收容容器11的侧壁成为障碍，因此也不能使机械手机构2的指部21接触对象物10c的后方侧面中的收容容器11的侧壁侧的端部。

需要说明的是，在上述的第一以及第二具体例中，在其他对象物10或者收容容器11与存在于第二搜索框f2内的一个对象物10接触的情况下，判定为接近向量不成立。然而，即使一个对象物10不与其他对象物10或者收容容器11接触，在两者之间的间隔过小的部分，也不能使机械手机构2的指部21相对于一个对象物10接近。于是，在接近判定处理中，也可以是，若存在于第二搜索框f2内的一个对象物10中的与设定于该第二搜索框f2的判定点对应的部分和其他对象物10或者收容容器11之间的、对该判定点设定的规定的接近方向上的距离(以下，也有时称为“判定距离”。)为规定的阈值以下，则判定为不能使机械手机构2的指部21从该规定的接近方向接近一个对象物10中的与该判定点对应的部分。

接下来，基于图23～图28对第三具体例进行说明。图23是示出第三具体例中的、由拍摄装置8拍摄到收容容器11以及收容于该收容容器11的多个对象物10时的图像的图。如图23所示，在本具体例中，收容容器11具有仅上方部分(顶面)开放的箱型的形状。另外，对象物10的形状为圆柱形。并且，在收容容器11内，9个对象物10以相邻的对象物10彼此相互接触的状态排列收容。另外，在收容容器11内，在与该收容容器11的侧壁相邻的位置配置的各对象物10也成为与该收容容器11接触的状态。需要说明的是，如上述那样，在本具体例中，收容容器11的形状信息以及对象物10的形状信息也预先存储于图像信息处理装置44的存储部443。

在把持系统100中，利用拍摄装置8对包含上述那样的状态的收容容器11以及对象物10的图像从能够看到其上表面的方向进行拍摄。图24是示出将由拍摄装置8拍摄到的图像以从收容容器11的上方的视点投影而得到的图像(即，从图23中的空心箭头的方向的投影图像)的图。如图24所示，在该投影图像中包括收容容器11、以及收容于该收容容器11的9个对象物10a～10i。

在图像信息处理装置44中，图23所示那样的图像作为图像信息由图像信息取得部440取得。并且，在图像信息处理装置44中，利用搜索部441从以图24所示那样的由拍摄装置8拍摄到的图像为基础得到的投影图像中搜索收容容器11以及对象物10。图25是示出从图24所示的投影图像中搜索到收容容器11以及对象物10的情形的图。

与第一具体例同样地，在本具体例中，搜索部441也使用收容容器搜索用的搜索框即第一搜索框f1搜索收容容器11，并使用对象物搜索用的搜索框即第二搜索框f2搜索对象物10。另外，如图25所示，第一搜索框f1设定为用于对收容容器11中的收容对象物10的部分进行搜索的搜索框。另外，如图25所示，第二搜索框f2根据对象物10的图像上的大小(即，从上方观察对象物10时的该对象物10的外周的大小)而设定。需要说明的是，在本具体例中，对象物10的形状为圆柱状，因此如图25所示，从上方观察该对象物10时的该对象物10的外周的形状为圆形。但是，在该情况下，第二搜索框f2也为四边形形状。需要说明的是，在该情况下，第二搜索框f2也可以是四边形形状以外的他的多边形状。

并且，搜索部441的搜索的结果是，识别为在图像信息处理装置44中，在收容容器11内，9个对象物10a～10i以相邻的对象物10彼此相互接触的状态排列收容，并且在与该收容容器11的侧壁相邻的位置配置的各对象物10a～10d、10f～10i也成为与该收容容器11接触的状态。

另外，在本具体例中，在第二搜索框f2也与第一具体例同样地设定有多个判定点。并且，对各判定点设定有规定的接近方向。但是，在本具体例中，对象物10的形状为圆柱状，因此针对判定点的规定的接近方向的设定方面与第一具体例一部分不同。具体而言，对设定于第二搜索框f2的顶点的判定点设定的规定的接近方向与第一具体例不同。

图26是示出设定于第二搜索框f2的多个判定点、以及对各判定点设定的规定的接近方向的图。与图17同样地，在图26中，第二搜索框f2的各黑圆点表示判定点。另外，在图26中，对各黑圆点设定的箭头表示规定的接近方向。如图26所示，在本具体例中，也与第一具体例同样地，判定点在第二搜索框f2的、各顶点以及各边上的各两个部位设定于共计12个部位。另外，如图26所示，对于在第二搜索框f2的各边上设定的判定点，将与各边正交的方向设定为规定的接近方向。并且，对于在第二搜索框f2的各顶点设定的判定点，将从各顶点延伸的对角线的方向设定为规定的接近方向。

并且，在本具体例中，也由检测部442基于根据搜索部441的搜索的结果得到的、一个对象物10与其他对象物10以及收容容器11各自的接触状态进行接近判定处理。但是，在本具体例中，对象物10的形状为圆柱状，因此一个对象物10中的与判定点对应的部分不与其他对象物10或者收容容器11接触。然而，如上述那样，即使一个对象物10不与其他对象物10或者收容容器11接触，在两者之间的间隔过小的部分，不能使机械手机构2的指部21相对于一个对象物10接近。于是，在本具体例中，基于关于各判定点的判定距离来进行接近判定处理。

图27是用于对判定距离的具体例进行说明的图。在此，举出图25所示的对象物10f为例对判定距离进行说明。图27是将在其框内存在对象物10f的第二搜索框f2的一部分放大而得到的图。在该放大部分中包含判定点P1、P2、P3。如上述那样，判定距离是存在于第二搜索框f2内的一个对象物10中的与设定于该第二搜索框f2的判定点对应的部分和其他对象物10或者收容容器11之间的、对该判定点设定的规定的接近方向上的距离。因此，图27所示的关于判定点P1的判定距离成为对象物10f与收容容器11的侧壁之间的规定的接近方向上的距离即d1。另外，图27所示的关于判定点P2的判定距离成为对象物10f与收容容器11的侧壁之间的规定的接近方向上的距离即d2。图27所示的关于判定点P3的判定距离成为对象物10f与相邻的对象物10i之间的规定的接近方向上的距离即d3。并且，关于在第二搜索框f2的顶点设定的判定点P1的判定距离d1大于关于在该第二搜索框f2的各边上设定的判定点P2、P3的判定距离d2、d3。因此，判定距离d1大于规定的阈值。另外，判定距离d2以及判定距离d3为规定的阈值以下。因此，在接近判定处理中，对于判定点P1，判定为接近向量成立，对于判定点P2、P3，判定为接近向量不成立。

图28是示出由检测部442进行的接近判定处理的结果的一部分的图。在图28中，示出图25所示的对对象物10f进行的接近判定处理的结果。需要说明的是，与图18同样地，在图28中，表示规定的接近方向的箭头上的圆圈表示接近向量成立。另外，在图28中，表示规定的接近方向的箭头上的×标记表示接近向量不成立。另外，实线的×标记表示由于存在于搜索框f2内的对象物10f与收容容器11之间的判定距离为规定的阈值以下而使接近向量不成立。另外，单点划线的×标记表示由于存在于搜索框f2内的对象物10f与其他对象物10之间的判定距离为规定的阈值以下而使接近向量不成立。

如上述那样，在收容容器11内，9个对象物10a～10i以相邻的对象物10彼此相互接触的状态排列收容，且在与该收容容器11的侧壁相邻的位置配置的各对象物10a～10d、10f～10i也成为与该收容容器11接触的状态。因此，判定距离大于规定的阈值的判定距离仅是关于在第二搜索框f2的顶点设定的判定点的判定距离。因此，如图28所示，在对象物10f中，仅对于在第二搜索框f2的各顶点设定的判定点，接近向量成立。并且，对于在第二搜索框f2的各边上设定的各判定点，接近向量不成立。

如上述的第一～第三具体例那样，通过对在第二搜索框f2设定有多个的判定点分别判定机械手机构2的指部21是否能够接近存在于该第二搜索框f2内的一个对象物10中的与各判定点对应的部分，从而能够在一个对象物10中对能够使该机械手机构2的该指部21接近的部分进行检测。

(图像信息处理的流程)

接下来，基于图29所示的流程图对在图像信息处理装置44中进行的图像信息处理的流程进行说明。该图像信息处理的流程通过在图像信息处理装置44中执行规定的处理程序而实现。在本流程中，首先在S101中，利用图像信息取得部440从拍摄装置8取得图像信息。

接下来，在S102中，利用搜索部441从由拍摄装置8拍摄到的图像中搜索收容容器11以及对象物10。在此，如上述那样，基于存储于存储部443的收容容器11的形状信息以及对象物10的形状信息来进行收容容器11以及对象物10的搜索。另外，若在由拍摄装置8拍摄到的图像中包含多个对象物10，则搜索部441对该多个对象物10逐个进行识别。

接下来，在S103中，利用检测部442对搜索部441搜索到的各对象物10执行上述那样的接近判定处理。其结果是，对各对象物10导出图18、图22、图28所例示的那样的接近判定处理的结果。由此，能够对各对象物10中的可接近部分进行检测。

(机械手控制)

接下来，基于图30所示的流程图，对在由机械手机构2把持对象物10时由机械手控制装置43进行的机械手控制的流程进行说明。该机械手控制的流程通过在机械手控制装置43中执行规定的处理程序而实现。

在本流程中，首先在S201中，从图像信息处理装置44取得与对象物10相关的信息即对象物信息。在此时取得的对象物信息中，不仅包含对象物10的形状信息，还包含由图像信息处理装置44的检测部442进行的、收容于收容容器11的各对象物10中的可接近部分的检测结果(即，由上述的图像信息处理导出的、关于各对象物10的接近判定处理的结果)。

接下来，在S202中，基于从图像信息处理装置44取得的对象物信息，来决定由机械手机构2对收容于收容容器11的一个对象物10进行把持时的把持方式。进而，在S203中，基于从图像信息处理装置44取得的对象物信息，来决定在由机械手机构2对收容于收容容器11的一个对象物10进行把持时在一个对象物10中使该机械手机构2的指部21接触的部分。

例如，在由图像信息处理装置44的检测部442检测的可接近部分的检测结果为上述的图像信息处理的第一具体例中说明的那样的结果的情况下，对于图15所示的图像所包含的对象物10b、10c，能够判断为能够使机械手机构2的指部21接近对象物10b、10c的上表面。进而，能够判断为，在使机械手机构2的指部21接触对象物10b或者对象物10c的上表面的基础上，通过使对象物10b或者对象物10c向近前倾倒，能够对它们进行倾倒把持。于是，在该情况下，在机械手控制中，将由机械手机构2把持对象物10b或者对象物10c时的把持方案决定为倾倒把持。另外，将在对对象物10b或者对象物10c进行倾倒把持时在它们中使机械手机构2的指部21接触的部分决定为它们的上表面。

另外，例如，在由图像信息处理装置44的检测部442检测的可接近部分的检测结果为上述的图像信息处理的第二具体例中说明的那样的结果的情况下，对于图20所示的图像所包含的对象物10b、10c，能够判断为能够使机械手机构2的指部21接近对象物10b、10c的后方侧面。进而，能够判断为，在使机械手机构2的指部21接触对象物10b或者对象物10c的后方侧面的基础上，通过将对象物10b或者对象物10c按压在载置于其前方的其他对象物10(即，对象物10e或者对象物10f)，并且使对象物10b或者对象物10c的位置向上方错开，能够对它们进行错开把持。于是，在该情况下，在机械手控制中，将由机械手机构2把持对象物10b或者对象物10c时的把持方案决定为错开把持。另外，将在对对象物10b或者对象物10c进行错开把持时在它们中使机械手机构2的指部21接触的部分决定为它们的后方侧面。

另外，例如，在由图像信息处理装置44的检测部442检测的可接近部分的检测结果为上述的图像信息处理的第三具体例中说明的那样的结果的情况下，对于图24所示的图像所包含的对象物10f，能够判断为能够使机械手机构2的指部21接近对象物10f的侧面中的相互对置的部分。因此，能够判断为能够对对象物10f进行直接把持。于是，在该情况下，在机械手控制中，将由机械手机构2把持对象物10f时的把持方案决定为直接把持。另外，将在对对象物10f进行直接把持时在对象物10f中使机械手机构2的指部21接触的部分决定为对象物10f的侧面中的相互对置的部分。

这样，在机械手控制中，通过取得由图像信息处理装置44的检测部442检测的可接近部分的检测结果，能够决定由机械手机构2对收容于收容容器11的一个对象物10进行把持时的、把持方式以及在一个对象物10中使该机械手机构2的指部21接触的部分。

＜变形例＞

接下来，基于图31～图33对本实施例的、由机械手控制装置进行的机械手控制的变形例进行说明。图31是示出本变形例中的、收容容器11以及收容于该收容容器11的两个对象物10a、10b的情形的图。在本变形例中，收容容器11具有仅上方部分开放的箱型的形状。另外，对象物10a、10b的形状为长方体。需要说明的是，图31示出从上方观察收容容器11、以及收容于该收容容器11的两个对象物10a、10b时的情形。

另外，图32示出在把持图31所示的对象物10a时使机械手机构2的指部21相对于该对象物10a接近时的该机械手机构2的方式。以下，也有时将图32所示的机械手机构2的方式称为“第一接近方式”。另外，图33示出在把持图31所示的对象物10b时使机械手机构2的指部21相对于该对象物10b接近时的该机械手机构2的方式。以下，也有时将图33所示的机械手机构2的方式称为“第二接近方式”。需要说明的是，在图32、图33中，为了方便起见，仅图示第一指部21A以及第三指部21C，并省略第二指部21B以及第四指部21D的图示。

另外，以下，也有时将，使机械手机构2的方式为图32所示的第一接近方式、或者图33所示的第二接近方式时的、第三指部31C中其前端部(第一指连杆部211C的前端部)与其第一关节部22C的外侧部之间的距离称为“指宽度”。需要说明的是，在图32中，由df1表示第一接近方式中的指宽度。另外，在图33中，由df2表示第一接近方式中的指宽度。

如图31所示，在本变形例中，在收容容器11内，两个对象物10a、10b均以其左侧侧面S2以及右侧侧面S3从该收容容器11的侧壁分离的状态载置。因此，在图像信息处理装置44中进行的图像信息处理中，对于对象物10a、10b，将其左侧侧面S2以及右侧侧面S3检测为可接近部分。其结果是，在由机械手控制装置43进行的机械手控制中，将由机械手机构2把持对象物10a、10b时的把持方案决定为直接把持。另外，将在对对象物10a、10b进行直接把持时在它们中使机械手机构2的指部21接触的部分决定为它们的左侧侧面S2以及右侧侧面S3。

在此，如图31所示，在收容容器11内中，对象物10a载置于该收容容器11的横向的大致中央部分。换句话说，从对象物10a的左侧侧面S2到收容容器11的侧壁的距离dL1与从对象物10a的右侧侧面S3到收容容器11的侧壁的距离dR1大致相等。因此，对于对象物10a，其左侧侧面S2以及右侧侧面S3均相对于收容容器11的侧壁充分确保了距离。因此，机械手控制装置43将使机械手机构2的指部21相对于对象物10a接近时的该机械手机构2的方式决定为图32所示的第一接近方式。在该第一接近方式中，如图32所示，在把持对象物10a时，接触该对象物10a的左侧侧面S2的第一指部21A与接触该对象物10a的右侧侧面S3的第三指部21C成为打开为大致左右对称的形状的状态。

需要说明的是，为了利用机械手机构2的第一指部21A以及第三指部21C将对象物10a(或者对象物10b)夹入而把持，在使该机械手机构2的第一指部21A以及第三指部21C接近对象物10a(或者对象物10b)的情况下，成为将第一指部21A以及第三指部21C各自的前端部(第一指部21A的第一指连杆部211A的前端部和第三指部21C的第一指连杆部211C的前端部)彼此的间隔W2扩展为大于对象物10a(或者对象物10b)中的左侧侧面S2与右侧侧面S3之间的宽度W1的状态。

另一方面，如图31所示，在收容容器11内，对象物10b载置于与该收容容器11的右侧的侧壁接近的位置。因此，从对象物10b的左侧侧面S2到收容容器11的侧壁的距离dL2与从对象物10a的左侧侧面S2到收容容器11的侧壁的距离dL1相比相当大。另外，从对象物10b的右侧侧面S3到收容容器11的侧壁的距离dR2与从对象物10a的右侧侧面S3到收容容器11的侧壁的距离dR1相比相当小。

因此，从对象物10b的右侧侧面S3到收容容器11的侧壁的距离dR2小于图32所示的第一接近方式中的指宽度df1。因此，在使机械手机构2的方式为图32所示的第一接近方式的状态下，对于对象物10b不能使该机械手机构2的指部21接近对象物10b。

于是，机械手控制装置43将使机械手机构2的指部21相对于对象物10b接近时的该机械手机构2的方式决定为图33所示的第二接近方式。在该第二接近方式下，如图33所示，在把持对象物10b时，接触该对象物10b的左侧侧面S2的第一指部21A与接触该对象物10b的右侧侧面S3的第三指部21C成为打开为左右非对称的形状的状态。并且，在该第二接近方式中，指宽度df2小于从对象物10b的右侧侧面S3到收容容器11的侧壁的距离dR2。但是，在第二接近方式中，也，第一指部21A以及第三指部21C各自的前端部彼此的间隔W2也与图32所示的第一接近方式中的该间隔W2同等地维持。通过使机械手机构2的方式为这样的第二接近方式，能够使该机械手机构2的指部21相对于对象物10b接近。

如以上说明的那样，在本变形例中，基于在把持对象的对象物10中使机械手机构2的指部21接触的部分与收容容器11(或者其他对象物10)之间的距离的大小，来决定机械手控制装置43使该机械手机构2的指部21相对于该对象物10接近时的该机械手机构2的方式。由此，能够以与收容容器11内的把持对象的对象物10的载置状况相应的方式，使机械手机构2的指部21接近该对象物10。

需要说明的是，使该机械手机构2的指部21接近时的该机械手机构2的方式并不限于图32所示的第一接近方式、以及图33所示的第二接近方式，只要是在该机械手机构2中能够采取的方式，则也可以是任意的方式。

附图标记说明：

1机械臂，2机械手机构，8拍摄装置，20基座部，21指部，22第一关节部，23第二关节部，211第一指连杆部，212第二指连杆部，213基端部，3臂机构，30a第一关节部，30b第二关节部，30c第三关节部，30d第四关节部，30e第五关节部，30f第六关节部，31第一臂连杆部，32第二臂连杆部，33第三臂连杆部，34第四臂连杆部，35第五臂连杆部，36连接构件，4台座部，42臂控制装置，420臂控制部，421马达状态量取得部，43机械手控制装置，430对象物信息取得部，431机械手控制部，432马达状态量取得部，44图像信息处理装置，440图像信息取得部，441搜索部，442检测部，443存储部，70压敏传感器，100把持系统。

Claims (13)

1.一种图像信息处理装置，其应用于把持系统，所述把持系统利用具有多个指部的机械手机构对收容于收容容器的对象物进行把持，且具有对包含该收容容器、以及收容于该收容容器的至少一个该对象物的图像进行拍摄的拍摄装置，所述图像信息处理装置对由该拍摄装置取得的图像信息进行处理，其中，

所述图像信息处理装置具备：

搜索部，其基于预先存储的、所述收容容器的形状信息以及所述对象物的形状信息，从由所述拍摄装置拍摄到的图像中，使用所述收容容器搜索用的搜索框即第一搜索框搜索所述收容容器，并使用所述对象物搜索用的搜索框即第二搜索框搜索所述对象物；以及

检测部，其基于根据所述搜索部的搜索结果得到的、一个对象物与其他对象物以及所述收容容器各自的接触状态，来检测在收容于所述收容容器的一个对象物中能够使所述机械手机构的所述指部接近的部分，

在所述第二搜索框的规定的位置预先设定有多个判定点，并且对各判定点设定有规定的接近方向，

所述检测部对存在于所述第二搜索框内的一个对象物，判定是否能够使所述机械手机构的所述指部从对各判定点设定的所述规定的接近方向接近与设定于该第二搜索框的各判定点对应的部分。

2.根据权利要求1所述的图像信息处理装置，其中，

若其他对象物或者所述收容容器从对该判定点设定的所述规定的接近方向与存在于所述第二搜索框内的一个对象物中的和设定于该第二搜索框的判定点对应的部分接触，则所述检测部判定为不能使所述机械手机构的所述指部从该规定的接近方向接近一个对象物中的与该判定点对应的部分。

3.根据权利要求1所述的图像信息处理装置，其中，

若存在于所述第二搜索框内的一个对象物中的和设定于该第二搜索框的判定点对应的部分与其他对象物或者所述收容容器之间的、在对该判定点设定的所述规定的接近方向上的距离为规定的阈值以下，则所述检测部判定为不能使所述机械手机构的所述指部从该规定的接近方向接近一个对象物中的与该判定点对应的部分。

4.根据权利要求1至3中任一项所述的图像信息处理装置，其中，

所述第二搜索框是根据所述对象物的所述图像上的外周的大小而设定的多边形的框，

在所述第二搜索框的、各边上以及各顶点设定有所述判定点。

5.根据权利要求4所述的图像信息处理装置，其中，

在所述对象物的所述图像上的外周的形状为四边形的情况下，对于在与该对象物的该外周的顶点对应的所述第二搜索框的顶点设定的所述判定点，将与形成该第二搜索框的顶点的两边分别正交的两个方向设定为所述规定的接近方向。

6.根据权利要求5所述的图像信息处理装置，其中，

在存在于所述第二搜索框内的一个对象物与所述收容容器接触的情况下，所述检测部对一个对象物的所述图像上的外周的、由与所述收容容器接触的边和另一边形成的顶点，判定为从对设定于与该顶点对应的所述第二搜索框的顶点的所述判定点设定的两个方向的所述规定的接近方向，均不能使所述机械手机构的所述指部接近。

7.根据权利要求4所述的图像信息处理装置，其中，

在所述对象物的所述图像上的外周的形状为圆形的情况下，对于在所述第二搜索框的顶点设定的所述判定点，将从该顶点延伸的对角线的方向设定为所述规定的接近方向。

8.一种把持系统，其中，

所述把持系统具备：

所述机械手机构；

所述拍摄装置；

权利要求1至7中任一项所述的图像信息处理装置；以及

机械手控制装置，其基于所述图像信息处理装置的所述检测部的检测结果，来决定由所述机械手机构对收容于所述收容容器的一个对象物进行把持时的把持方式。

9.一种把持系统，其中，

所述把持系统具备：

所述机械手机构；

所述拍摄装置；

权利要求1至7中任一项所述的图像信息处理装置；以及

机械手控制装置，其基于所述图像信息处理装置的所述检测部的检测结果，来决定在由所述机械手机构对收容于所述收容容器的一个对象物进行把持时在一个对象物中使该机械手机构的所述指部接触的部分。

10.根据权利要求8所述的把持系统，其中，

所述机械手控制装置基于在一个对象物中使该机械手机构的所述指部接触的部分与其他对象物或者所述收容容器之间的距离的大小，来决定使该机械手机构的指部相对于一个对象物接近时的该机械手机构的方式。

11.一种图像信息处理方法，其在利用具有多个指部的机械手机构对收容于收容容器的对象物进行把持的把持系统中，对图像信息进行处理，所述图像信息由对包含该收容容器、以及收容于该收容容器的至少一个该对象物的图像进行拍摄的拍摄装置取得，其中，

所述图像信息处理方法包括：

搜索步骤，基于预先存储的、所述收容容器的形状信息以及所述对象物的形状信息，从由所述拍摄装置拍摄到的图像中，使用所述收容容器搜索用的搜索框即第一搜索框搜索所述收容容器，并使用所述对象物搜索用的搜索框即第二搜索框搜索所述对象物；以及

检测步骤，基于根据所述搜索部的搜索结果得到的、一个对象物与其他对象物以及所述收容容器各自的接触状态，来检测在收容于所述收容容器的一个对象物中能够使所述机械手机构的所述指部接近的部分，

在所述第二搜索框的规定的位置预先设定有多个判定点，并且对各判定点设定有规定的接近方向，

在所述检测步骤中，对存在于所述第二搜索框内的一个对象物，判定是否能够使所述机械手机构的所述指部从对各判定点设定的所述规定的接近方向接近与设定于该第二搜索框的各判定点对应的部分。

12.根据权利要求11所述的图像信息处理方法，其中，

在所述检测步骤中，若其他对象物或者所述收容容器从对该判定点设定的所述规定的接近方向与存在于所述第二搜索框内的一个对象物中的和设定于该第二搜索框的判定点对应的部分接触，则判定为不能使所述机械手机构的所述指部从该规定的接近方向接近一个对象物中的与该判定点对应的部分。

13.根据权利要求11所述的图像信息处理方法，其中，

在所述检测步骤中，若存在于所述第二搜索框内的一个对象物中的和设定于该第二搜索框的判定点对应的部分与其他对象物或者所述收容容器之间的、在对该判定点设定的所述规定的接近方向上的距离为规定的阈值以下，则判定为不能使所述机械手机构的所述指部从该规定的接近方向接近一个对象物中的与该判定点对应的部分。

Images