CN110497401A - 取出散装的工件的机器人系统以及机器人系统的控制方法 - Google Patents

Abstract

本发明提供取出散装的工件的机器人系统以及机器人系统的控制方法。机器人系统具备机器人、机械手以及获取到达工件为止的距离信息的范围传感器。机械手的爪部具有把持区域，该把持区域具有用于把持工件的形状。在移动至机器人用于把持工件的位置为止的期间中，当机械手与工件碰撞时，控制装置使机器人停止。控制装置判定是否能够通过机械手的把持区域以外的部分把持目标工件。在判定为能够通过把持区域以外的部分把持目标工件的情况下，控制装置实施如下控制：通过机械手把持目标工件，并使目标工件在集装箱内部进行移动。

Description

取出散装的工件的机器人系统以及机器人系统的控制方法

技术领域

本发明涉及取出散装的工件的机器人系统以及机器人系统的控制方法。

背景技术

在将多个工件收容到集装箱等容器的情况下，有时工件被配置成工件的间隔或朝向不规则。即，有时在容器内部散装工件。在现有技术中已知一种机器人系统，其具备从散装了工件的容器内部取出工件的机器人(例如日本特开2014-210311号公报)。

散装的工件以各种间隔或各种朝向收容。因此，优选检测工件的位置和姿势而取出工件。在现有技术中，已知为了检测工件的位置和姿势而使用三维传感器(例如日本专利第3925020号公报)。在该方法中，通过三维传感器拍摄配置在容器内的工件。可以通过由三维传感器获取到的图像来获取散装的工件的三维点群等信息。而且，可以检测工件的位置和姿势，并根据工件的位置和姿势来控制机器人的位置和姿势。

发明内容

作为把持工件的末端执行器，可以使用具有用于夹持工件的爪部额机械手。三维传感器可以检测散装的最上侧的层的工件的位置和姿势。即，可以检测在能够从三维传感器观察的位置处配置的工件的位置和姿势。作为三维传感器已知使用具备两台摄像机的立体摄像机。在立体摄像机中，可以根据由两台摄像机拍摄的二维图像，来检测设定于工件的表面的测量点的位置。

然而，立体摄像机具有以下特征：如果不使用两台摄像机拍摄工件，则无法正确地检测工件的位置和姿势。例如在存在由于一个工件的死角(dead angle)而无法拍摄到的其它工件的情况下，无法检测到其它工件的位置和姿势。因此，在机械手前进至目标位置为止的过程中，爪部与其它工件碰撞，从而有时机械手的爪部无法前进至目标位置。其结果是，有时无法取出工件。如果无法取出容器的上部的工件，则难以取出配置在容器的下部的工件，因此有时产生遗留。

就由机器人无法取出的工件而言，一旦中止取出而取出周围的工件，从而发生货物崩塌。在此之后，可以尝试取出无法取出的工件。然而，在该控制中，有时即使发生货物崩塌工件也不会成为期望的位置和姿势。另外，有时并不发生货物崩塌。其结果是，有时无法取出的工件残留于容器。这样，在取出散装的工件的控制方面存在改善的余地。

本公开的第一方式是一种取出散装在容器的内部的工件的机器人系统。机器人系统具备：机械手，其具有多个爪部，通过爪部把持工件；以及机器人，其移动机械手。机器人系统具备：三维传感器，其获取到达工件为止的距离信息；以及控制装置，其控制机械手和机器人。爪部具有：把持区域，其具有用于把持工件的形状。控制装置包括：获取部，其根据三维传感器的输出来获取工件的三维信息；以及选择部，其根据工件的三维信息来选择由机器人取出的目标工件。控制装置包括：碰撞检测部，其在机器人移动至用于把持目标工件的目标位置为止的期间中，当机械手与工件碰撞时使机器人停止；以及位置检测部，其检测由碰撞检测部停止的机器人的停止位置。控制装置包括：判定部，其根据机器人的目标位置和停止位置来判定是否能够通过机械手的把持区域以外的部分把持目标工件。控制装置包括：移动控制部，其控制机器人，使得在容器的内部移动工件。在判定部判定为在把持区域以外的部分能够把持目标工件的情况下，移动控制部实施如下控制：通过机械手把持目标工件，并在移动目标工件之后放开目标工件。

本公开的第二方式是一种取出散装在容器的内部的工件的机器人系统。机器人系统具备：机械手，其具有多个爪部，通过爪部把持工件；以及机器人，其移动机械手。机器人系统具备：三维传感器，其获取到达工件为止的距离信息；以及控制装置，其控制机械手和机器人。爪部具有：把持区域，其具有用于把持工件的形状。控制装置包括：获取部，其根据三维传感器的输出来获取工件的三维信息；以及选择部，其根据工件的三维信息来选择由机器人取出的目标工件。控制装置包括：碰撞检测部，其在机器人移动至用于把持目标工件的目标位置为止的期间，当机械手与工件碰撞时使机器人停止；以及位置检测部，其检测由碰撞检测部停止的机器人的停止位置。控制装置包括：判定部，其根据机器人的目标位置和停止位置来判定是否能够通过机械手的把持区域以外的部分按压目标工件。控制装置包括：移动控制部，其控制机器人，使得在容器的内部移动工件。在判定部判定为通过把持区域以外的部分能够按压目标工件的情况下，移动控制部控制机器人，使得不驱动爪部而水平方向移动机械手，并通过机械手按压工件。

本公开的第三方式是一种机器人系统的控制方法，该机器人系统具备机器人以及具有多个爪部的机械手，取出散装在容器的内部的工件。控制方法包括：拍摄工序，通过获取到达工件为止的距离信息的三维传感器来拍摄工件；以及获取工序，根据三维传感器的输出来获取工件的三维信息。控制方法包括：选择工序，根据工件的三维信息来选择由机器人取出的目标工件。控制方法包括：停止工序，在机器人移动至用于把持目标工件的目标位置为止的期间中，当机械手与工件碰撞时使机器人停止；以及检测工序，检测在停止工序中停止的机器人的停止位置。控制方法包括：判定工序，根据机器人的目标位置和停止位置，判定是否能够通过具有用于把持工件的形状的机械手的把持区域以外的部分把持目标工件。控制方法包括：移动工序，控制机器人，使得在机械手与工件碰撞之后，在容器的内部移动工件。移动工序包括以下工序：在判定工序中判定为能够通过把持区域以外的部分把持目标工件的情况下，通过机械手把持目标工件，在使目标工件移动之后放开工件。

本公开的第四方式是一种机器人系统的控制方法，该机器人系统具备机器人以及具有多个爪部的机械手，取出散装在容器的内部的工件。控制方法包括：拍摄工序，通过获取到达工件为止的距离信息的三维传感器来拍摄工件；以及获取工序，根据三维传感器的输出来获取工件的三维信息。控制方法包括：选择工序，根据工件的三维信息来选择由机器人取出的目标工件。控制方法包括：停止工序，在机器人移动至用于把持目标工件的目标位置为止的期间中，当机械手与工件碰撞时使机器人停止；以及检测工序，检测停止的机器人的停止位置。控制方法包括：判定工序，根据机器人的目标位置和停止位置，判定是否能够通过具有用于把持工件的形状的机械手的把持区域以外的部分按压目标工件。控制方法包括：移动工序，控制机器人，使得在机械手与工件碰撞之后，在容器的内部移动工件。移动工序包括以下工序：在判定工序中判定为通过把持区域以外的部分能够按压目标工件的情况下，控制机器人，使得不驱动爪部而向水平方向移动机械手，并通过机械手按压工件。

附图说明

图1是实施方式中的机器人系统的立体图。

图2是实施方式中的机器人系统的框图。

图3是实施方式中的机械手的放大立体图。

图4是实施方式中的范围传感器和工件的局部截面图。

图5是在机械手的把持区域内把持工件时的第一工序的概要侧视图。

图6是在机械手的把持区域内把持工件时的第二工序的概要侧视图。

图7是说明实施方式中的第一控制的第一工序的概要侧视图。

图8是说明实施方式中的第一控制的第二工序的概要侧视图。

图9是说明实施方式中的第一控制的第三工序的概要侧视图。

图10是说明用于判定在把持区域以外的部分是否能够把持工件的判定范围的概要侧视图。

图11是说明实施方式中的第二控制的第一工序的概要侧视图。

图12是说明实施方式中的第二控制的第二工序的概要侧视图。

图13是说明用于判定在把持区域以外的部分是否能够按压工件的判定范围的概要侧视图。

图14是实施方式中的包括第一控制和第二控制的控制的流程图。

图15是说明在爪部的前端部把持工件并进行移动时的其它方式的概要侧视图。

图16是并不实施实施方式中的第一控制而实施第二控制的控制的流程图。

图17是说明移动工件的方向的局部截面图。

具体实施方式

参照图1至图17说明实施方式中的机器人系统和机器人系统的控制方法。本实施方式的机器人系统实施以下作业：取出在容器内部堆积如山的工件，将工件输送到预定的位置。

图1是本实施方式中的机器人系统的立体图。机器人系统5具备机器人1以及机械手2。机器人系统5具备对机器人1和机械手2进行控制的控制装置4。本实施方式的机器人1为包括多个关节部的多关节机器人。本实施方式的机器人1包括上部臂11和下部臂12。下部臂12被旋转基座13支承。旋转基座13被基座14支承。机器人1包括与上部臂11的端部相连结的腕部15。腕部15包括固定机械手2的凸缘16。这些机器人1的结构部件形成为绕预定的旋转轴旋转。机器人并不限定于该方式，可以采用能够变更机械手的位置和姿势的任意机器人。

机械手2是对工件W进行把持或释放的作业工具。机械手2具有多个爪部3。通过爪部3夹持工件W来把持工件W。机械手2形成为打开爪部3或将爪部3闭合。本实施方式的机械手2具有两个爪部3，但是并不限定于该方式。机械手也可以通过三个以上的爪部来把持工件。

工件W配置于作为容器的集装箱9内部。作为容器可以采用箱或袋等能够收容工件W的任意部件。在集装箱9内部散装有工件W。集装箱9载置于架台81。本实施方式的机器人系统5从集装箱9逐个取出工件W而输送到预定的位置。

机器人系统5具备用于检测工件W的位置和姿势的作为三维传感器的范围传感器6。范围传感器6获取从范围传感器6到达工件W为止的距离信息。范围传感器6配置于能够拍摄工件W的位置。在本实施方式中，范围传感器6配置于集装箱9的上方。范围传感器6固定于支承部件83。范围传感器6由控制装置4控制。

本实施方式的范围传感器6为包含两台摄像机61、62的立体摄像机。两台摄像机61、62彼此分离地配置。摄像机61、62为能够拍摄二维图像的二维摄像机。作为摄像机61、62，能够采用具备CCD(Charge-Coupled Device：电荷耦合装置)传感器或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)传感器等摄像元件的任意摄像机。预先决定了两台摄像机61、62的相对位置。本实施方式的范围传感器6包括向工件W投影条纹图案等图案光的投影仪63。

图2示出本实施方式中的机器人系统的框图。参照图1和图2，机器人1包括使机器人1的位置和姿势发生变化的机器人驱动装置。机器人驱动装置包括对臂部和腕部等结构部件进行驱动的机器人驱动电动机22。通过机器人驱动电动机22进行驱动，由此改变各结构部件的朝向。

机器人系统5具备驱动机械手2的机械手驱动装置。机械手驱动装置包括驱动机械手2的爪部3的机械手驱动电动机21。通过机械手驱动电动机21进行驱动，由此使机械手2的爪部3打开或闭合。此外，机械手也可以形成为通过空气压力等进行驱动。

控制装置4包括运算处理装置(计算机)，该运算处理装置具有CPU(CentralProcessing Unit：中央处理器)、经由总线与CPU相连接的RAM(Random Access Memory：随机存取存储器)以及ROM(Read Only Memory：只读存储器)等。向控制装置4输入预先生成的动作程序41以进行机器人1的动作。动作程序41被存储到存储部42。另外，存储部42存储与判定范围和判定值等机器人系统5的控制有关的信息。本实施方式的机器人系统5根据动作程序41来输送工件W。机器人1能够自动地将工件W输送到预定的位置。

动作控制部43根据动作程序41将用于驱动机器人1的动作指令发送到机器人驱动部45。机器人驱动部45包括驱动机器人驱动电动机22的电路。机器人驱动部45根据动作指令对机器人驱动电动机22供电。

另外，动作控制部43根据动作程序41将驱动机械手2的动作指令发送到机械手驱动部44。机械手驱动部44包括驱动机械手驱动电动机21的电路。机械手驱动部44根据动作指令对机械手驱动电动机21供电。并且，动作控制部43根据动作程序41将驱动范围传感器6的动作指令发送到范围传感器6。

机器人1包括用于检测机器人1的位置和姿势的状态检测器。本实施方式中的状态检测器包括安装于与臂部等结构部件的驱动轴对应的机器人驱动电动机22的位置检测器18。通过位置检测器18的输出，能够获取各驱动轴中的结构部件的朝向。例如，位置检测器18检测由机器人驱动电动机22进行驱动时的旋转角。另外，位置检测器18根据机器人驱动电动机22的旋转角，能够计算机器人驱动电动机22的转速。根据位置检测器18的输出，检测机械手2的位置和姿势。

控制装置4包括根据动作程序41监视机器人1的动作的监视部52。监视部52在预定的条件下控制机器人1的动作。本实施方式的监视部52实施如下控制：选择从集装箱9取出的工件W，通过机械手2把持工件W。另外，监视部52实施如下控制：检测机械手2与工件W碰撞的情况，在集装箱9内部使工件W移动。

控制装置4包括根据范围传感器6的输出来获取工件W的三维信息的获取部58。获取部58对由摄像机61、62拍摄得到的图像进行处理。获取部58能够通过立体法来生成工件W的三维信息。获取部58根据由两台摄像机61、62拍摄得到的两个图像的视差，计算直到对工件W设定的测量点为止的距离。此外，对由摄像机61、62获取的图像进行处理的运算处理装置也可以与控制装置4分开地配置。

三维信息包括与设定于工件W表面的测量点的位置以及从范围传感器6至测量点为止的距离有关的信息。三维信息例如为距离图像或三维地图。距离图像是与距离相应地改变图像的像素的明亮度或颜色的图像。三维地图对于多个测量点包含预定的坐标系中的坐标值和距离信息。

监视部52包括选择用于由机器人1取出的目标工件W的选择部59。选择部59根据从范围传感器6的图像获取的三维信息来选择目标工件W。选择部59根据三维信息来检测工件W的位置和姿势。选择部59能够通过任意的控制来选择目标工件W。例如能够将最接近范围传感器6的工件W设定为目标工件W。即，能够按照工件W的位置从高到低的顺序选择工件W。或者，在预定的条件下，也可以选择工件W的位置低的一个。例如选择部59也可以选择由机械手可把持的部分露出较多而能够容易地把持的工件W。

另外，选择部59也可以判定是否能够通过机械手2把持工件W。例如在工件W存在于集装箱9的壁面附近的情况下，有时无法在工件W的侧方处配置机械手2的爪部3。在这种情况下，选择部59也可以判定为无法把持工件W。

而且，选择部59根据目标工件W的位置和姿势，计算机器人1能够把持工件W的目标位置和目标姿势。选择部59对动作控制部43发送机器人1的目标位置和目标姿势。机器人1朝向目标位置和目标姿势并变更位置和姿势。此时，机械手2使爪部3处于打开的状态，以便在爪部3之间配置工件W。在机器人1到达目标位置和目标姿势之后，将机械手2的爪部3闭合，由此能够把持工件W。接着，动作控制部43变更机器人1的位置和姿势而将工件W输送到期望的位置。

这样，本实施方式的机器人系统5可以根据基于范围传感器6的输出而获取的工件W的三维信息，输送散装的工件W。

图3示出本实施方式中的机械手的立体图。本实施方式中的工件W具有圆柱状的形状。特别是，本实施方式中的工件W具有圆筒形状。如箭头91所示，机械手2的爪部3向彼此相对的方向进行移动。本实施方式中的爪部3具有凹部3a。凹部3a形成于多个爪部3彼此相对一面上。凹部3a形成为从形成为平面状的爪部3的表面凹下。形成于两个爪部3的凹部3a形成为彼此相对。

本实施方式的爪部3具有把持区域，该把持区域具有用于把持工件W的形状。在本实施方式中，机械手2形成为通过彼此相对的凹部3a夹持工件W。凹部3a的表面相当于把持区域3r。以使工件W的轴方向在与爪部3移动的方向垂直的方向上延伸的方式把持工件W。在把持区域3r中夹持工件W，由此能够稳定地把持工件W。把持区域3r为工件W的至少一部分所接触的区域。把持区域能够具有用于把持工件W的任意的形状。例如把持区域也可以具有对应于工件的表面形状且与工件的表面进行面接触的形状。

爪部3具有前端的部分即前端部3b。前端部3b配置于比凹部3a更靠爪部3的前端的一侧。本实施方式的前端部3b的彼此相对的表面形成为平面状。

图4示出用于说明本实施方式中的范围传感器与工件的关系的局部截面图。为了便于说明，在图4中记载了范围传感器6与集装箱9的距离缩短。在集装箱9内部配置有多个工件W，W1，W2，W3，W4。在本实施方式中，将在集装箱9的至少一个方向上工件W彼此之间的间隔或工件W的姿势并不相同的状态称为散装的状态。在本实施方式中，多个工件W以工件W的轴线(工件W延伸的方向)相互平行的方式配置于集装箱9。然而，在工件W的轴线的垂直方向上，工件W彼此之间的间隔并不固定，因此处于散装的状态。此外，在散装的状态下，多个工件的朝向也可以不规则。

范围传感器6的摄像机61具有能够拍摄的范围即视场61a。摄像机62具有能够拍摄的范围即视场62a。优选将摄像机61、62配置成在视场61a、62a的内部收容集装箱9。即，优选将摄像机61、62配置成可以拍摄能够从集装箱9的上方观察的所有工件。

图5示出在机械手的把持区域内把持工件时的第一工序的说明图。参照图4和图5，在本例中，选择部59在多个工件W中选择工件W4。工件W4被配置于散装的层中最上侧的层。在图5示出的状态下，到达用于机器人1把持工件W的目标位置和目标姿势。在爪部3的凹部3a彼此之间配置有工件W4。即，机器人1以在把持区域3r中夹持的区域内配置工件W4的方式控制位置和姿势。而且，如箭头92所示那样闭合爪部3。

图6示出在机械手的把持区域内把持工件时的第二工序的说明图。通过将爪部3闭合，工件W4被凹部3a夹持。这样，通过爪部3的把持区域3r来夹持工件W4，由此稳定地把持工件W4。在输送工件W4的期间工件W不会从机械手2脱落而能够稳定地输送工件W4。

图7表示说明本实施方式中的第一控制的第一工序的概要侧视图。参照图4和图7，关注工件W1。工件W1配置于散装堆叠的最上侧的层。在工件W1的下侧配置有工件W3。另外，在工件W1的侧方配置有工件W2。在此，工件W3配置于视场61a、62a的内部。然而，在摄像机62的视线62c的方向上在工件W3的前侧配置有工件W1。工件W3进入工件W1的死角。因此，摄像机62无法拍摄工件W3的图像。其结果是，在由获取部58生成的三维信息中并不存在工件W3。由于处理为工件W3不存在，因此选择部59判定为能够取出工件W1。其结果是，有时选择部59将工件W1选择为由机器人1取出的工件。

如图7所示，为了把持工件W1，在机器人1朝向目标位置和目标姿势进行移动的期间，有时机械手2的爪部3与工件W3碰撞。机器人1有时无法将机械手2移动至用于把持工件W1的目标位置和目标姿势。

参照图2，监视部52具有在机械手2与工件W碰撞时使机器人1停止的碰撞检测部53。参照图2和图7，碰撞检测部53检测在机器人1从移动前的位置和姿势至目标位置和目标姿势为止进行移动的期间机械手2与工件发生了碰撞的情况。本实施方式中的碰撞检测部53实施如下控制：在机械手2与工件W3发生了碰撞的情况下使机器人1停止。

碰撞检测部53可以通过任意的控制来检测机械手2与工件W发生了碰撞的情况。例如碰撞检测部53能够根据机器人驱动电动机22的干扰值来检测碰撞。或者，有时动作控制部43为了将机器人1驱动至目标位置和目标姿势，实施机器人驱动电动机22的反馈控制。在该情况下，在提供给机器人驱动电动机22的电流的增加量超出预定的判定值的情况下，碰撞检测部53能够判定为机械手2与工件W发生了碰撞。

或者，能够将距离传感器配置于机械手。碰撞检测部也可以通过获取机械手与工件的距离，检测机械手与工件发生碰撞的情况。或者，能够将接触传感器配置于机械手的前端。碰撞检测部也可以根据接触传感器的输出来检测机械手与工件发生接触的情况。或者，能够将力传感器配置于腕部。也可以在由力传感器检测出作用于机械手的力大于预定的判定值的情况下，由碰撞检测部判定为机械手与工件发生了接触。

监视部52包括对由碰撞检测部53停止的机器人1的停止位置和停止姿势进行检测的位置检测部54。位置检测部54根据位置检测器18的输出，检测机器人1的停止位置和停止姿势。

参照图2和图7，根据碰撞检测部53的功能，在至少一个爪部3与工件发生了碰撞的情况下，使机器人1停止。在该状态下，即使将爪部3闭合也无法在凹部3a中把持工件W1。即，机械手2无法可靠地把持工件W。然而，在本实施方式的第一控制中，在通过形成有凹部3a的把持区域3r以外的部分(非把持区域)能够把持目标工件W1的情况下，把持工件W1。而且，实施在集装箱9的内部使工件W1移动的控制。

监视部52具有判定部55，该判定部55根据机器人1的目标位置和停止位置，判定是否能够通过机械手2的把持区域3r以外的部分把持目标工件W1。本实施方式的判定部55判定是否能够通过爪部3的前端部3b把持工件W1。这里的示例中，判定部55判定为通过爪部3的前端部3b能够把持工件W1。

图8示出用于说明本实施方式中的第一控制的第二工序的侧视图。参照图2、图7和图8，监视部52包括移动控制部56，该移动控制部56控制机器人1在集装箱9的内部使工件W1移动。在由判定部55判定为能够把持工件W1的情况下，移动控制部56如箭头92所示将爪部3闭合。在前端部3b处把持工件W1。

图9示出说明本实施方式的第一控制的第三工序的侧视图。如箭头93所示，移动控制部56控制机器人1抓起工件W1并移动至集装箱9的内部的其它位置。通过使工件W1移动，工件W1在集装箱9的内部的位置发生变化。有时处于通过机械手2的把持区域3r能够把持工件W1的状态。因此，可以根据工件W1的新位置和姿势，尝试取出工件W1。

另外，有时能够变更对集装箱9进行俯视观察时的多个工件W的位置和姿势(装箱姿势)。例如在图9示出的示例中，有时机械手2在工件W2的正上方释放工件W1，由此工件W2和工件W3的位置和姿势发生变化。或者，有时在使工件W1移动时发生货物崩塌而多个工件W的位置和姿势发生变化。或者，有时处于能够把持配置于工件W1的下侧的工件W的状态。这样，由于能够变更工件W的位置和姿势，因此尝试取出工件W的机会增加，可以从集装箱9取出很多工件W。

如图9所示，在通过爪部3的前端部3b把持工件W1的情况下，处于把持不稳定的状态。在通过把持区域3r以外的部分把持工件W1的情况下，在输送工件W1的过程中，有时工件W1从爪部3掉落。然而，即使在工件W1掉落的情况下，工件W1的位置和姿势仍会发生变化或者在集装箱9的内部发生货物崩塌。因此，在工件W的位置和姿势发生变化的状态下，能够尝试取出工件W。

在第一控制之后，机器人系统5通过范围传感器6拍摄工件W的位置发生变化之后的状态。而且，根据获取到的新三维信息，能够实施取出工件W的作业。

图10示出说明在第一控制中判定部进行判定时的判定范围的工件和爪部的侧视图。箭头94示出机器人1到达目标位置和目标姿势时的机械手2的移动方向。图10的左侧的图为通过爪部3中的凹部3a的把持区域3r把持工件W时的图。机器人1到达目标位置和目标姿势。因此，能够通过凹部3a把持工件W。

另一方面，图10的右侧的图示出在机械手2进行移动的期间爪部3与工件W3碰撞的示例。在该情况下，通过碰撞检测部53的功能，机器人1停止。此时的机器人1的位置和姿势为停止位置和停止姿势。判定部55计算箭头94示出的爪部3的前进方向上的目标位置与停止位置的差d1。作为机器人1的目标位置与停止位置的差，能够采用机械手2的目标位置与停止位置的差。在图10示出的示例中，判定部55将箭头94的方向上的凹部3a的顶点之间的距离检测为差d1。能够通过预定的坐标系的坐标值来表示机械手的位置。例如即使机器人的位置和姿势发生变化仍可以根据原点的位置不变化的世界坐标系的坐标值来表示。判定部55根据该坐标值来能够计算差d1。

判定部55在差d1处于预定的判定范围内的情况下，判定为通过前端部3b把持工件W1。例如可以将判定范围的下限值设定为比零稍大的值。另外，能够计算与箭头92示出的爪部3进行移动的方向平行的工件W1的直径和工件W1的表面的交叉点即点P1。可以将判定范围的上限值设定为在将爪部3闭合时点P1与前端部3b的表面接触的值的最大值。判定部55在差d1大于判定范围的情况下，判定为无法通过爪部3的前端部3b把持工件W1。

此外，在检测目标位置与停止位置的差的情况下，能够采用机械手2中的任意的位置。例如判定部55也可以计算机械手2的工具前端点TCP彼此之间的距离。

接着，说明本实施方式的第二控制。图11示出用于说明本实施方式中的第二控制的第一工序的侧视图。这里的示例中，在判定部55判定为无法通过机械手2的把持区域3r以外的部分把持目标工件W的情况下，实施第二控制。参照图2和图11，在第二控制中，判定部55判定是否能够通过爪部3按压工件W1。换言之，判定部55判定在不驱动爪部3的条件下一边维持打开的状态一边向水平方向进行移动时爪部3是否与工件W1接触。在图11示出的示例中，判定部55判定为可以通过爪部3按压工件W1的上部。

在判定部55判定为能够通过爪部按压工件W1的情况下，移动控制部56在不驱动爪部3的条件下维持打开的状态。而且，移动控制部56控制机器人1使机械手2移动并通过机械手2按压工件W。如箭头98所示，移动控制部56使机械手2向水平方向进行移动。

图12示出用于说明本实施方式中的第二控制的第二工序的侧视图。如箭头98所示，通过使机械手2的爪部3进行移动，能够通过爪部3的前端部3b处按压工件W1。如箭头99所示使工件W1进行移动，由此工件W1的位置发生变化。另外，有时俯视观察时的多个工件的位置和姿势发生变化。在图12示出的示例中，如箭头100所示，工件W3的位置发生变化。

即使在第二控制中，工件W1的位置和姿势也发生变化或者在集装箱9的内部也发生货物崩塌。因此，在工件W的位置和姿势发生变化的状态下可以尝试取出工件W。从而取出工件的机会增加而能够取出很多工件。

在实施第二控制之后，使用范围传感器6来获取工件W的新三维信息。而且，能够使取出工件W的控制继续。

图13示出用于说明第二控制中的判定范围的概要图。图13的左侧的图表示机器人1到达目标位置和目标姿势而把持工件W的状态。工件W被夹持在构成把持区域3r的凹部3a中。

图13的右侧的图是爪部3与工件W3碰撞而机器人1在停止位置和停止姿势停止时的图。判定部55能够计算箭头94示出的机械手2的移动方向上的目标位置与停止位置的差d2。差d2大于图10示出的差d1。与图10示出的第一控制同样地，判定部55能够设定点P1。另外，判定部55能够设定与箭头92示出的爪部3进行移动的方向垂直的工件W1的直径与工件W1的表面的交叉点即点P2。作为第二控制中的判定范围，能够设定在使爪部3向水平方向进行移动时前端部3b与从工件W1的点P1至点P2为止的区域进行接触的范围。即，在使机械手2向水平方向进行移动时爪部3的前端与工件W1的上部接触的区域中选择判定范围。如果差d2在判定范围内，则判定部55可以判定为能够通过机械手2按压工件W1。

图14示出在第一控制之后实施第二控制的控制的流程图。参照图2和图14，在步骤101中，范围传感器6实施拍摄工件W的拍摄工序。

在步骤102中，获取部58实施根据范围传感器6的输出来获取工件W的三维信息的获取工序。获取部58根据从范围传感器6至设定于工件W的表面的测量点为止的距离来生成工件的三维信息。

在步骤103中，选择部59实施根据工件的三维信息来选择由机器人1取出的目标工件W的选择工序。选择部59根据三维信息来计算工件W的位置和姿势。选择部59根据工件W的位置和姿势来选择目标工件W。而且，选择部59根据目标工件W的位置和姿势来设定机器人1的目标位置和目标姿势。

接着，在步骤104中，动作控制部43实施以下工序：使机器人1朝向目标位置和目标姿势进行驱动。从而变更机器人1的位置和姿势。

然后，在步骤105中，碰撞检测部53判定在机器人1移动至用于把持目标工件W的目标位置和目标姿势为止的期间中机械手2是否与工件W碰撞。在检测出机械手2与工件W碰撞的情况下，碰撞检测部53实施使机器人1停止的停止工序。在步骤105中，在机械手2与工件W碰撞而并未停止的情况下，机器人1到达目标位置和目标姿势。在该情况下，控制转移到步骤106。

在步骤106中，动作控制部43实施：取出工序：通过机械手2把持工件W而取出工件W。在该情况下，工件W通过机械手2的把持区域把持而输送到预定的位置。

接着，在步骤107中，监视部52判定是否取出预定个数的工件W。该个数的判定值可以由作业员设定为任意的个数。在步骤107中，在取出预定个数的工件W的情况下，结束该控制。在步骤107中，在并未取出预先决定的个数的工件W的情况下，控制转移到步骤103。即，在由机器人1取出的个数未达到预定个数的判定值的情况下，转移到步骤103。

然后，在步骤103中，选择部59根据在上一次的获取工序中获取的三维信息来选择接着取出的工件W。或者，也可以从步骤107转移到步骤101而从进行工件拍摄的工序起实施取出工件的控制。这样，实施以下工序：依次选择由机器人1取出的工件W，并逐个地取出工件W。

在步骤105中，在碰撞检测部53检测到机械手2的碰撞并停止的情况下，控制转移到步骤111。控制装置4实施第一控制。在步骤111中，位置检测部54实施：检测工序，检测机器人1停止时的停止位置和停止姿势。

接着，判定部55实施根据机器人1的目标位置和停止位置，判定在机械手2的把持区域3r以外的部分处是否能够把持目标工件W的判定工序。在步骤112中，判定部55对停止位置与目标位置进行比较。在步骤113中，判定部55判定在当前的机械手2的位置和姿势下将爪部3闭合时是否能够通过凹部3a以外的部分把持工件W。在步骤113中，在判定为能够通过爪部3的前端部3b把持工件W的情况下，控制转移到步骤114。

在步骤114中，移动控制部56实施以在集装箱9的内部移动工件W的方式控制机器人1的移动工序。移动控制部56实施以下工序：通过爪部3的前端部3b处把持工件W。移动控制部56实施以下工序：在使目标工件W移动之后放开工件W。其结果是，在集装箱9的内部的工件的位置发生变化。

之后，控制返回至步骤101，再次实施使范围传感器6拍摄工件W的拍摄工序。然后，控制装置4继续进行取出工件W的控制。

在步骤113中，在判定部55在判定为无法通过把持区域3r以外的部分把持工件W的情况下，控制转移到步骤115。在该情况下，控制装置4实施第二控制。在步骤115中，判定部55实施对是否能够通过机械手2的把持区域3r以外的部分按压目标工件进行判定的判定工序。在本实施方式中，判定部55判定是否能够通过爪部3按压目标工件W。

在步骤115中，在判定为能够按压工件的情况下，控制转移到步骤116。在步骤116中，移动控制部56实施以不驱动爪部3的方式来一边维持打开的状态一边使机械手2在水平方向上进行移动的移动工序。移动控制部56控制机器人1通过机械手2按压工件W。

之后，控制返回至步骤101，再次实施使范围传感器6拍摄工件W的拍摄工序。然后，控制装置4继续进行取出工件W的控制。

在步骤115中，在判定部55判定为无法按压目标工件W的情况下，控制转移到步骤117。即，无法通过爪部3的前端部3b把持目标工件W、并且即使使爪部3在水平方向上进行移动爪部3也不与工件W接触的情况下，控制转移到步骤117。在步骤117中，选择部59实施变更目标工件W的变更工序。即，停止取出当前的目标工件，将其它工件W设定为目标工件。选择部59根据当前的三维信息来选择新工件W。选择部59根据新工件W的位置和姿势来设定机器人1的目标位置和目标姿势。之后，控制转移到步骤104。控制装置4继续进行取出工件W的控制。

例如可以将步骤107中的个数的判定值设定为五个等并反复实施图14示出的控制。或者，能够将步骤107中的预定个数的判定值设定为收容于集装箱9的所有工件W的个数。

图15示出对在第一控制中通过把持区域以外的部分把持工件时使工件移动的其它方法进行说明的侧视图。在图9示出的控制中，在通过爪部3的前端部3b把持工件W之后，抓起工件W并进行移动。作为工件W的移动方法，并不限定于该方式，可以通过任意的方法进行移动。在图15示出的示例中，移动控制部56控制机器人1在通过机械手2把持目标工件W1之后，以不抓起目标工件W1的方式使目标工件W1在水平方向上进行移动。即，在把持工件W1之后，如箭头95所示，一边维持工件W1的高度一边使工件W1移动。

通过该移动方法，如箭头96所示，也能够改变工件W1的位置。另外，在图15示出的示例中，通过使工件W1进行移动，由此如箭头97所示，工件W2的位置发生变化。这样，有时能够变更目标工件W1以外的工件W2的位置和姿势。通过该移动方法，也能够变更俯视观察时的工件的位置和姿势。

在上述图14示出的控制中，实施本实施方式中的第一控制和第二控制这两种控制。机器人系统的控制方法并不限定于该方式，也可以实施第一控制和第二控制中的一个控制。例如在仅实施第一控制的情况下，能够删除步骤115和步骤116。在步骤113中，在无法通过把持区域以外的部分把持工件的情况下，控制可以转移到步骤117。

图16示出不实施第一控制而实施第二控制的控制的流程图。在该情况下，用于在第二控制中判定是否能够按压工件的判定范围增加。从步骤101至步骤107以及步骤111至步骤112为止的控制与图14示出的控制相同。在步骤118中，判定部55实施判定工序，即，根据机器人1的目标位置和停止位置，判定是否能够通过机械手2的把持区域3r以外的部分按压目标工件W。

判定部55判定在使爪部3的前端部3b在水平方向上进行移动时前端部3b是否与工件W接触。参照图13，能够将该情况下的目标位置与停止位置的差d2的判定范围的下限值设定为比零稍大的值。能够将判定范围的上限值设定为在使机械手2在水平方向上进行移动时前端部3b与从点P1至点P2为止的区域接触的值的最大值。在步骤118中，在能够通过判定为在把持区域3r以外的部分按压工件的情况下，控制转移到步骤116。

在步骤116中，移动控制部56实施以不驱动爪部3的方式一边维持打开的状态一边使机械手2在水平方向上进行移动的移动工序。另外，在步骤118中，在判定为无法通过把持区域3r以外的部分按压工件的情况下，控制转移到步骤117。在步骤117中，变更目标工件。

这样，可以不实施第一控制而实施第二控制。在该控制中，在无法通过机械手2的把持区域3r把持工件的情况下，当变更工件的位置和姿势之后仍能够尝试取出工件。

图17示出说明工件的移动方向的集装箱的概要部分截面图。在上述第一控制和第二控制中，作为使工件W移动的方向，能够采用任意的方向。在图17示出的示例中，移动控制部56实施以下工序：在把持工件W之后，使目标工件W朝向对集装箱9进行俯视观察时的集装箱9的中央进行移动。移动控制部56获取当前的工件W的位置，如箭头90所示，使工件W朝向集装箱9的宽度方向的中央线9c进行移动。或者，移动控制部56获取当前的工件W的位置，确定最接近当前的工件W的壁部9a。而且，能够使工件W1向远离最接近工件W的壁部9a的方向进行移动。通过该控制，能够将工件W集中于集装箱9的中央部。在机器人1朝向目标位置和目标姿势进行驱动时，能够避免机械手2对壁部9a产生干扰。即，能够抑制机械手2与壁部9a接触而无法把持工件W这一情况。

移动控制部56能够以任意的移动量使工件W移动。作为工件W的移动量，能够采用预定的移动量。或者，移动控制部56也可以控制机器人1使工件W输送到集装箱9的中央附近的预定位置。

在图9示出的第一控制的示例中，如箭头93所示，工件W1在曲线状的移动路径上进行移动，但是并不限定于该方式。如图17的箭头90所示，也可以使工件W在直线状的移动路径上移动。在图17示出的示例中，移动控制部控制机器人1在铅直方向上抓起工件W之后，使工件W在水平方向上进行移动。并且，也可以在机械手2放开工件时，在远离配置于最上侧的工件的位置处释放工件，由此使工件掉落。或者，也可以在将放置在堆积在集装箱9的最上侧的工件表面之后释放工件。

本实施方式中的工件具有具备长边方向的圆筒形状。因此，多个工件以轴方向相互平行的方式堆积。在使工件进行移动时仍维持工件的姿势。作为工件的形状并不限定于该方式，可以采用任意的形状。而且，本实施方式的控制还能够应用于输送以工件朝向相互不同的方式堆积的工件的机器人系统。即，能够将本实施方式的控制应用于取出各工件的朝向不规则地堆积的工件的机器人系统。通过使工件在集装箱的内部进行移动，能够改变使工件的位置和姿势中的至少一方，从而能够取出很多的工件。

在该情况下，作为集装箱的中央，例如能够采用对集装箱进行俯视观察时的集装箱的形状的重心位置。另外，在本实施方式中，虽然一边维持工件的姿势一边使工件移动，但是并不限定于该方式。在使工件在集装箱内进行移动的情况下，也可以变更工件的姿势。例如移动控制部也可以控制机器人在抓起工件之后在水平面内使工件旋转90°之后放开工件。

本实施方式的三维传感器包括两台二维摄像机，但是并不限定于该方式。三维传感器也可以包含三台以上的二维摄像机。三维传感器包括三台以上的摄像机，由此局部图像由晕影等导致不清楚，也能够根据由其它摄像机拍摄得到的图像来获取三维信息。另外，本实施方式的三维传感器具备投影仪，但是也可以不具备投影仪。并且，三维传感器能够采用能够获取到达工件为止的距离信息的任意的传感器。例如三维传感器也可以是通过光飞行时间方式来拍摄距离图像的TOF(Time of Flight：飞行时间)摄像机。

本实施方式的范围传感器6固定于支承部件83，但是并不限定于该方式，还能够配置成能够拍摄工件。例如范围传感器也可以以与机器人的腕部一体地移动的方式固定于腕部。在该情况下，范围传感器与腕部一起位置和姿势发生变化。而且，由于范围传感器的位置和姿势，有时发现由一个工件的死角而无法拍摄的其它工件。然而，在本实施方式的机器人系统中，在通过机械手的把持区域无法把持工件的情况下，能够变更工件的位置和姿势，因此还优选范围传感器进行移动的机器人系统。

根据本公开的方式，能够提供从散装的工件能够取出很多工件的机器人系统以及机器人系统的控制方法。

在上述各控制中，在功能和作用不变更的范围内能够适当地变更步骤的顺序。

上述实施方式能够适当地进行组合。在上述各图中，对相同或相等的部分附加相同的附图标记。此外，上述实施方式仅是例示，并不限定发明。另外，在实施方式中，包含权利要求书所示出的实施方式的变更。

Claims (14)

1.一种机器人系统，其取出散装在容器内部的工件，其特征在于，该机器人系统具备：

机械手，其具有多个爪部，通过上述爪部把持工件；

机器人，其移动上述机械手；

三维传感器，其获取到达工件为止的距离信息；以及

控制装置，其控制上述机械手和上述机器人，

上述爪部具有：把持区域，其具有用于把持工件的形状，

上述控制装置包括：

获取部，其根据上述三维传感器的输出来获取工件的三维信息；

选择部，其根据工件的三维信息来选择由上述机器人取出的目标工件；

碰撞检测部，其在上述机器人移动到用于把持目标工件的目标位置为止的期间中，当上述机械手与工件碰撞时使上述机器人停止；

位置检测部，其检测由上述碰撞检测部停止的上述机器人的停止位置；

判定部，其根据上述机器人的目标位置和停止位置，判定是否能够通过上述机械手的把持区域以外的部分把持目标工件；以及

移动控制部，其控制上述机器人，使得在容器的内部移动工件，

在上述判定部判定为能够通过把持区域以外的部分把持目标工件的情况下，上述移动控制部实施如下控制：通过上述机械手把持目标工件，在移动目标工件之后放开目标工件。

2.根据权利要求1所述的机器人系统，其特征在于，

上述移动控制部控制上述机器人，使得朝向俯视容器时的容器的中央移动目标工件。

3.根据权利要求1或2所述的机器人系统，其特征在于，

上述移动控制部控制上述机器人，使得在通过上述机械手保持目标工件之后，抓起目标工件并移动目标工件。

4.根据权利要求1或2所述的机器人系统，其特征在于，

上述移动控制部控制上述机器人，使得在通过上述机械手把持目标工件之后，不抓起目标工件而向水平方向移动目标工件。

5.根据权利要求1～4的任一项所述的机器人系统，其特征在于，

在上述判定部判定为无法通过把持区域以外的部分把持目标工件的情况下，上述移动控制部控制上述机器人，使得不驱动上述爪部而向水平方向移动上述机械手，并通过上述机械手按压工件。

6.一种机器人系统，其取出散装在容器的内部的工件，其特征在于，该机器人系统具备：

机械手，其具有多个爪部，通过上述爪部把持工件；

机器人，其移动上述机械手；

三维传感器，其获取到达工件为止的距离信息；以及

控制装置，其控制上述机械手和上述机器人，

上述爪部具有：把持区域，其具有用于把持工件的形状，

上述控制装置包括：

获取部，其根据上述三维传感器的输出来获取工件的三维信息；

选择部，其根据工件的三维信息来选择由上述机器人取出的目标工件；

碰撞检测部，其在上述机器人移动至用于把持目标工件的目标位置为止的期间中，当上述机械手与工件碰撞时使上述机器人停止；

位置检测部，其检测由上述碰撞检测部停止的上述机器人的停止位置；

判定部，其根据上述机器人的目标位置和停止位置，判定是否能够通过上述机械手的把持区域以外的部分按压目标工件；以及

移动控制部，其控制上述机器人，使得在容器的内部移动工件，

在上述判定部判定为能够通过把持区域以外的部分按压目标工件的情况下，上述移动控制部控制上述机器人，使得不驱动上述爪部而向水平方向移动上述机械手，并通过上述机械手按压工件。

7.根据权利要求6所述的机器人系统，其特征在于，

上述移动控制部控制上述机器人，使得朝向俯视容器时的容器的中央移动目标工件。

8.一种机器人系统的控制方法，该机器人系统具备机器人以及具有多个爪部的机械手，取出散装在容器的内部的工件，其特征在于，该控制方法包括：

拍摄工序，通过获取到达工件为止的距离信息的三维传感器来拍摄工件；

获取工序，根据上述三维传感器的输出来获取工件的三维信息；

选择工序，根据工件的三维信息来选择由上述机器人取出的目标工件；

停止工序，在上述机器人移动至用于把持目标工件的目标位置为止的期间中，当上述机械手与工件碰撞时使上述机器人停止；

检测工序，检测在上述停止工序中停止的上述机器人的停止位置；

判定工序，根据上述机器人的目标位置和停止位置，判定是否能够通过具有用于把持工件的形状的上述机械手的把持区域以外的部分把持目标工件；以及

移动工序，控制上述机器人，使得在上述机械手与工件碰撞之后，在容器的内部移动工件，

上述移动工序包括以下工序：在上述判定工序中判定为能够通过把持区域以外的部分把持目标工件的情况下，通过上述机械手把持目标工件，在移动目标工件之后放开工件。

9.根据权利要求8所述的机器人系统的控制方法，其特征在于，

上述移动工序包括以下工序：控制上述机器人，使得朝向俯视容器时的容器的中央移动目标工件。

10.根据权利要求8或9所述的机器人系统的控制方法，其特征在于，

上述移动工序包括以下工序：控制上述机器人，使得在通过上述机械手把持目标工件之后，抓起目标工件并移动目标工件。

11.根据权利要求8或9所述的机器人系统的控制方法，其特征在于，

上述移动工序包括以下工序：控制上述机器人，使得在通过上述机械手把持目标工件之后，不抓起目标工件而向水平方向移动目标工件。

12.根据权利要求8～11的任一项所述的机器人系统的控制方法，其特征在于，

上述移动工序包括以下工序：控制上述机器人，使得在上述判定工序中判定为无法通过把持区域以外的部分把持目标工件的情况下，不驱动上述爪部而向水平方向移动上述机械手，并通过上述机械手按压工件。

13.一种机器人系统的控制方法，该机器人系统具备机器人以及具有多个爪部的机械手，取出散装在容器的内部的工件，其特征在于，该控制方法包括：

拍摄工序，通过获取到达工件为止的距离信息的三维传感器来拍摄工件；

获取工序，根据上述三维传感器的输出来获取工件的三维信息；

选择工序，根据工件的三维信息来选择由上述机器人取出的目标工件；

停止工序，在上述机器人移动至用于把持目标工件的目标位置为止的期间中，当上述机械手与工件碰撞时使上述机器人停止；

检测工序，检测在上述停止工序中停止的上述机器人的停止位置；

判定工序，根据上述机器人的目标位置和停止位置，判定是否能够通过具有用于把持工件的形状的上述机械手的把持区域以外的部分按压目标工件；以及

移动工序，控制上述机器人，使得在上述机械手与工件碰撞之后，在容器的内部移动工件，

上述移动工序包括以下工序：在上述判定工序中判定为能够通过把持区域以外的部分按压目标工件的情况下，控制上述机器人，使得不驱动上述爪部而向水平方向移动上述机械手，并通过上述机械手按压工件。

14.根据权利要求13所述的机器人系统的控制方法，其特征在于，

上述移动工序包括以下工序：控制上述机器人，使得朝向俯视容器时的容器的中央移动目标工件。