CN109108959B

CN109108959B - 机器人系统

Info

Publication number: CN109108959B
Application number: CN201810623023.6A
Authority: CN
Inventors: 大场雅文
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-06-26
Filing date: 2018-06-15
Publication date: 2019-12-20
Anticipated expiration: 2038-06-15
Also published as: JP2019005856A; DE102018114682A1; US10625415B2; CN109108959A; US20180370023A1; JP6478234B2

Abstract

本发明提供一种机器人，即使在物品未被连续供给的状况下，也能够实施机器人的跟踪。机器人系统(1)包括：输送装置(2)，用于输送物品(O)；机器人(3)，用于对由输送装置(2)输送的物品(O)进行处理；照相机(4)，用于在比机器人(3)更靠近输送方向的上游侧，拍摄由输送装置(2)输送的物品(O)；输送速度计算部，其基于照相机(4)在不同时刻获取的多个图像，计算输送装置(2)的物品(O)的位置和输送速度中的至少一个；以及控制部，其基于输送速度计算部计算出的位置和输送速度中的至少一个，控制机器人(3)，控制部判定在照相机(4)获取的图像中是否存在物品(O)，当不存在物品(O)时，基于此前刚刚由输送速度计算部计算出的位置和输送速度的至少一个，控制机器人(3)。

Description

机器人系统

技术领域

本发明涉及一种机器人系统。

背景技术

以往，已知一种机器人系统，该机器人系统对由输送机输送的物品和附在输送机上的标记进行拍摄，并从所获得的图像中检测由输送机输送的物品的移动速度，控制机器人手的位置使其与物品的移动同步，从而通过机器人手把持移动的物品(例如参照专利文献1)。

在该机器人系统中，为了检测被输送机输送的物品的移动速度，在利用机器人手把持物品时需使用拍摄装置拍摄的其它的物品或者标记的移动速度来使机器人同步，因而需要不间断地供给物品或者标记，其中，拍摄装置位于比把持位置更靠近输送机的上游侧的位置。

现有技术文献

专利文献

专利文献1：日本特开2009-28818号公报

发明内容

发明所需解决的问题

然而，实际上，完全能够想到物品未被连续供应到输送机上的情况，另外，附着于输送机的标记也可能由于某种原因而脱落或被物品隐藏，因而在这些情况下，存在无法获得用于使机器人进行跟踪动作的输送机的速度信息这样的缺点。

本发明正是鉴于上述情况而完成的，其目的在于提供一种机器人系统，即使在物品未被连续供给的情况下，也能够实施由机器人进行的跟踪动作。

解决问题的手段

为了实现上述目的，本发明提供以下手段。

本发明的一个方面提供一种机器人系统，包括：输送装置，用于输送物品；机器人，用于对由所述输送装置输送的所述物品进行处理；照相机，用于在比所述机器人更靠近输送方向的上游侧对所述输送装置输送的所述物品进行拍摄；输送速度计算部，其基于所述照相机在不同时刻获取的多个图像，计算所述输送装置上的所述物品的位置和输送速度中的至少一个；以及控制部，其基于所述输送速度计算部计算出的所述位置和所述输送速度的至少一个，控制所述机器人，所述控制部判定在由所述照相机获取的图像中是否存在所述物品，当不存在所述物品时，基于此前刚刚由所述输送速度计算部计算出的所述位置和所述输送速度中的至少一个，控制所述机器人。

根据本方面，在通过输送装置输送多个物品时，利用照相机对物品进行拍摄，并基于获取的多个图像，通过输送速度计算部计算位置和输送速度中的至少一个。由于照相机被配置于比机器人更靠近上游的一侧，因而经过照相机的视野的物品被供给至机器人。此时，如果在照相机的视野中存在下一个物品，则根据该下一个物品的输送速度及下一个物品的位置计算出输送速度，由于该输送速度与供给至机器人的物品的移动速度相等，因此能够基于计算出的位置和输送速度中的至少一个使机器人追随物品的移动而进行动作，从而对移动的物品进行处理。

在这种情况下，在向机器人供给应处理的物品时，如果在照相机的视野内不存在物品，则虽然不对该时刻的物品的位置和输送速度进行计算，但根据本方面，控制部基于物品在照相机的视野中将要变得不存在之前计算的位置和输送速度中的至少一个来控制机器人，因而能够在不停止机器人的情况下操作机器人，并继续对移动的物品进行处理。

在上述方面中，也可以为，所述控制部在判定所述照相机获取的图像中不存在所述物品时开始计时，在判定经过规定时间而图像中持续不存在所述物品时报告该情况。

通过这样地设置，由于在规定时间以上没有供给物品时存在供给侧发生异常的可能性，因而对未拍摄到物品的情况进行报告，由此能够对发生的异常进行通知。

另外，在上述方面中，也可以为，所述照相机按照能够拍摄两次以上的帧率对所述输送装置输送的同一个所述物品进行拍摄。

通过这样设置，在同一视野内对同一个物品进行两次以上的拍摄，从而能够根据各图像中的物品的位置的变化量而容易地计算出输送装置的物品的输送速度。

另外，在上述方面中，也可以为，所述输送速度计算部将针对两个以上的所述物品而计算出的速度的平均值作为所述输送速度进行输出。

通过这样设置，当在同一视野内存在多个物品时，将针对这些物品分别计算出的速度的平均值作为输送速度，从而高精度地计算出输送速度。

另外，在上述方面中，也可以为，所述控制部在报告了所述物品经过规定时间而持续不存在的情况时，停止所述机器人的动作。

通过这样设置，能够防止在未检测到物品的情况下继续使用此前采用的输送速度。

另外，本发明的其它方面提供一种机器人系统，包括：输送装置，用于输送物品；机器人，用于对由所述输送装置输送的所述物品进行处理；照相机，其在比所述机器人更靠近输送方向的上游侧，对所述输送装置输送的所述物品和通过所述输送装置而移动的标记进行拍摄；输送速度计算部，其基于所述照相机在不同时刻拍摄的多个图像，计算所述输送装置的所述物品的位置和输送速度中的至少一个；以及控制部，其基于所述输送速度计算部计算出的所述位置和所述输送速度中的至少一个，控制所述机器人，所述控制部判定所述照相机获取的图像中是否存在所述物品和所述标记，当不存在所述物品和所述标记时，基于此前刚刚由所述输送速度计算部计算出的所述位置和所述输送速度中的至少一个，控制所述机器人。

发明的效果

根据本发明，能够实现即使在物品未被连续供给的状况下，也能够实施机器人的跟踪这样的效果。

附图说明

图1是表示根据本发明的一个实施方式的机器人系统的整体结构图。

图2是表示图1的机器人系统所具备的控制部的框图。

图3是表示由图1的机器人系统的照相机获取的图像的时间变化与输送速度的图。

图4是表示在图1的机器人系统中，在同一视野内拍摄多个物品的情况下的与图3相同的图。

图5是表示图1的机器人系统的变形例的整体结构图。

具体实施方式

下面，参照附图对根据本发明的一个实施方式的机器人系统1进行说明。

如图1所示，根据本实施方式的机器人系统1包括：用于输送物品O的输送机(输送装置)2；被设置于输送机2附近的机器人3；照相机(camera)4，其被设置于比机器人3更靠近输送方向的上游侧的输送机2的上方，并且朝向下方；以及控制部5，其基于照相机4获取的图像对机器人3控制。

输送机2例如是皮带输送机，并设有用于搭载物品O且沿着一个方向输送的带6。带6由马达(图示略)驱动。

机器人3可以是平置型或吊顶型等任意形式的机器人，例如在手臂前端具有能够把持物品O的机器人手7。

照相机4具有被固定于输送机2的输送方向上的一部分区域的视野，用于获取在输送机2上输送的物品O的二维图像。照相机4被设定为：在同一个物品O从视野内经过的期间，按照两次以上的帧率对物品O进行拍摄。

如图2所示，控制部5包括：图像处理部(输送速度计算部)8，用于处理照相机4获取到的图像，并对输送机2所输送的物品O进行识别；速度计算部(输送速度计算部)9，其基于在不同时刻获取的图像，并根据在图像处理部8中识别出的同一个物品O的位置，计算输送机2的输送速度；驱动控制部(控制部)10，其基于该速度计算部9计算出的输送速度，控制机器人3。

驱动控制部10根据预先示教的动作程序操作机器人3，并基于速度计算部9计算出的输送速度执行追随输送机2上的物品O的跟踪，利用被安装于手臂前端的机器人手7对移动的物品O进行把持，并将其从输送机2上拿起。

进一步具体而言，例如，如图3所示，图像处理部8在按照规定的时间间隔Δt而在不同时刻t1、t2、t3以相同的视野拍摄了三张图像时，在各图像中识别图像所包含的物品O，并对识别出的物品O的重心的坐标位置进行计算。

并且，速度计算部9将在时间轴方向上相邻获取的图像中的重心配置在与输送方向正交的方向上的相同坐标附近的物品O识别为同一个物品O，将各物品O的重心的输送方向的坐标值之间的差分除以拍摄的时间间隔Δt，从而计算出输送速度。当针对同一个物品O计算出多个输送速度时，将其平均值或通过最小二乘法等拟合(fitted)出的值作为输送速度而输出。

另外，控制部5还包括计时器11和报告部12，该报告部12基于来自计时器11的输出向外部报告异常情况。

图像处理部8判定是否进入到在图像中一个物品O也识别不出的状态，当一个物品O也识别不出时，开始计时器11的计时。

另外，当图像处理部8在计时器11开始计时后再次从图像中检测出物品O时，重置计时器11的计时。

在从计时器11输入的时间超过规定时间的情况下，报告部12向外部报告这一异常情况。报告部12也可以是监视器、灯、蜂鸣器等任意的报告装置。

另外，当图像处理部8在图像中一个物品O也识别不出时，将表示不存在物品O的信号输入到驱动控制部10。在从图像处理部8输入了不存在物品O的信号的状态下，驱动控制部10使用最后从速度计算部9输入的输送速度来控制机器人3。

下面，对如上述构成的本实施方式的机器人系统1的作用进行说明。

在根据本实施方式的机器人系统1中，当利用输送机2输送物品O时，通过照相机4拍摄物品O。通过拍摄获取的图像被发送至图像处理部8并进行图像处理，从而对物品O进行识别，计算出物品O的重心的坐标位置。

并且，如图3所示，基于计算出的同一个物品O的重心的坐标位置d1、d2、d3，通过速度计算部9计算出输送机2的输送速度V并将其输入至驱动控制部10，其中，根据以规定的时间间隔Δt在不同时刻t1、t2、t3获取的图像来计算坐标位置d1、d2、d3。由于照相机4与机器人3彼此仅隔开预定距离，因而当输送机2以恒定速度移动时，在经过了将该距离除以输送速度V而得到的时间之后，物品O移动至机器人3的动作范围内。

驱动控制部10在图像中存在物品O的任意时刻，识别物品O的位置及姿势，从而设定跟踪坐标系TF，并对从该时刻到当前时刻的被识别出的物品O的重心位置之间的距离进行累计，由此，计算出移动量。并且，通过将以该移动量为分量的坐标变换矩阵乘以跟踪坐标系TF，从而计算出当前的跟踪坐标系TF′。

TF′＝T·TF

并且，驱动控制部10以计算出的跟踪坐标系TF′为基准来追随被输送机2输送的物品O，并使机器人手7移动而把持物品O，从而将其从输送机2上拿起。

在这种情况下，当驱动机器人3使机器人手7追随输送机2上的物品O时，照相机4对后续的物品O进行拍摄，并通过速度计算部9计算出新的输送速度，因而驱动控制部10使用计算出的新的输送速度来控制机器人3。由此，即使输送机2的输送速度发生变化，也能够准确地拿起物品O。

在本实施方式中，在照相机4获取的图像从存在物品O的状态向不存在物品O的状态变化时，图像处理部8使计时器11开始计时，并且在图像中一个物品O也识别不出的情况下，将表示该情况的物品O不存在的信号输出至驱动控制部10。

当驱动控制部10接收到物品O不存在的信号时，继续使用此前刚刚使用的输送速度来控制机器人3。由此，能够在不停止机器人3的情况下，从输送机2上取出在机器人3的动作范围内输送的物品O。

并且，在从计时器11输入的时间超过规定时间的情况下，报告部12向外部报告这一异常情况。由此，操作者能够认识到异常的发生。另外，在从计时器11输入的时间超过规定时间的情况下，驱动控制部10使机器人3停止动作。由此，能够防止由机器人3进行的物品O的取出作业在未进行新的输送速度的计算的情况下被继续进行这样的优点。

此外，在本实施方式中，虽然通过输送机2输送的物品O的位置变化计算输送机2的输送速度，但也可代替之，在输送机2的表面以适当的间隔设置标记，并识别照相机4获取的图像中所包含的标记，从而通过标记的位置的变化计算输送速度。

在这种情况下，虽然标记能够比物品O更可靠地连续供给至照相机4的视野内，但即使在这样情况下，标记也有可能被剥离或者被物品O隐藏，也有可能因干扰光等一时的环境变化而变得无法检测。根据本实施方式，具有以下优点：即使在上述情况下，也能够在不停止机器人3的情况下继续物品O的取出作业，从而提高机器人3的作业效率。

另外，虽然在本实施方式中对在图像中检测单一物品O的情况进行了说明，但也可代替之，如图4所示，也能够适用于多个物品a1、a2、a3被同时配置于照相机4的视野内的情况。

即，在图像内识别出多个物品a1、a2、a3的情况下，也可以针对各物品a1、a2、a3，识别在不同时刻获取的图像中的物品a1、a2、a3的同一性，通过对基于识别出的同一个物品a1、a2、a3之间的移动距离而分别计算出的速度V1、V2、V3进行平均，计算输送速度。在该情况下，相同物品a1、a2、a3之间的移动距离是通过计算出的同一个物品a1、a2、a3的重心的坐标位置d11、d12、d13、d22、d23、d24、d33、d34的差量而求出的，并且根据隔开规定的时间间隔Δt而在不同的时刻t1、t2、t3获取的图像，计算同一个物品a1、a2、a3的重心的坐标位置d11、d12、d13、d22、d23、d24、d33、d34。

另外，在本实施方式中，虽然例示了控制单一机器人3的情况，但也可代替之，如图5所示，在沿着输送机2的输送方向上配置多台机器人3，上述控制部5与上位的单元控制装置13相连接。

在多台机器人3对由同一个输送机2输送的物品O进行作业的情况下，能够在一个位置管理基于一个照相机4拍摄出的图像而计算出的输送机2的输送速度。

在通过各机器人3的控制部5管理输送机2的输送速度的情况下，需要在控制部5之间同步，虽然存在因通信延迟等的影响而产生误差的可能性，但可以通过单元控制装置13的管理来防止这样的问题的产生。

另外，在本实施方式中，例示并说明了把持并拿起由输送机2输送的物品O的情况，但也可代替之，将其适用于对输送的物品O实施其它任意处理的情况。

附图标记

1 机器人系统

2 输送机(输送装置)

3 机器人

4 照相机

8 图像处理部(输送速度计算部)

9 速度计算部(输送速度计算部)

10 驱动控制部(控制部)

O、a1、a2、a3 物品

Claims

1.一种机器人系统，其特征在于，包括：

输送装置，用于输送物品；

机器人，用于对所述物品进行处理；

照相机，用于在比所述机器人更靠近输送方向的上游侧的位置，拍摄所述输送装置输送的所述物品和通过所述输送装置进行移动的标记；

输送速度计算部，其基于所述照相机在不同时刻拍摄的多个图像，计算所述物品的位置和输送速度中的至少一个；以及

控制部，其基于所述输送速度计算部计算出的所述位置和所述输送速度中的至少一个，控制所述机器人，

所述控制部判定在所述照相机获取的图像中是否存在所述物品和所述标记，并基于不存在所述物品和所述标记时的由所述输送速度计算部计算出的所述位置和所述输送速度中的至少一个，控制所述机器人。

2.根据权利要求1所述的机器人系统，其特征在于，

所述控制部在判定所述照相机获取的图像中不存在所述物品时开始计时，在判定经过规定时间而图像中持续不存在所述物品时报告该情况。

3.根据权利要求1或2所述的机器人系统，其特征在于，

所述照相机按照能够拍摄两次以上的帧率对所述输送装置输送的同一个所述物品进行拍摄。

4.根据权利要求1或2所述的机器人系统，其特征在于，

所述输送速度计算部将针对两个以上的所述物品而计算出的速度的平均值作为所述输送速度进行输出。

5.根据权利要求3所述的机器人系统，其特征在于，

6.根据权利要求2所述的机器人系统，其特征在于，

所述控制部在报告了所述物品经过规定时间而持续不存在的情况时，停止所述机器人的动作。