CN102837317A

CN102837317A - 拾取系统

Info

Publication number: CN102837317A
Application number: CN2012100178946A
Authority: CN
Inventors: 泉哲郎; 小柳健一; 松熊研司; 桥口幸男
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2011-06-20
Filing date: 2012-01-19
Publication date: 2012-12-26
Anticipated expiration: 2032-01-19
Also published as: JP2013000854A; EP2538373A3; US8880217B2; EP2538373B1; CN102837317B; EP2538373A2; US20120323358A1; JP5464176B2

Abstract

本发明提供一种拾取系统，该拾取系统包括传送器、机器人、主摄像机和控制装置。传送器传送工件。机器人对工件执行保持操作和移动操作。主摄像机捕获传送器的传送路径的图像。控制装置基于主摄像机捕获的图像检测工件，并命令机器人对所检测到的工件执行保持操作。此外，当检测到工件的重叠时，控制装置命令机器人对重叠工件执行保持操作。

Description

拾取系统

技术领域

这里讨论的实施方式涉及一种拾取系统。

背景技术

例如，如日本特开公报2000-289852中所公开的，已知一种根据工件的供应量在传送装置上执行速度控制的拾取系统。

然而，存在拾取系统无法拾取工件的可能性。例如，当在重叠的状态下传送工件时，传统的拾取系统确定重叠的工件是有缺陷的并且不执行将由机器人执行的保持操作。为此，存在拾取系统可能会不拾取作为无缺陷单元的工件的可能性。

根据实施方式的一个方面，本实施方式的目的是提供一种可防止工件不被拾取的拾取系统。

发明内容

根据实施方式的一个方面的拾取系统包括传送装置、机器人、图像捕获装置和控制装置。传送装置传送工件。机器人执行用于保持由传送装置传送的工件的保持操作和用于将所保持的工件移动至预定位置的移动操作。相对于机器人来说，图像捕获装置设置在传送装置的上游侧，以捕获传送装置的传送路径的图像。控制装置基于由图像捕获装置捕获的图像检测传送路径上的工件，并命令机器人对所检测到的工件执行保持操作。此外，控制装置包括检测单元和操作命令单元。检测单元检测工件的重叠。当重叠检测单元检测到工件的重叠时，操作命令单元命令机器人对重叠工件执行保持操作。

根据实施方式的一个方面，可提供一种能防止不拾取工件的拾取系统。

附图说明

结合附图参考以下详细说明将更容易理解本发明及其许多相关优点，在附图中：

图1是根据一个实施方式的拾取系统的模式立体图；

图2是示出了根据一个实施方式的控制装置的结构的框图；

图3是示出了由工件检测单元执行的检测结果的实施例的图示；

图4和图5是示出了由辅摄像机捕获的图像的实施例的图示；以及

图6是示出了控制装置执行的程序的流程图。

具体实施方式

首先，将参考图1说明根据本公开的一个实施方式的拾取系统的外观。图1是根据一个实施方式的拾取系统的模式立体图。在下文中，描述成拾取系统包括一个机器人。然而，拾取系统可包括两个或更多个机器人。

如图1所示，根据本实施方式的拾取系统包括传送器1、机器人2、主摄像机3a和辅摄像机3b。传送器1是将放在传送路径11上的工件w从上游侧向下游侧传送的传送装置。利用将在下文描述的控制装置控制传送器1的传送速度。这里，作为实施例描述成传送器1是带式传送器。然而，传送器1可以是除带式传送器以外的传送装置。

机器人2是固定在天花板、墙面、地板等上的关节型机器人。机器人2执行用于保持由传送器1传送的工件w的保持操作和将所保持的工件w移动至预定位置的移动操作。

例如，机器人2包括通过使用抽吸装置(例如真空泵)作为末端执行器(保持部分)来吸附工件w的吸附部分，以利用吸附部分来保持工件w。此外，机器人2将所保持的工件w移动至另一传送器(未示出)，然后通过去除抽吸装置施加的吸引力而将所保持的工件w放在另一传送器上。

这里，描述成机器人2包括作为末端执行器的吸附部分。然而，机器人2可包括除吸附部分以外的末端执行器。例如，机器人2可包括抓住工件w的手型末端执行器。

在此实施方式中，描述成机器人2采用垂直关节型机器人。然而，机器人的结构不限于此。换句话说，机器人2是可保持并传送工件w的机器人就足够了，例如水平多关节型机器人、平行连杆机器人和正交机器人。

主摄像机3a是捕获传送器1的传送路径11上的预定区域的图像的图像捕获装置。相对于机器人2来说，主摄像机3a置于传送器1的上游侧。经由诸如局域网(LAN)的通信网络将主摄像机3a捕获的图像输出至控制装置(未示出)。

辅摄像机3b是捕获传送器1的传送路径11上的预定区域的图像的辅图像捕获装置。辅摄像机3b置于主摄像机3a和机器人2之间，更具体地说位于机器人2附近。辅摄像机3b仅当由将在下面描述的异常检测处理检测到工件w的异常时执行图像处理。经由诸如LAN的通信网络将辅摄像机3b捕获的图像输出至控制装置(未示出)。这里，辅摄像机3b是分辨率比主摄像机3a的分辨率更高的摄像机。

在根据本实施方式的拾取系统中，主摄像机3a捕获传送路径11上的一区域的图像，控制装置(未示出)基于主摄像机3a捕获的图像检测传送路径11上的工件w，并命令机器人2对所检测到的工件w执行保持操作。于是，机器人2根据控制装置的命令执行保持操作和移动操作。

这里，当在拾取系统中在主摄像机3a的上游侧执行的操作处理出现问题时，例如，存在工件w被重叠传送的可能性(见图1)。在此情况下，拾取系统判断重叠传送的工件是次品，从而不执行将由机器人执行的保持操作。为此，拾取系统具有可能会不拾取无缺陷工件的可能性。

因此，根据实施方式，控制装置执行用于判断工件w是否重叠的处理，并且当检测到工件w重叠时，命令机器人2从顶部开始顺序地保持重叠的工件w。在下文中，具体说明控制装置的结构和操作。

图2是示出了根据本实施方式的控制装置5的结构的框图。在图2中仅示出了说明控制装置的特征所需的元件，省略一般元件的描述。

如图2所示，控制装置5包括控制单元51和存储单元52。控制单元51包括工件检测单元511、异常检测单元512、传送控制单元513、重叠检测单元514和操作命令单元515。此外，在存储单元52中存储工件面积信息521和边缘图案信息522。

控制单元51完全控制控制装置5。控制单元51由中央处理器(CPU)、微处理器等组成。工件检测单元511是基于从主摄像机3a输入的图像检测传送路径11上的工件w的处理单元。

在本实施方式中，工件检测单元511检测传送路径11和工件w之间的边界线，即，工件w的轮廓。因此，三个工件w当如图1所示重叠传送时，工件检测单元511将图3所示的形状检测为工件wd。

可通过使用任何公知技术来执行由工件检测单元511执行的工件w的检测处理。

异常检测单元512是基于由工件检测单元511执行的工件w的检测结果和存储于存储单元52中的工件面积信息521检测工件w的异常的处理单元。工件面积信息521是表示当从垂直上侧观看传送路径11上的工件w时工件w的面积(平方计量)的信息。工件面积信息521由操作员等预先存储在存储单元52中。

这里，参考图3说明由异常检测单元512执行的异常检测处理。图3是示出了由工件检测单元511执行的检测结果的实施例的图示。

如图3所示，异常检测单元512测量由工件检测单元511检测到的工件wd的面积。然后，异常检测单元512将所测得的面积(在下文中，称为“测量工件面积”)与由工件面积信息521表示的工件w的面积(在下文中，称为“参考工件面积”)进行比较。此时，当测量工件面积超过参考工件面积时，异常检测单元512检测到工件wd的异常。

这里，描述成因为无缺陷工件w重叠传送，所以检测到异常。然而，当因为未适当地执行诸如轧制的处理而传送面积超过参考工件面积的缺陷工件w时，也有可能检测到异常。换句话说，此时不能确定检测到异常的工件wd是否是次品。

在检测到工件wd异常后，异常检测单元512将检测到异常的通知输出至重叠检测单元514，并命令传送控制单元513对传送器1执行速度控制。另一方面，当未检测到异常时，异常检测单元512将从工件检测单元511接收到的工件w的检测结果输出至操作命令单元515。

再次参考图2继续说明控制单元51。传送控制单元513是在异常检测单元512检测到工件w异常时，控制传送器1的传送速度的处理单元。更具体地说，传送控制单元513执行用于减小传送器1的传送速度的处理。

换句话说，在正常的传送速度下机器人2可能不会保持所有重叠工件w。在此情况下，传送控制单元513会减小传送器1的传送速度，因此机器人2能保持所有重叠工件w。

在当检测到异常的工件wd位于辅摄像机3b的图像捕获区域内时，传送控制单元513可停止传送器1。这样，通过停止传送器1机器人2可更可靠地保持所有重叠工件w。

重叠检测单元514是当从异常检测单元512接收到检测到工件wd异常的通知时，检测工件w相对于工件wd的重叠的处理单元。更具体地，重叠检测单元514通过使用由辅摄像机3b捕获的图像和存储于存储单元52中的边缘图案信息522来检测工件w的重叠。

边缘图案信息522是表示当从垂直上侧观看传送路径11上的工件w时工件w的轮廓(在下文中，叫做“参考边缘图案”)的形状的信息。边缘图案信息522由操作员等预先存储在存储单元52中。

现在，参考图4说明由重叠检测单元514执行的重叠检测处理。图4是示出了由辅摄像机3b捕获的图像的一个实施例的图示。

如图4所示，重叠检测单元514从辅摄像机3b获取检测出异常的工件wd(实际上是三个重叠工件w)的图像。辅摄像机3b获取工件wd的图像的时刻例如可通过主摄像机3a和辅摄像机3b之间的距离以及传送器1的传送速度计算出来。

接下来，重叠检测单元514在由辅摄像机3b捕获的图像上执行边缘检测处理。重叠检测单元514执行边缘检测处理，以检测重叠传送的工件w的轮廓。另外，可通过使用任何公知的技术来执行边缘检测处理。

接下来，重叠检测单元514通过使用边缘图案信息522来执行边缘图案匹配。在图4中，检测到三个边缘图案，这三个边缘图案为由右斜线指示的边缘图案P1、由左斜线指示的边缘图案P2以及由横线指示的边缘图案P3。因为其中的边缘图案P1与由边缘图案信息522指示的参考边缘图案相同，所以重叠检测单元514检测到工件w的重叠。

辅摄像机3b并不始终执行图像处理，而是当异常检测单元512检测到工件w异常时开始图像处理。通过这样，可抑制拾取系统的功耗。另外，利用控制单元51对辅摄像机3b执行的图像处理的开始和结束进行控制。

在检测到工件w的重叠时，重叠检测单元514将边缘检测处理的检测结果输出至操作命令单元515。另一方面，当未检测到工件w的重叠时，重叠检测单元514确定检测到异常的工件w是次品，并将该结果输出至上一级装置(未示出)。判断结果是次品的工件w不由机器人2保持，而是向传送器1的下游侧传送。

只要机器人2执行重叠工件w的保持操作，重叠检测单元514便利用在保持操作之后辅摄像机3b捕获的图像再次检测工件w的重叠。在图5中示出了在由机器人2保持具有图4所示的边缘图案P1的工件w之后，辅摄像机3b捕获的图案。

如图5所示，在用机器人2保持边缘图案P1的工件w之后，重叠检测单元514从辅摄像机3b获取工件wd’(实际上是两个重叠工件w)的图像。接下来，重叠检测单元514对所获取的图像执行边缘检测处理，并用利用边缘图案信息522对检测结果执行边缘图案匹配。

如图5所示，检测到两个边缘图案，这两个边缘图案是由左斜线指示的边缘图案P4和由横线指示的边缘图案P5。因为其中的边缘图案P4与由边缘图案信息522指示的参考边缘图案相同，所以重叠检测单元514检测到工件w的重叠。另外，边缘图案P4的工件w与图4所示的边缘图案P2的工件w相同，并且，边缘图案P5的工件w与图4所示的边缘图案P3的工件w相同。

再次参考图2继续说明控制单元51。操作命令单元515是基于由工件检测单元511执行的工件w的检测结果或由重叠检测单元514执行的边缘检测处理的检测结果命令机器人2对工件w执行保持操作和移动操作的处理单元。

操作命令单元515基于边缘检测处理的检测结果命令机器人2对重叠工件w中的顶部工件w执行保持操作，所述顶部工件即在边缘图案匹配中对应于与参考边缘图案相同的边缘图案的工件w。

这里，如上所述，只要机器人2对重叠工件w执行保持操作，重叠检测单元514便执行重叠检测处理。此外，只要重叠检测单元514检测到工件w的重叠，操作命令单元515便命令机器人2对重叠工件w中的顶部工件w执行保持操作。结果，机器人2从顶部开始顺序地保持重叠传送的工件w。

因此，即使工件w重叠传送，在未确定工件为次品的情况下，根据本实施方式的拾取系统可使机器人2保持工件。

再次参考图2说明存储单元52。存储单元52由例如非易失性存储器和硬盘驱动器的存储装置组成。存储单元52存储工件面积信息521和边缘图案信息522。工件面积信息521是表示参考工件面积的信息。边缘图案信息522是表示参考边缘图案的信息。

接下来，参考图6说明控制装置5的具体操作。图6是示出了控制装置5执行的程序的流程图。

如图6所示，控制装置5的工件检测单元511从主摄像机3a获取图像，并基于所获取的图像检测工件w(步骤S101)。

控制装置5的异常检测单元512基于由工件检测单元511执行的检测结果执行异常确定处理。更具体地说，异常检测单元512根据由工件检测单元511执行的检测结果测量工件w的面积，并判断所测得的工件面积是否超过参考工件面积(步骤S102)。当在该处理中，所测得的工件面积未超过参考工件面积时(步骤S102：否)，操作命令单元515命令机器人2对由工件检测单元511检测到的工件w执行保持操作(步骤S103)，并结束处理。

另一方面，当异常检测单元512判断所测得的工件面积超过参考工件面积时(步骤S102：是)，传送控制单元513减小传送器1的传送速度(步骤S104)，并且控制单元51使辅摄像机3b开始图像处理(步骤S105)。步骤S104和S105的过程可具有相反的顺序。

接下来，控制装置5的重叠检测单元514获取辅摄像机3b捕获的图像，并基于所获取的图像执行边缘检测处理(步骤S106)。此外，重叠检测单元514判断所检测到的边缘图案是否与参考边缘图案相同(步骤S107)。

当该在处理中确定所检测到的边缘图案与参考边缘图案相同时(步骤S107：是)操作命令单元515命令机器人2对重叠工件w中的顶部工件w执行保持操作(步骤S108)。

控制单元51判断是否完成对所有重叠工件w的保持操作(步骤S109)。例如，当在边缘检测处理中检测到另一边缘图案时，控制单元51判断并未完成对所有重叠工件w的保持操作(步骤S109：否)。在此情况下，控制装置5重复步骤S106至S109的处理，直到完成对所有重叠工件w的保持操作为止。当判断完成对所有重叠工件w的保持操作时(步骤S109：是)，控制装置5结束处理。

当在步骤S107，所检测到的边缘图案与参考边缘图案不同时(步骤S107：否)，控制单元51执行例如预定缺陷解决处理，在该处理中，将传送次品的结果报告给上一级装置(未示出)(步骤S110)，然后结束处理。

如上所述，在本实施方式中已经说明，重叠检测单元检测工件的重叠，并且当重叠检测单元检测到工件的重叠时，操作命令单元命令机器人对重叠工件执行保持操作。因此，根据本实施方式，可防止重叠传送工件不被拾取。

在本实施方式中已经说明，异常检测单元基于由图像捕获装置捕获的图像和工件面积信息检测工件的异常。因此，根据本实施方式，能以相对较少的处理量检测工件的异常。

在本实施方式中已经说明，当异常检测单元检测到工件的异常时，重叠检测单元执行边缘检测处理以检测工件的重叠。

换句话说，假设始终对传送的工件w执行边缘检测处理，那么存在处理量增加且由此拾取系统的整个工作效率降低的可能性。因此，由于首先执行处理量比边缘检测处理少的异常检测处理(工件面积测量处理)并且仅对检测出异常的工件执行边缘检测处理，所以可尽可能不减小工作效率地检测工件w的重叠。

在本实施方式中已经说明，将辅摄像机设置在机器人附近，并且重叠检测单元对辅摄像机捕获的图像执行边缘检测处理，以检测工件的重叠。换句话说，在本实施方式中已经说明，利用主摄像机捕获的图像来执行工件检测处理和异常检测处理，并利用辅摄像机捕获的图像来执行边缘检测处理。因此，根据本实施方式，可抑制工件检测处理和异常检测处理的处理速度变差。

更具体地说，边缘检测处理需要较高的分辨率(信息量)。为此，与仅执行工件检测处理和异常检测处理的情况相比，利用由主摄像机捕获的图像来执行工件检测处理、异常检测处理和边缘检测处理的情况需要以高分辨率捕获工件的图像。结果，因为基于以高分辨率捕获的图像执行工件检测处理和异常检测处理，所以存在处理量无益地增加且由此处理速度减小的可能性。

为此，主摄像机捕获用于工件检测处理和异常检测处理的图像，并且由与主摄像机相比分辨率更高的辅摄像机捕获与上述处理相比需要高分辨率的用于边缘检测处理的图像。结果，可抑制工件检测处理和异常检测处理的处理速度的减小。

在本实施方式中，只要由机器人对重叠工件执行保持操作，重叠检测单元便利用在保持操作之后辅摄像机捕获的图像再次检测工件的重叠。此外，在本实施方式中，只要重叠检测单元检测到工件的重叠，操作命令单元便命令机器人对重叠工件中的顶部工件执行保持操作。因此，机器人可从顶部开始顺序地保持重叠传送的工件。此外，因为将辅摄像机设置在机器人附近，所以可在由机器人保持顶部工件之后再次捕获重叠工件的图像。

同时，在本实施方式中已经说明，工件w简单地重叠。因为机器人的保持操作取决于工件w的重叠状态，所以，在一些情况下，可能难以利用机器人2从顶部开始顺序地保持工件w。

在这种情况下，可由机器人2执行用于消除重叠的操作，例如移动重叠工件w的位置的操作。通过执行此操作，重叠工件w的保持操作可能变得简单。

此外，当即使由机器人2执行用于消除重叠的操作也难以仍保持重叠工件w时，可由操作员消除工件w的重叠。

例如，控制单元51可执行预定报告处理，例如用于从扬声器(未示出)发出警告声音的处理和用于使显示器(未示出)显示工件w的重叠结果的处理。通过这样做，操作员可轻松地发现工件w的重叠，并由此可消除重叠。

在本实施方式中已经说明，将辅摄像机3b设置在机器人2附近。然而，可将辅摄像机3b直接设置在机器人2上。

在本实施方式中已经说明，拾取系统包括主摄像机3a和辅摄像机3b这样两个摄像机。拾取系统并非必须包括辅摄像机3b。换句话说，控制装置可利用主摄像机3a捕获的图像来执行工件检测处理、异常检测处理和边缘检测处理。

在此情况下，控制装置使机器人2保持重叠工件w中的顶部工件w，然后向后移动传送器，以利用主摄像机3a来再次捕获剩余的重叠工件w。

在本实施方式中已经说明，当异常检测单元512检测到异常时，传送控制单元513减小传送器1的传送速度。然而，传送控制单元513可根据由重叠检测单元514执行的边缘检测处理的检测结果而控制传送器1的传送速度。

例如，当边缘检测处理检测到的边缘图案的数量不小于预定阈值时，传送控制单元513进一步减小传送器1的传送速度或停止传送器1。通过这样做，可对所有重叠工件w可靠地执行机器人2的保持操作。

在本实施方式中已经说明，异常检测单元512通过将工件检测单元511检测到的工件w的面积与参考工件面积进行比较来检测异常。然而，异常检测处理的方案不限于此。例如，异常检测单元512可根据由工件检测单元511检测到的工件w的轮廓与参考工件w的轮廓是否相同来检测异常。

Claims

1.一种拾取系统，该拾取系统包括：

传送装置，该传送装置传送工件；

机器人，该机器人执行用于保持由所述传送装置传送的工件的保持操作和用于将所保持的工件移动至预定位置的移动操作；

图像捕获装置，相对于所述机器人来说该图像捕获装置设置于所述传送装置的上游侧，以捕获所述传送装置的传送路径的图像；以及

控制装置，该控制装置基于由所述图像捕获装置捕获的图像检测所述传送路径上的工件，并命令所述机器人对所检测到的工件执行保持操作，并且

所述控制装置包括：

重叠检测单元，该重叠检测单元检测所述工件的重叠；以及

操作命令单元，当所述重叠检测单元检测到所述工件的重叠时，所述操作命令单元命令所述机器人对重叠工件执行保持操作。

2.根据权利要求1所述的拾取系统，其中，所述控制装置进一步包括异常检测单元，该异常检测单元基于所述图像捕获装置捕获的图像并基于所述工件的面积信息检测所述工件的异常。

3.根据权利要求2所述的拾取系统，其中，当所述异常检测单元检测到所述工件的异常时，所述重叠检测单元执行边缘检测处理，以检测所述工件的重叠。

4.根据权利要求3所述的拾取系统，该拾取系统进一步包括辅图像捕获装置，该辅图像捕获装置设置在所述机器人附近或设置在所述机器人上，以捕获所述传送路径的图像，其中

所述重叠检测单元对由所述辅图像捕获装置捕获的图像执行边缘检测处理，以检测所述工件的重叠。

5.根据权利要求4所述的拾取系统，其中

只要所述机器人对重叠工件执行保持操作，所述重叠检测单元便利用在所述保持操作之后所述辅图像捕获装置捕获的图像再次检测所述工件的重叠；并且

只要所述重叠检测单元检测到所述工件的重叠，所述操作命令单元便命令所述机器人对重叠工件中的顶部工件执行保持操作。

6.根据权利要求3至5中的任一项所述的拾取系统，其中，所述控制装置进一步包括传送控制单元，当所述异常检测单元检测到所述工件的异常时，该传送控制单元减小所述传送装置的传送速度或使所述传送装置停止。

7.根据权利要求3至5中的任一项所述的拾取系统，其中，当所述重叠检测单元未检测到所述工件的重叠时，所述操作命令单元确定由所述异常检测单元检测到异常的工件是次品。

8.根据权利要求6所述的拾取系统，其中，当所述重叠检测单元未检测到所述工件的重叠时，所述操作命令单元确定由所述异常检测单元检测到异常的工件是次品。

9.根据权利要求3至5中的任一项所述的拾取系统，其中，当所述异常检测单元检测到所述工件异常时，所述控制装置启动由所述辅图像捕获装置执行的图像处理。

10.根据权利要求6所述的拾取系统，其中，当所述异常检测单元检测到所述工件异常时，所述控制装置启动由所述辅图像捕获装置执行的图像处理。