CN102343590B - 工件取出装置及工件取出方法 - Google Patents
工件取出装置及工件取出方法 Download PDFInfo
- Publication number
- CN102343590B CN102343590B CN201110215255.6A CN201110215255A CN102343590B CN 102343590 B CN102343590 B CN 102343590B CN 201110215255 A CN201110215255 A CN 201110215255A CN 102343590 B CN102343590 B CN 102343590B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- mentioned
- loading condition
- loading
- sensing region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Abstract
本发明提供一种工件取出装置及工件取出方法,该工件取出装置包括:摄像机,其用于对包含散装的多个工件的工件装载区域进行拍摄;工件检测部,其根据利用摄像机拍摄到的摄像机图像检测工件;工件选定部,其根据工件检测部的检测结果选定应该取出的工件;机器人,其用于取出由工件选定部选定的工件;装载状态判断部,其用于判断是否由于机器人的动作而使工件的装载状态发生了变化;区域设定部,其用于设定在利用工件检测部检测工件时的工件检测区域。在通过装载状态判断部判断为工件的装载状态发生了变化时,区域设定部在该装载状态的变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域。
Description
技术领域
本发明涉及利用机器人(robot)取出散装在集装箱(container)内的工件的工件取出装置及工件取出方法。
背景技术
已知这样的装置:利用摄像机拍摄在集装箱内杂乱地配置(散装)的多个工件的整个区域,并根据拍摄到的摄像机图像检测工件,利用机器人操作手(robot manipulator)自动取出工件。对于在日本专利第4199264号公报(JP4199264B)中所记载的装置而言,判断集装箱内的工件的装载状态是否发生了变化,在判断为装载状态未发生变化时,在接下来的工件取出操作时不对工件进行拍摄,根据之前拍摄到的摄像机图像检测工件,由此省略了摄像机的拍摄,从而能够谋求缩短工件取出操作的时间。
但是,在工件取出操作时工件的装载状态未发生变化的情况较少,对于在JP4199264B中所记载的装置而言,在集装箱内的工件的装载状态发生了变化的情况下,需要利用摄像机重新拍摄多个工件的整个区域,并根据拍摄到的摄像机图像检测工件。因此,对于在JP4199264B中所记载的装置而言,能够省略拍摄的机会较少,难以高效地进行工件取出操作。
发明内容
根据本发明的一个方式,工件取出装置包括:摄像机,其对包含散装的多个工件的工件装载区域进行拍摄;工件检测部,其根据利用摄像机拍摄到的摄像机图像来检测工件;工件选定部,其根据工件检测部的检测结果选定应该取出的工件;机器人,其取出由工件选定部选定的工件;装载状态判断部,其判断是否由于机器人的动作而使工件装载区域内的工件的装载状态发生了变化;以及区域设定部,其设定在利用工件检测部检测工件时的工件检测区域,在通过装载状态判断部判断为工件的装载状态发生了变化时,区域设定部在该装载状态的变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域。
根据本发明的另一方式,工件取出方法包括:拍摄步骤,其利用摄像机对包含散装的多个工件的工件装载区域进行拍摄;工件检测步骤,其根据利用摄像机拍摄到的摄像机图像来检测工件;工件选定步骤,其根据工件检测步骤的检测结果选定应该取出的工件;工件取出步骤,其利用机器人取出通过工件选定步骤选定的工件;装载状态判断步骤,其判断是否由于机器人的动作而使工件装载区域内的工件的装载状态发生了变化;以及区域设定步骤,其设定在通过工件检测步骤检测工件时的工件检测区域,在通过装载状态判断步骤判断为工件的装载状态发生了变化时,在区域设定步骤中,在该装载状态变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域。
附图说明
通过与附图关联的以下的实施方式的说明,可以使本发明的目的、特征及优点更加明确。在该附图中,
图1是表示本发明的实施方式的工件取出装置的整体结构的图;
图2是表示由图1的机器人控制器(robot controller)内的CPU执行的处理的一例的流程图;
图3是表示图2的工件检测区域设定处理的细节的流程图;
图4是用于说明自动变更工件检测区域的大小的方法的图;
图5a是用于说明本发明的实施方式的工件取出装置的动作的图;
图5b是用于说明本发明的实施方式的工件取出装置的动作的图。
具体实施方式
以下,参照图1~图5b说明本发明的实施方式。图1是表示本发明的实施方式的工件取出装置1的整体结构的图。在集装箱6内杂乱地配置有、即散装有同种类的多个工件5。工件取出装置1具有:机器人2,其用于取出从该散装的多个工件5中选定的工件5;摄像机7,其固定地配置在集装箱6的上方;机器人控制器8,其根据利用摄像机7拍摄到的摄像机图像控制机器人2。
机器人2为具有能够旋转的关节轴的多关节机器人,其利用设在机械臂(robot arm)2a的前端部的机械手(robot hand)2b把持工件5。而且在机械手2b上设有视觉传感器3,利用视觉传感器3测量各工件5。视觉传感器3为激光投射式的三维视觉传感器,受机器人控制器8内的视觉传感器控制部8h控制。利用视觉传感器3得到的测量数据存储在机器人控制器8内的存储器8g中,通过控制器8内的处理,求出工件5的详细的三维位置及姿态。在机械臂2a上设有碰撞传感器4,利用碰撞传感器4检测在工件取出时作用于机械臂2a的碰撞。
摄像机7例如是具有CCD等摄像元件的电子摄像机,是具有通过拍摄而在受光面(CCD阵列面上)检测二维图像的功能的周知的受光设备。摄像机7的拍摄动作通过机器人控制器8内的摄像机控制部8f来控制,以将包含多个工件5的工件装载区域(例如整个集装箱)收纳于视野内的方式设定拍摄范围。摄像机图像被摄像机控制部8f读取,并存储在存储器8g中。
机器人控制器8具有:工件检测部8a,其根据存储在存储器8g中的图像检测工件5;工件选定部8b,其用于从利用工件检测部8a检测出的工件5中选定应该取出的工件5;工件装载状态判断部8c,其用于判断集装箱6内的工件5的装载状态是否发生了变化;工件装载状态变化位置存储部8d,其用于存储工件5的装载状态发生了变化的位置;工件检测区域设定部8e,其用于设定在利用工件检测部8a检测工件5时的工件检测区域,上述各部与摄像机控制部8f、存储器8g一同构成对摄像机图像进行处理的图像处理装置。
工件检测部8a例如通过图案匹配(pattern matching)来检测工件5。即预先生成与工件形状相对应的工件模型,从工件检测区域内的摄像机图像中检索、提取出与该工件模型相对应的目标图像,由此来检测工件5。在这样的工件检测部8a的处理中,当工件检测区域较大时,目标图像的检索需花费时间,到目标图像的检索完成为止机器人处于等待工件取出操作的状态,因此难以高效地进行工件取出操作。因此,在本实施方式中,通过以下那样设定工件检测区域来谋求缩短工件取出操作的时间。
图2是表示由机器人控制器8内的CPU执行的处理的一例的流程图。该流程图所示的处理,例如在输入工件取出操作的开始指令时开始。在步骤S1中,通过摄像机控制部8f中的处理,向摄像机7输出拍摄指令以使其对集装箱内的工件装载区域中的工件5进行拍摄,将通过拍摄而得到的摄像机图像存储到存储器8g中。
在步骤S2中,通过工件检测部8a中的处理(图案匹配),利用存储在存储器8g中的摄像机图像中的、工件检测区域内的摄像机图像来检测工件5,并将检测出的工件5存储到存储器8g中。在图2的处理的刚开始之后的初始状态中,与工件装载区域相匹配地以包围整个集装箱的方式设定工件检测区域。另外,如后述那样,在工件装载区域的一部分区域内设定了多个工件检测区域的情况(图5b)下,分别在每个工件检测区域中检测工件5。
在步骤S3中,判断通过步骤S2中的处理是否检测到1个以上的工件5。若在步骤S3中得到否定的结果则进入步骤S4,判断是否满足预定的结束条件。例如在取出的工件5达到了预定数量时,判断为满足结束条件。若在步骤S4中得到肯定的结果则结束处理。若在步骤S4中得到否定的结果则进入步骤S5,设定包围整个集装箱的工件检测区域,之后返回到步骤S1。另一方面,若在步骤S3中得到肯定的结果则进入步骤S6。
在步骤S6中,通过工件选定部8b中的处理,从在步骤S2中存储到存储器8g中的集装箱内的所有工件5中选定应该利用机器人2取出的工件5。在该情况下,例如将位于比周围的工件5高的位置、且没有被遮挡的工件5选定为应该取出的工件5。
在步骤S7中,判断通过步骤S6中的处理是否已选定好工件5。若在步骤S7中得到否定的结果则进入步骤S8,变更工件5的检测条件、选定条件以便能够选定工件5。例如变更拍摄时的光量、图案匹配中的工件图案等,并返回到步骤S1。若在步骤S7中得到肯定的结果则进入步骤S9。
在步骤S9中,向机器人驱动用的伺服电动机输出控制信号,控制机器人2(机械臂2a和机械手)的动作,从集装箱内取出已选定的工件5。在该情况下,计算设在机械臂前端部的视觉传感器3的移动位置,且利用视觉传感器3测量已选定的工件5的三维位置及姿态,并且在将机械手移动到工件取出的目标位置之后,利用机械手把持并取出工件5。
在步骤S10中,判断通过工件装载状态判断部8c中的处理,在机器人2动作时是否利用碰撞传感器4检测到碰撞,即判断在把持已选定的工件5之前是否由于机器人2接触到工件等而发生了碰撞。也可以代替碰撞传感器4而利用电动机电流的变化等检测作用于机器人驱动用的伺服电动机的负荷急剧变化,由此来判断碰撞的有无。
若在步骤S10中得到肯定的结果则进入步骤S11。在该情况下,由于碰撞的发生而使集装箱内的工件5的装载状态、特别是应该取出的工件5的附近的装载状态发生了变化的可能性较高。因此,在步骤S11中,通过在工件装载状态变化位置存储部8d中的处理,将已选定的应该取出的工件5的位置作为装载状态变化位置而存储,返回到步骤S6重新进行工件5的选定处理。在该重新进行的工件选定处理中,也可以从位于远离装载状态变化位置的位置的工件5、即认为装载状态未发生变化的工件5中选定应该取出的工件5。其中,装载状态变化位置是利用视觉传感器3检测到的工件5的三维位置,作为机器人坐标系的位置数据而存储。
在步骤S10中,在向应该取出的工件5的位置移动机械手时检测到了碰撞的情况下,不是在应该取出的工件5的附近,而是在机器人2受到了碰撞的位置装载状态发生了变化的可能性高。在该情况下,在步骤S11中,也可以将机器人2受到了碰撞时的机械臂前端部的位置作为装载状态变化位置存储在存储器8g中。机械臂前端部的位置能通过设在机器人2上的各种位置传感器检测到。
若在步骤S10中得到否定的结果则进入步骤S12。在步骤S12中,判断通过在工件装载状态判断部8c中的处理,是否已利用机械手把持好应该取出的工件5。具体而言,根据手转卡盘(hand chuck)的开闭确认传感器的检测值、在机械手为使用吸盘的类型的情况下根据吸附确认传感器的检测值,判断把持动作是否成功。也可以根据检测工件5相对于机械手是否位于正确的位置的非接触式传感器等的检测值判断把持动作是否成功。
若在步骤S12中得到肯定的结果则进入步骤S13。在该情况下,由于把持工件5并将其取出,集装箱内的工件5的装载状态、特别是工件5的取出位置的附近的装载状态发生了变化的可能性高。因此,在步骤S13中,通过在工件装载状态变化位置存储部8d中的处理,与步骤S11同样地,将已选定的应该取出的工件5的位置作为装载状态变化位置而存储,之后进入步骤S14。在实际的工件5的位置偏离已选定的工件5的位置的情况下,有时会使机械手向比已选定的工件5的位置例如靠下方移动来把持工件5,考虑到这种情况,也可以将实际上工件5被把持的位置作为装载状态变化位置存储在存储器8g中。若在步骤S12中得到否定的结果则进入步骤S14。
在步骤S14中,通过在工件检测区域设定部8e中的处理,执行图3所示的工件检测区域设定处理。首先,在步骤S14a中,判断是否存在装载状态变化位置、即判断是否执行了步骤S11或步骤S13中的某个处理。若在步骤S14a中得到肯定的结果则进入步骤S14b,取得由工件装载状态变化位置存储部8d存储的机器人坐标系中的装载状态变化位置。在步骤S14c中,将机器人坐标系的装载状态变化位置变换为图像上的位置。具体而言,使用摄像机7的校准数据(calibration data),利用周知的方法将装载状态变化位置变换为摄像机图像上的位置。
在步骤S14d中,将预先决定了形状及大小的工件检测区域设定在图像上的装载状态变化位置。例如在工件检测区域为圆形的情况下,设定以装载状态变化位置为中心的圆的直径或半径即可,在工件检测区域为矩形的情况下,设定以装载状态变化位置为中心的矩形窗口的纵向长度和横向长度即可。在任意一种情况下,工件检测区域都被设定在至少利用摄像机7拍摄到的工件装载区域的一部分区域内、即比工件装载区域小的范围内。在装载状态变化位置存在于多处的情况下,分别针对各位置来设定工件检测区域。
若步骤S14d的处理结束,则返回到图2的步骤S1,重复进行一系列的处理。在重复的处理中,在步骤S2中,从设定在工件装载区域的一部分区域内的工件检测区域内检测工件5,利用该新的工件检测数据改写该工件检测区域内的工件检测数据并存储到存储器8g中。即,将工件5的装载状态发生了变化的位置的周边区域作为工件检测区域来进行工件5的检测处理,并更新该区域内的工件检测数据。因此,没有必要在工件装载区域的整个范围内检测工件5,所以能够缩短工件检测部8a的处理的时间。
另一方面,在步骤S14a中,若判断为不存在装载状态变化位置则进入步骤S14e。在步骤S14e中,将工件检测区域设定为包围整个集装箱的工件装载区域的整体,返回到图2的步骤S2。在该情况下,工件5的装载状态未发生变化,因此没有必要再次进行摄像机7的拍摄,而是在重复的处理的步骤S2中,从整个集装箱中检测工件5。
关于步骤S14d中的工件检测区域的设定处理,利用摄像机7拍摄到的工件5的图像上的大小与从摄像机7到工件5的距离、即配置在集装箱内的工件5的高度相应地发生变化。考虑到该情况,也可以与工件5的高度相应地自动变更工件检测区域的大小。即,也可以在工件5靠近摄像机7的情况下增大工件检测区域,在工件5离摄像机7较远的情况下减小工件检测区域,来使包含在工件检测区域中的工件5的图像上的大小保持恒定。以下,对该情况进行说明。
图4是用于说明自动变更工件检测区域的大小的方法的图。在此,将工件5的高度方向定义为图中的Z轴方向。首先,分别设定当工件5为自基准位置起Z1及Z2的高度时利用摄像机7拍摄而得的图像上描绘的图像尺寸SZ1及SZ2。此时,图像上描绘的尺寸与工件5距摄像机7的距离成反比例,因此若将从基准位置到摄像机7的距离(摄像机高度)设为Z0,将从摄像机7到高度为Z1及Z2的各工件5的距离分别设为A1、A2,则下面的式(Ⅰ)成立。
SZ2/SZ1=A1/A2=(Z0-Z1)/(Z0-Z2)(Ⅰ)
摄像机高度Z0能够通过下面的式(Ⅱ)算出,若将装载状态变化位置的高度设为Z3,则此时的图像尺寸SZ3能够通过下面的式(Ⅲ)算出。
Z0=(SZ2×Z2-SZ1×Z1)/(SZ2-SZ1) (Ⅱ)
SZ3=((Z0-Z1)/(Z0-Z3))×SZ1 (Ⅲ)
在将工件检测区域例如设为圆形的情况下,预先决定与图像尺寸SZ1相对应的工件检测区域的直径D1。在步骤S14d中,利用该D1,通过下面的式(Ⅳ)算出与图像尺寸SZ3相对应的工件检测区域的直径D3。
D3=(SZ3/SZ1)×D1=((Z0-Z1)/(Z0-Z3))×D1 (Ⅳ)
进一步具体地说明本发明的实施方式的工件取出装置1的动作。例如,如图5a所示,假设在集装箱6内散装配置有多个工件5。在该情况下,首先,设定包围整个集装箱的工件检测区域,在集装箱内的整个范围中检测到工件5之后(步骤S2),将位于比周围的工件5高的位置且未被遮挡的工件5a选定为应该由机器人2取出的工件(步骤S6)。
在取出已选定的工件5a时,例如在利用机械手把持工件5a之前机械手接触到工件5a时,如图5b所示,工件5a的位置发生偏移。在该情况下,利用碰撞传感器4检测出碰撞,将已选定的工件5a的位置作为装载状态变化位置来存储(步骤S11),再次进行工件5的选定(步骤S6)。此时,如图5a所示,当选定与上次不同的工件5b时,利用机器人2取出该工件5b,将该工件5b的位置作为装载状态变化位置来存储(步骤S13)。
在该情况下,如图5b所示,在包含碰撞检测时所选定的工件5a和利用机器人2取出时所选定的工件5b的区域中,分别设定工件检测区域12a、12b(步骤S14d)。然后,在利用摄像机7拍摄了整个集装箱内之后,利用该摄像机图像在各工件检测区域12a、12b内检测工件5(步骤S2)。由此,工件5的工件检测区域被限制,因此能够缩短工件检测所需要的时间,能够进行高效的工件取出操作。
在工件取出时利用碰撞传感器4未检测到碰撞,也未检测到机器人2对工件5的把持动作的情况下,不存在装载状态变化位置,因此设定包围整个集装箱的工件检测区域(步骤S14e)。在步骤S14d中设定的工件检测区域内未检测到工件5的情况(例如仅设定了图5b中的检索窗口12b的情况)下,也设定包围整个集装箱的工件检测区域(步骤S5)。在这些情况下,再次从整个集装箱中检测工件5。
采用本实施方式能够取得如以下那样的作用效果。
(1)通过在工件装载状态判断部8c中的处理(步骤S10、步骤S12),判断工件5的装载状态是否发生了变化,若判断为工件5的装载状态发生了变化,则通过在工件检测区域设定部8e中的处理(步骤S14d),在该装载状态的变化位置的周边区域中设定工件检测区域,通过在工件检测部8a中的处理(步骤S2),在工件检测区域内检测工件5。因此,成为在工件装载区域的一部分区域内检测工件5的情况,从而能够缩小工件检测区域。因此,能够缩短工件检测所需要的时间,能够高效地进行工件取出操作。
(2)若判断为机器人2对工件5的把持动作成功,则判断为工件5的装载状态发生了变化,因此能够正确地判断工件5的取出后的装载状态的变化。在该情况下,在利用工件选定部8b选定的工件5的位置的周边区域中设定工件检测区域,因此能够在装载状态极有可能发生了变化的地方高效地进行工件检测处理。换言之,若在利用机器人2把持工件5的位置的周边区域中设定工件检测区域,则即使在实际的工件5的位置偏离已选定的工件5的位置的情况下,也能够高效地进行工件检测处理。
(3)若判断为在机器人2把持工件5之前机器人2受到了碰撞,则判断为工件5的装载状态发生了变化,因此能够正确地判断由于发生碰撞而引起的工件5的装载状态的变化。在该情况下,在利用工件选定部8b选定的工件5的位置的周边区域中设定工件检测区域,因此能够在装载状态极有可能发生了变化的地方高效地进行工件检测处理。换言之,若在机器人2受到了碰撞的位置的周边区域中设定工件检测区域,则即使在受到了碰撞的位置偏离已选定的工件5的位置的情况下,也能够高效地进行工件检测处理。
(4)在检测到作用于机器人2的碰撞之后,在取出了存在于与该碰撞检测位置不同的位置的工件5的情况等、装载状态变化位置存在于多处时(例如图5的情况),设定了与各装载状态变化位置相对应的工件检测区域12a、12b。由此,能够一边抑制工件检测所需要的时间,一边高精度地检测装载状态发生了变化的区域中的工件5。
(5)若与已选定的工件5和摄像机7之间的距离相应地自动变更工件检测区域的大小,则能够与集装箱内的工件5的高度无关地,在图像上将与工件5相对应的工件检测区域的相对大小保持为恒定,高效地检测工件5。
另外,在上述实施方式中,工件检测部8a、工件选定部8b、工件装载状态判断部8c(装载状态判断部)、工件装载状态变化位置存储部8d、工件检测区域设定部8e(区域设定部)、摄像机控制部8f、存储器8g、视觉传感器控制部8h被包含在机器人控制器8中,但机器人控制器8的结构不限于此。例如也可以将工件检测部8a、工件检测区域设定部8e、摄像机控制部8f、视觉传感器控制部8h设在机器人控制器8的外部,利用通信单元向机器人控制器8发送图像处理的结果。也可以省略工件装载状态变化位置存储部8d,将装载状态变化位置存储在存储器8g中。
在上述实施方式中,当判断为工件5的装载状态发生了变化时,在工件装载区域的一部分区域内设定了圆形或矩形的工件检测区域,但工件检测区域的形状可以是任意形状。通过在机器人控制器8内的处理,判断了工件5的把持动作是否成功(步骤S12),且判断了作用于机器人2的碰撞的有无(步骤S10),但作为把持判断部的工件装载状态判断部中的结构及作为碰撞判断部的工件装载状态判断部中的结构不限于上述结构。即,只要能够实现本发明的特征、功能,本发明不限于实施方式的工件取出装置1。
总而言之,本实施方式的工件取出方法的特征在于,包括:拍摄步骤(步骤S1),其利用摄像机7对包含散装的多个工件5的工件装载区域进行拍摄;工件检测步骤(步骤S2),其根据利用摄像机7拍摄到的摄像机图像检测工件5;工件选定步骤(步骤S6),其根据工件检测步骤的检测结果选定应该取出的工件5;工件取出步骤(步骤S9),其利用机器人2取出由工件选定步骤选定的工件5;装载状态判断步骤(步骤S10、步骤S12),其判断是否由于机器人2的动作而使工件5的装载状态发生了变化;区域设定步骤(步骤S14d),其设定在利用工件检测步骤检测工件5时的工件检测区域,在区域设定步骤中,在通过装载状态判断步骤判断为工件5的装载状态发生了变化时,在该装载状态变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域,只要能够实现该特征,也可以对上述结构进行各种变形。
根据本发明,在工件的装载状态发生了变化的位置的周边区域中设定工件检测区域,因此与在整个工件装载区域中设定工件检测区域的情况相比,工件检测区域缩小,能够大幅度地缩短工件检测所花费的处理时间。因此,到工件的拍摄和检测结束为止的机器人的待机时间减少,能够高效地进行工件取出操作。
以上,与本发明的优选实施方式相关联地说明了本发明,但对于本领域的技术人员而言,应该理解在不脱离后述的请求专利保护的范围所公开的范围的情况下能够进行各种修正及变更。
Claims (9)
1.一种工件取出装置,其包括:
摄像机(7),其对包含散装的多个工件(5)的工件装载区域进行拍摄;
工件检测部(8a),其根据利用上述摄像机拍摄到的摄像机图像来检测工件;
工件选定部(8b),其根据上述工件检测部的检测结果选定应该取出的工件;
机器人(2),其取出由上述工件选定部选定的工件;
装载状态判断部(8c),其判断是否由于上述机器人的动作而使工件的装载状态发生了变化;以及
区域设定部(8e),其设定在利用上述工件检测部检测工件时的工件检测区域,
所述工件取出装置的特征在于,
上述区域设定部,在初始状态下设定与上述工件装载区域对应的工件检测区域,在通过上述装载状态判断部判断为工件的装载状态发生了变化时,在该装载状态的变化位置的周边区域、即上述工件装载区域的一部分区域内设定工件检测区域,在上述工件装载区域的一部分区域内设定的上述工件检测区域内未检测出工件的情况下,判断是否满足预定结束条件,若不满足上述预定结束条件,则设定与上述工件装载区域对应的工件检测区域。
2.根据权利要求1所述的工件取出装置,其中,
还具有把持判断部(8c),其用于判断上述机器人对由上述工件选定部选定的工件的把持动作是否成功,
在利用上述把持判断部判断为上述机器人的上述把持动作已成功时,上述装载状态判断部判断为工件的装载状态发生了变化。
3.根据权利要求1所述的工件取出装置,其中,
还具有碰撞判断部(8c),其用于判断在上述机器人把持由上述工件选定部选定的工件之前,有无作用于上述机器人的碰撞,
在利用上述碰撞判断部判断为有碰撞时,上述装载状态判断部判断为工件的装载状态发生了变化。
4.根据权利要求2所述的工件取出装置,其中,
上述装载状态变化位置为利用上述工件选定部选定的工件的位置或利用上述机器人把持上述工件的位置。
5.根据权利要求3所述的工件取出装置,其中,
上述装载状态变化位置为利用上述工件选定部选定的工件的位置或上述机器人受到了碰撞的位置。
6.根据权利要求1~5中的任意一项所述的工件取出装置,其中,
在上述装载状态变化位置存在于多处时,上述区域设定部设定与各装载状态变化位置相对应的上述工件检测区域。
7.根据权利要求1~5中的任意一项所述的工件取出装置,其中,
上述区域设定部,对应于由上述工件选定部选定的工件与上述摄像机之间的距离,变更上述工件检测区域的大小。
8.根据权利要求1~5中的任意一项所述的工件取出装置,其中,
在上述装载状态变化位置存在于多处时,上述区域设定部设定与各装载状态变化位置相对应的上述工件检测区域,
上述区域设定部,对应于由上述工件选定部选定的工件与上述摄像机之间的距离,变更上述工件检测区域的大小。
9.一种工件取出方法,其包括以下步骤:
拍摄步骤,其利用摄像机对包含散装的多个工件的工件装载区域进行拍摄;
工件检测步骤,其根据利用上述摄像机拍摄到的摄像机图像来检测工件;
工件选定步骤,其根据上述工件检测步骤的检测结果选定应该取出的工件;
工件取出步骤,其利用机器人取出通过上述工件选定步骤选定的工件;
装载状态判断步骤,其判断是否由于上述机器人的动作而使工件的装载状态发生了变化;以及
区域设定步骤,其设定在通过上述工件检测步骤检测工件时的工件检测区域,
所述工件取出方法的特征在于,
在上述区域设定步骤中,在初始状态下设定与上述工件装载区域对应的工件检测区域,在通过上述装载状态判断步骤判断为工件的装载状态发生了变化时,在该装载状态变化位置的周边区域、即上述工件装载区域的一部分区域内设定工件检测区域,在上述工件装载区域的一部分区域内设定的上述工件检测区域内未检测出工件的情况下,判断是否满足预定结束条件,若不满足上述预定结束条件,则设定与上述工件装载区域对应的工件检测区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-167987 | 2010-07-27 | ||
JP2010167987A JP4938115B2 (ja) | 2010-07-27 | 2010-07-27 | ワーク取出し装置およびワーク取出し方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102343590A CN102343590A (zh) | 2012-02-08 |
CN102343590B true CN102343590B (zh) | 2014-05-07 |
Family
ID=45471287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110215255.6A Active CN102343590B (zh) | 2010-07-27 | 2011-07-25 | 工件取出装置及工件取出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8380342B2 (zh) |
JP (1) | JP4938115B2 (zh) |
CN (1) | CN102343590B (zh) |
DE (1) | DE102011108169B4 (zh) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20105732A0 (fi) * | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
JP5769411B2 (ja) * | 2010-12-15 | 2015-08-26 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR101882490B1 (ko) * | 2011-11-29 | 2018-07-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
JP5266377B2 (ja) * | 2011-12-19 | 2013-08-21 | ファナック株式会社 | 物品の姿勢を修正する機能を備えた取出し装置 |
JP5383836B2 (ja) * | 2012-02-03 | 2014-01-08 | ファナック株式会社 | 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 |
DE102012203134A1 (de) | 2012-02-29 | 2013-08-29 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zum Aufnehmen eines Konturteils |
JP5975685B2 (ja) * | 2012-03-09 | 2016-08-23 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5977544B2 (ja) * | 2012-03-09 | 2016-08-24 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5642738B2 (ja) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP5469216B2 (ja) | 2012-07-31 | 2014-04-16 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置 |
JP5614553B2 (ja) * | 2012-09-14 | 2014-10-29 | 株式会社安川電機 | ロボット装置 |
EP2926955A4 (en) * | 2012-11-30 | 2016-07-27 | Yaskawa Denki Seisakusho Kk | ROBOTIC SYSTEM |
JP5835254B2 (ja) * | 2013-03-15 | 2015-12-24 | 株式会社安川電機 | ロボットシステム、及び、ロボットシステムの制御方法 |
JP5754454B2 (ja) * | 2013-03-18 | 2015-07-29 | 株式会社安川電機 | ロボットピッキングシステム及び被加工物の製造方法 |
JP5786896B2 (ja) * | 2013-06-07 | 2015-09-30 | 株式会社安川電機 | ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法 |
JP5929854B2 (ja) * | 2013-07-31 | 2016-06-08 | 株式会社安川電機 | ロボットシステムおよび被加工物の製造方法 |
JP5877857B2 (ja) * | 2014-03-10 | 2016-03-08 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
JP6486114B2 (ja) | 2015-01-16 | 2019-03-20 | 株式会社東芝 | 荷役装置 |
JP6019149B2 (ja) | 2015-02-19 | 2016-11-02 | 株式会社アマダホールディングス | ベンディングロボット及びワーク検出方法 |
FR3034078B1 (fr) * | 2015-03-27 | 2017-03-24 | Airbus Helicopters | Procede et dispositif pour signaler au sol un aeronef en vol, et aeronef muni de ce dispositif |
JP2017042859A (ja) * | 2015-08-25 | 2017-03-02 | キヤノン株式会社 | ピッキングシステム、並びに、そのための処理装置、方法及びプログラム |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6599827B2 (ja) * | 2016-08-29 | 2019-10-30 | ファナック株式会社 | ワーク取出システム |
JP2018034242A (ja) * | 2016-08-31 | 2018-03-08 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、及びロボットシステム |
JP6450727B2 (ja) * | 2016-10-28 | 2019-01-09 | ファナック株式会社 | ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体 |
JP6453922B2 (ja) | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
EP3366433B1 (en) * | 2017-02-09 | 2022-03-09 | Canon Kabushiki Kaisha | Method of controlling robot, method of teaching robot, and robot system |
JP6418359B1 (ja) * | 2017-03-24 | 2018-11-07 | 三菱電機株式会社 | ロボットプログラムの生成装置及び生成方法 |
JP2018176334A (ja) | 2017-04-10 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 |
JP6526100B2 (ja) * | 2017-04-28 | 2019-06-05 | ファナック株式会社 | 物品取出システム |
JP6487495B2 (ja) * | 2017-05-19 | 2019-03-20 | ファナック株式会社 | ワーク取出しシステム |
US10933533B2 (en) * | 2017-06-23 | 2021-03-02 | Kindred Systems Inc. | Systems, devices, articles, and methods for stow verification |
JP6687657B2 (ja) * | 2018-03-20 | 2020-04-28 | ファナック株式会社 | センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法 |
CN108274469B (zh) * | 2018-04-23 | 2020-11-03 | 东北大学 | 基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法 |
JP6725587B2 (ja) | 2018-05-18 | 2020-07-22 | ファナック株式会社 | バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法 |
JP7237496B2 (ja) * | 2018-09-10 | 2023-03-13 | 株式会社東芝 | ピッキングシステム、情報処理装置及び情報処理プログラム |
CN109731793A (zh) * | 2018-12-17 | 2019-05-10 | 上海航天电子有限公司 | 一种小批量片式散料器件智能分拣设备 |
JP7120153B2 (ja) * | 2019-05-21 | 2022-08-17 | トヨタ自動車株式会社 | ワーク識別方法 |
WO2023223503A1 (ja) * | 2022-05-19 | 2023-11-23 | ファナック株式会社 | 制御装置及び検出システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2974111B2 (ja) * | 1993-12-27 | 1999-11-08 | 株式会社ダイフク | 物品移載方法 |
CN101081512A (zh) * | 2006-05-29 | 2007-12-05 | 发那科株式会社 | 工件取出装置以及方法 |
CN101152720A (zh) * | 2006-09-29 | 2008-04-02 | 发那科株式会社 | 工件取出装置 |
CN101618544A (zh) * | 2008-07-04 | 2010-01-06 | 发那科株式会社 | 物品取出装置 |
JP2010120141A (ja) * | 2008-11-21 | 2010-06-03 | Ihi Corp | バラ積みピッキング装置とその制御方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4876728A (en) * | 1985-06-04 | 1989-10-24 | Adept Technology, Inc. | Vision system for distinguishing touching parts |
JPH01134573A (ja) * | 1987-11-19 | 1989-05-26 | Kawasaki Heavy Ind Ltd | 画像処理方法 |
JPH04199264A (ja) | 1990-11-26 | 1992-07-20 | Hitachi Ltd | テキストエディタ |
US5987591A (en) * | 1995-12-27 | 1999-11-16 | Fanuc Limited | Multiple-sensor robot system for obtaining two-dimensional image and three-dimensional position information |
JP3955132B2 (ja) * | 1997-07-14 | 2007-08-08 | 三菱鉛筆株式会社 | ボールペンのリフィール |
JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
US7844104B2 (en) * | 2002-09-23 | 2010-11-30 | Hermann Tropf | Method for establishing a data collection and method and device for gripping an object |
JP4238256B2 (ja) * | 2006-06-06 | 2009-03-18 | ファナック株式会社 | ロボットシミュレーション装置 |
-
2010
- 2010-07-27 JP JP2010167987A patent/JP4938115B2/ja active Active
-
2011
- 2011-07-18 US US13/184,721 patent/US8380342B2/en active Active
- 2011-07-20 DE DE102011108169A patent/DE102011108169B4/de active Active
- 2011-07-25 CN CN201110215255.6A patent/CN102343590B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2974111B2 (ja) * | 1993-12-27 | 1999-11-08 | 株式会社ダイフク | 物品移載方法 |
CN101081512A (zh) * | 2006-05-29 | 2007-12-05 | 发那科株式会社 | 工件取出装置以及方法 |
CN101152720A (zh) * | 2006-09-29 | 2008-04-02 | 发那科株式会社 | 工件取出装置 |
CN101618544A (zh) * | 2008-07-04 | 2010-01-06 | 发那科株式会社 | 物品取出装置 |
JP2010120141A (ja) * | 2008-11-21 | 2010-06-03 | Ihi Corp | バラ積みピッキング装置とその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102343590A (zh) | 2012-02-08 |
DE102011108169B4 (de) | 2013-07-11 |
DE102011108169A1 (de) | 2012-02-02 |
JP4938115B2 (ja) | 2012-05-23 |
JP2012024903A (ja) | 2012-02-09 |
US8380342B2 (en) | 2013-02-19 |
US20120029686A1 (en) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102343590B (zh) | 工件取出装置及工件取出方法 | |
JP4199264B2 (ja) | ワーク取り出し装置及び方法 | |
KR102467559B1 (ko) | 장치 | |
US9604363B2 (en) | Object pickup device and method for picking up object | |
US7966094B2 (en) | Workpiece picking apparatus | |
JP4565023B2 (ja) | 物品取り出し装置 | |
EP2364823B1 (en) | Robot system and transfer method | |
JP3333963B2 (ja) | 視覚案内形ロボット装置 | |
US20120290124A1 (en) | Robot system | |
JP6599927B2 (ja) | ワーク供給システム | |
CN103659823A (zh) | 机器人系统和工件传递方法 | |
JP2017049656A (ja) | 加工精度維持機能を有する加工システム | |
US20170261968A1 (en) | Work management device | |
CN102990671A (zh) | 机器人系统 | |
CN113280209B (zh) | 检测管道多余物的系统以及系统的使用方法、检测方法 | |
JP6752977B2 (ja) | 部品装着機及び部品装着方法 | |
JP2002002909A (ja) | ストッカ用ロボットの教示確認方法 | |
JP4349298B2 (ja) | 監視制御装置及び監視制御方法 | |
US20170259997A1 (en) | Method for a fully automatic and/or semiautomatic setup or calibration of a pick and/or place position | |
WO2020100522A1 (ja) | マーク検出システム、信号処理回路、コンピュータプログラムおよび方法 | |
JP6128907B2 (ja) | 電子機器の試験装置、試験開始方法及び試験開始プログラム | |
KR102428129B1 (ko) | 기판 처리 장치, 기판 처리 장치의 운전 방법 및 기억 매체 | |
KR102665372B1 (ko) | 겐트리 탑재형 3d 형상 스캐닝 장치 및 이를 이용한 스캐닝 방법 | |
KR101955630B1 (ko) | 자재 위치 관리 장치 및 자재 위치 관리 방법 | |
CN111447366B (zh) | 运输方法、运输装置、电子装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |