CN102343590A - 工件取出装置及工件取出方法 - Google Patents

工件取出装置及工件取出方法 Download PDF

Info

Publication number
CN102343590A
CN102343590A CN2011102152556A CN201110215255A CN102343590A CN 102343590 A CN102343590 A CN 102343590A CN 2011102152556 A CN2011102152556 A CN 2011102152556A CN 201110215255 A CN201110215255 A CN 201110215255A CN 102343590 A CN102343590 A CN 102343590A
Authority
CN
China
Prior art keywords
workpiece
mentioned
loading condition
zone
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102152556A
Other languages
English (en)
Other versions
CN102343590B (zh
Inventor
伴一训
组谷英俊
安藤俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN102343590A publication Critical patent/CN102343590A/zh
Application granted granted Critical
Publication of CN102343590B publication Critical patent/CN102343590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种工件取出装置及工件取出方法,该工件取出装置包括:摄像机,其用于对包含散装的多个工件的工件装载区域进行拍摄;工件检测部,其根据利用摄像机拍摄到的摄像机图像检测工件;工件选定部,其根据工件检测部的检测结果选定应该取出的工件;机器人,其用于取出由工件选定部选定的工件;装载状态判断部,其用于判断是否由于机器人的动作而使工件的装载状态发生了变化;区域设定部,其用于设定在利用工件检测部检测工件时的工件检测区域。在通过装载状态判断部判断为工件的装载状态发生了变化时,区域设定部在该装载状态的变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域。

Description

工件取出装置及工件取出方法
技术领域
本发明涉及利用机器人(robot)取出散装在集装箱(container)内的工件的工件取出装置及工件取出方法。
背景技术
已知这样的装置:利用摄像机拍摄在集装箱内杂乱地配置(散装)的多个工件的整个区域,并根据拍摄到的摄像机图像检测工件,利用机器人操作手(robot manipulator)自动取出工件。对于在日本专利第4199264号公报(JP4199264B)中所记载的装置而言,判断集装箱内的工件的装载状态是否发生了变化,在判断为装载状态未发生变化时,在接下来的工件取出操作时不对工件进行拍摄,根据之前拍摄到的摄像机图像检测工件,由此省略了摄像机的拍摄,从而能够谋求缩短工件取出操作的时间。
但是,在工件取出操作时工件的装载状态未发生变化的情况较少,对于在JP4199264B中所记载的装置而言,在集装箱内的工件的装载状态发生了变化的情况下,需要利用摄像机重新拍摄多个工件的整个区域,并根据拍摄到的摄像机图像检测工件。因此,对于在JP4199264B中所记载的装置而言,能够省略拍摄的机会较少,难以高效地进行工件取出操作。
发明内容
根据本发明的一个方式,工件取出装置包括:摄像机,其对包含散装的多个工件的工件装载区域进行拍摄;工件检测部,其根据利用摄像机拍摄到的摄像机图像来检测工件;工件选定部,其根据工件检测部的检测结果选定应该取出的工件;机器人,其取出由工件选定部选定的工件;装载状态判断部,其判断是否由于机器人的动作而使工件装载区域内的工件的装载状态发生了变化;以及区域设定部,其设定在利用工件检测部检测工件时的工件检测区域,在通过装载状态判断部判断为工件的装载状态发生了变化时,区域设定部在该装载状态的变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域。
根据本发明的另一方式,工件取出方法包括:拍摄步骤,其利用摄像机对包含散装的多个工件的工件装载区域进行拍摄;工件检测步骤,其根据利用摄像机拍摄到的摄像机图像来检测工件;工件选定步骤,其根据工件检测步骤的检测结果选定应该取出的工件;工件取出步骤,其利用机器人取出通过工件选定步骤选定的工件;装载状态判断步骤,其判断是否由于机器人的动作而使工件装载区域内的工件的装载状态发生了变化;以及区域设定步骤,其设定在通过工件检测步骤检测工件时的工件检测区域,在通过装载状态判断步骤判断为工件的装载状态发生了变化时,在区域设定步骤中,在该装载状态变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域。
附图说明
通过与附图关联的以下的实施方式的说明,可以使本发明的目的、特征及优点更加明确。在该附图中,
图1是表示本发明的实施方式的工件取出装置的整体结构的图;
图2是表示由图1的机器人控制器(robot controller)内的CPU执行的处理的一例的流程图;
图3是表示图2的工件检测区域设定处理的细节的流程图;
图4是用于说明自动变更工件检测区域的大小的方法的图;
图5a是用于说明本发明的实施方式的工件取出装置的动作的图;
图5b是用于说明本发明的实施方式的工件取出装置的动作的图。
具体实施方式
以下,参照图1~图5b说明本发明的实施方式。图1是表示本发明的实施方式的工件取出装置1的整体结构的图。在集装箱6内杂乱地配置有、即散装有同种类的多个工件5。工件取出装置1具有:机器人2,其用于取出从该散装的多个工件5中选定的工件5;摄像机7,其固定地配置在集装箱6的上方;机器人控制器8,其根据利用摄像机7拍摄到的摄像机图像控制机器人2。
机器人2为具有能够旋转的关节轴的多关节机器人,其利用设在机械臂(robot arm)2a的前端部的机械手(robot hand)2b把持工件5。而且在机械手2b上设有视觉传感器3,利用视觉传感器3测量各工件5。视觉传感器3为激光投射式的三维视觉传感器,受机器人控制器8内的视觉传感器控制部8h控制。利用视觉传感器3得到的测量数据存储在机器人控制器8内的存储器8g中,通过控制器8内的处理,求出工件5的详细的三维位置及姿态。在机械臂2a上设有碰撞传感器4,利用碰撞传感器4检测在工件取出时作用于机械臂2a的碰撞。
摄像机7例如是具有CCD等摄像元件的电子摄像机,是具有通过拍摄而在受光面(CCD阵列面上)检测二维图像的功能的周知的受光设备。摄像机7的拍摄动作通过机器人控制器8内的摄像机控制部8f来控制,以将包含多个工件5的工件装载区域(例如整个集装箱)收纳于视野内的方式设定拍摄范围。摄像机图像被摄像机控制部8f读取,并存储在存储器8g中。
机器人控制器8具有:工件检测部8a,其根据存储在存储器8g中的图像检测工件5;工件选定部8b,其用于从利用工件检测部8a检测出的工件5中选定应该取出的工件5;工件装载状态判断部8c,其用于判断集装箱6内的工件5的装载状态是否发生了变化;工件装载状态变化位置存储部8d,其用于存储工件5的装载状态发生了变化的位置;工件检测区域设定部8e,其用于设定在利用工件检测部8a检测工件5时的工件检测区域,上述各部与摄像机控制部8f、存储器8g一同构成对摄像机图像进行处理的图像处理装置。
工件检测部8a例如通过图案匹配(pattern matching)来检测工件5。即预先生成与工件形状相对应的工件模型,从工件检测区域内的摄像机图像中检索、提取出与该工件模型相对应的目标图像,由此来检测工件5。在这样的工件检测部8a的处理中,当工件检测区域较大时,目标图像的检索需花费时间,到目标图像的检索完成为止机器人处于等待工件取出操作的状态,因此难以高效地进行工件取出操作。因此,在本实施方式中,通过以下那样设定工件检测区域来谋求缩短工件取出操作的时间。
图2是表示由机器人控制器8内的CPU执行的处理的一例的流程图。该流程图所示的处理,例如在输入工件取出操作的开始指令时开始。在步骤S1中,通过摄像机控制部8f中的处理,向摄像机7输出拍摄指令以使其对集装箱内的工件装载区域中的工件5进行拍摄,将通过拍摄而得到的摄像机图像存储到存储器8g中。
在步骤S2中,通过工件检测部8a中的处理(图案匹配),利用存储在存储器8g中的摄像机图像中的、工件检测区域内的摄像机图像来检测工件5,并将检测出的工件5存储到存储器8g中。在图2的处理的刚开始之后的初始状态中,与工件装载区域相匹配地以包围整个集装箱的方式设定工件检测区域。另外,如后述那样,在工件装载区域的一部分区域内设定了多个工件检测区域的情况(图5b)下,分别在每个工件检测区域中检测工件5。
在步骤S3中,判断通过步骤S2中的处理是否检测到1个以上的工件5。若在步骤S3中得到否定的结果则进入步骤S4,判断是否满足预定的结束条件。例如在取出的工件5达到了预定数量时,判断为满足结束条件。若在步骤S4中得到肯定的结果则结束处理。若在步骤S4中得到否定的结果则进入步骤S5,设定包围整个集装箱的工件检测区域,之后返回到步骤S1。另一方面,若在步骤S3中得到肯定的结果则进入步骤S6。
在步骤S6中,通过工件选定部8b中的处理,从在步骤S2中存储到存储器8g中的集装箱内的所有工件5中选定应该利用机器人2取出的工件5。在该情况下,例如将位于比周围的工件5高的位置、且没有被遮挡的工件5选定为应该取出的工件5。
在步骤S7中,判断通过步骤S6中的处理是否已选定好工件5。若在步骤S7中得到否定的结果则进入步骤S8,变更工件5的检测条件、选定条件以便能够选定工件5。例如变更拍摄时的光量、图案匹配中的工件图案等,并返回到步骤S1。若在步骤S7中得到肯定的结果则进入步骤S9。
在步骤S9中,向机器人驱动用的伺服电动机输出控制信号,控制机器人2(机械臂2a和机械手)的动作,从集装箱内取出已选定的工件5。在该情况下,计算设在机械臂前端部的视觉传感器3的移动位置,且利用视觉传感器3测量已选定的工件5的三维位置及姿态,并且在将机械手移动到工件取出的目标位置之后,利用机械手把持并取出工件5。
在步骤S10中,判断通过工件装载状态判断部8c中的处理,在机器人2动作时是否利用碰撞传感器4检测到碰撞,即判断在把持已选定的工件5之前是否由于机器人2接触到工件等而发生了碰撞。也可以代替碰撞传感器4而利用电动机电流的变化等检测作用于机器人驱动用的伺服电动机的负荷急剧变化,由此来判断碰撞的有无。
若在步骤S10中得到肯定的结果则进入步骤S11。在该情况下,由于碰撞的发生而使集装箱内的工件5的装载状态、特别是应该取出的工件5的附近的装载状态发生了变化的可能性较高。因此,在步骤S11中,通过在工件装载状态变化位置存储部8d中的处理,将已选定的应该取出的工件5的位置作为装载状态变化位置而存储,返回到步骤S6重新进行工件5的选定处理。在该重新进行的工件选定处理中,也可以从位于远离装载状态变化位置的位置的工件5、即认为装载状态未发生变化的工件5中选定应该取出的工件5。其中,装载状态变化位置是利用视觉传感器3检测到的工件5的三维位置,作为机器人坐标系的位置数据而存储。
在步骤S10中,在向应该取出的工件5的位置移动机械手时检测到了碰撞的情况下,不是在应该取出的工件5的附近,而是在机器人2受到了碰撞的位置装载状态发生了变化的可能性高。在该情况下,在步骤S11中,也可以将机器人2受到了碰撞时的机械臂前端部的位置作为装载状态变化位置存储在存储器8g中。机械臂前端部的位置能通过设在机器人2上的各种位置传感器检测到。
若在步骤S10中得到否定的结果则进入步骤S12。在步骤S12中,判断通过在工件装载状态判断部8c中的处理,是否已利用机械手把持好应该取出的工件5。具体而言,根据手转卡盘(hand chuck)的开闭确认传感器的检测值、在机械手为使用吸盘的类型的情况下根据吸附确认传感器的检测值,判断把持动作是否成功。也可以根据检测工件5相对于机械手是否位于正确的位置的非接触式传感器等的检测值判断把持动作是否成功。
若在步骤S12中得到肯定的结果则进入步骤S13。在该情况下,由于把持工件5并将其取出,集装箱内的工件5的装载状态、特别是工件5的取出位置的附近的装载状态发生了变化的可能性高。因此,在步骤S13中,通过在工件装载状态变化位置存储部8d中的处理,与步骤S11同样地,将已选定的应该取出的工件5的位置作为装载状态变化位置而存储,之后进入步骤S14。在实际的工件5的位置偏离已选定的工件5的位置的情况下,有时会使机械手向比已选定的工件5的位置例如靠下方移动来把持工件5,考虑到这种情况,也可以将实际上工件5被把持的位置作为装载状态变化位置存储在存储器8g中。若在步骤S12中得到否定的结果则进入步骤S14。
在步骤S14中,通过在工件检测区域设定部8e中的处理,执行图3所示的工件检测区域设定处理。首先,在步骤S14a中,判断是否存在装载状态变化位置、即判断是否执行了步骤S11或步骤S13中的某个处理。若在步骤S14a中得到肯定的结果则进入步骤S14b,取得由工件装载状态变化位置存储部8d存储的机器人坐标系中的装载状态变化位置。在步骤S14c中,将机器人坐标系的装载状态变化位置变换为图像上的位置。具体而言,使用摄像机7的校准数据(calibration data),利用周知的方法将装载状态变化位置变换为摄像机图像上的位置。
在步骤S14d中,将预先决定了形状及大小的工件检测区域设定在图像上的装载状态变化位置。例如在工件检测区域为圆形的情况下,设定以装载状态变化位置为中心的圆的直径或半径即可,在工件检测区域为矩形的情况下,设定以装载状态变化位置为中心的矩形窗口的纵向长度和横向长度即可。在任意一种情况下,工件检测区域都被设定在至少利用摄像机7拍摄到的工件装载区域的一部分区域内、即比工件装载区域小的范围内。在装载状态变化位置存在于多处的情况下,分别针对各位置来设定工件检测区域。
若步骤S14d的处理结束,则返回到图2的步骤S1,重复进行一系列的处理。在重复的处理中,在步骤S2中,从设定在工件装载区域的一部分区域内的工件检测区域内检测工件5,利用该新的工件检测数据改写该工件检测区域内的工件检测数据并存储到存储器8g中。即,将工件5的装载状态发生了变化的位置的周边区域作为工件检测区域来进行工件5的检测处理,并更新该区域内的工件检测数据。因此,没有必要在工件装载区域的整个范围内检测工件5,所以能够缩短工件检测部8a的处理的时间。
另一方面,在步骤S14a中,若判断为不存在装载状态变化位置则进入步骤S14e。在步骤S14e中,将工件检测区域设定为包围整个集装箱的工件装载区域的整体,返回到图2的步骤S2。在该情况下,工件5的装载状态未发生变化,因此没有必要再次进行摄像机7的拍摄,而是在重复的处理的步骤S2中,从整个集装箱中检测工件5。
关于步骤S14d中的工件检测区域的设定处理,利用摄像机7拍摄到的工件5的图像上的大小与从摄像机7到工件5的距离、即配置在集装箱内的工件5的高度相应地发生变化。考虑到该情况,也可以与工件5的高度相应地自动变更工件检测区域的大小。即,也可以在工件5靠近摄像机7的情况下增大工件检测区域,在工件5离摄像机7较远的情况下减小工件检测区域,来使包含在工件检测区域中的工件5的图像上的大小保持恒定。以下,对该情况进行说明。
图4是用于说明自动变更工件检测区域的大小的方法的图。在此,将工件5的高度方向定义为图中的Z轴方向。首先,分别设定当工件5为自基准位置起Z1及Z2的高度时利用摄像机7拍摄而得的图像上描绘的图像尺寸SZ1及SZ2。此时,图像上描绘的尺寸与工件5距摄像机7的距离成反比例,因此若将从基准位置到摄像机7的距离(摄像机高度)设为Z0,将从摄像机7到高度为Z1及Z2的各工件5的距离分别设为A1、A2,则下面的式(Ⅰ)成立。
SZ2/SZ1=A1/A2=(Z0-Z1)/(Z0-Z2)(Ⅰ)
摄像机高度Z0能够通过下面的式(Ⅱ)算出,若将装载状态变化位置的高度设为Z3,则此时的图像尺寸SZ3能够通过下面的式(Ⅲ)算出。
Z0=(SZ2×Z2-SZ1×Z1)/(SZ2-SZ1)    (Ⅱ)
SZ3=((Z0-Z1)/(Z0-Z3))×SZ1        (Ⅲ)
在将工件检测区域例如设为圆形的情况下,预先决定与图像尺寸SZ1相对应的工件检测区域的直径D1。在步骤S14d中,利用该D1,通过下面的式(Ⅳ)算出与图像尺寸SZ3相对应的工件检测区域的直径D3。
D3=(SZ3/SZ1)×D1=((Z0-Z1)/(Z0-Z3))×D1  (Ⅳ)
进一步具体地说明本发明的实施方式的工件取出装置1的动作。例如,如图5a所示,假设在集装箱6内散装配置有多个工件5。在该情况下,首先,设定包围整个集装箱的工件检测区域,在集装箱内的整个范围中检测到工件5之后(步骤S2),将位于比周围的工件5高的位置且未被遮挡的工件5a选定为应该由机器人2取出的工件(步骤S6)。
在取出已选定的工件5a时,例如在利用机械手把持工件5a之前机械手接触到工件5a时,如图5b所示,工件5a的位置发生偏移。在该情况下,利用碰撞传感器4检测出碰撞,将已选定的工件5a的位置作为装载状态变化位置来存储(步骤S11),再次进行工件5的选定(步骤S6)。此时,如图5a所示,当选定与上次不同的工件5b时,利用机器人2取出该工件5b,将该工件5b的位置作为装载状态变化位置来存储(步骤S13)。
在该情况下,如图5b所示,在包含碰撞检测时所选定的工件5a和利用机器人2取出时所选定的工件5b的区域中,分别设定工件检测区域12a、12b(步骤S14d)。然后,在利用摄像机7拍摄了整个集装箱内之后,利用该摄像机图像在各工件检测区域12a、12b内检测工件5(步骤S2)。由此,工件5的工件检测区域被限制,因此能够缩短工件检测所需要的时间,能够进行高效的工件取出操作。
在工件取出时利用碰撞传感器4未检测到碰撞,也未检测到机器人2对工件5的把持动作的情况下,不存在装载状态变化位置,因此设定包围整个集装箱的工件检测区域(步骤S14e)。在步骤S14d中设定的工件检测区域内未检测到工件5的情况(例如仅设定了图5b中的检索窗口12b的情况)下,也设定包围整个集装箱的工件检测区域(步骤S5)。在这些情况下,再次从整个集装箱中检测工件5。
采用本实施方式能够取得如以下那样的作用效果。
(1)通过在工件装载状态判断部8c中的处理(步骤S10、步骤S12),判断工件5的装载状态是否发生了变化,若判断为工件5的装载状态发生了变化,则通过在工件检测区域设定部8e中的处理(步骤S14d),在该装载状态的变化位置的周边区域中设定工件检测区域,通过在工件检测部8a中的处理(步骤S2),在工件检测区域内检测工件5。因此,成为在工件装载区域的一部分区域内检测工件5的情况,从而能够缩小工件检测区域。因此,能够缩短工件检测所需要的时间,能够高效地进行工件取出操作。
(2)若判断为机器人2对工件5的把持动作成功,则判断为工件5的装载状态发生了变化,因此能够正确地判断工件5的取出后的装载状态的变化。在该情况下,在利用工件选定部8b选定的工件5的位置的周边区域中设定工件检测区域,因此能够在装载状态极有可能发生了变化的地方高效地进行工件检测处理。换言之,若在利用机器人2把持工件5的位置的周边区域中设定工件检测区域,则即使在实际的工件5的位置偏离已选定的工件5的位置的情况下,也能够高效地进行工件检测处理。
(3)若判断为在机器人2把持工件5之前机器人2受到了碰撞,则判断为工件5的装载状态发生了变化,因此能够正确地判断由于发生碰撞而引起的工件5的装载状态的变化。在该情况下,在利用工件选定部8b选定的工件5的位置的周边区域中设定工件检测区域,因此能够在装载状态极有可能发生了变化的地方高效地进行工件检测处理。换言之,若在机器人2受到了碰撞的位置的周边区域中设定工件检测区域,则即使在受到了碰撞的位置偏离已选定的工件5的位置的情况下,也能够高效地进行工件检测处理。
(4)在检测到作用于机器人2的碰撞之后,在取出了存在于与该碰撞检测位置不同的位置的工件5的情况等、装载状态变化位置存在于多处时(例如图5的情况),设定了与各装载状态变化位置相对应的工件检测区域12a、12b。由此,能够一边抑制工件检测所需要的时间,一边高精度地检测装载状态发生了变化的区域中的工件5。
(5)若与已选定的工件5和摄像机7之间的距离相应地自动变更工件检测区域的大小,则能够与集装箱内的工件5的高度无关地,在图像上将与工件5相对应的工件检测区域的相对大小保持为恒定,高效地检测工件5。
另外,在上述实施方式中,工件检测部8a、工件选定部8b、工件装载状态判断部8c(装载状态判断部)、工件装载状态变化位置存储部8d、工件检测区域设定部8e(区域设定部)、摄像机控制部8f、存储器8g、视觉传感器控制部8h被包含在机器人控制器8中,但机器人控制器8的结构不限于此。例如也可以将工件检测部8a、工件检测区域设定部8e、摄像机控制部8f、视觉传感器控制部8h设在机器人控制器8的外部,利用通信单元向机器人控制器8发送图像处理的结果。也可以省略工件装载状态变化位置存储部8d,将装载状态变化位置存储在存储器8g中。
在上述实施方式中,当判断为工件5的装载状态发生了变化时,在工件装载区域的一部分区域内设定了圆形或矩形的工件检测区域,但工件检测区域的形状可以是任意形状。通过在机器人控制器8内的处理,判断了工件5的把持动作是否成功(步骤S12),且判断了作用于机器人2的碰撞的有无(步骤S10),但作为把持判断部的工件装载状态判断部中的结构及作为碰撞判断部的工件装载状态判断部中的结构不限于上述结构。即,只要能够实现本发明的特征、功能,本发明不限于实施方式的工件取出装置1。
总而言之,本实施方式的工件取出方法的特征在于,包括:拍摄步骤(步骤S1),其利用摄像机7对包含散装的多个工件5的工件装载区域进行拍摄;工件检测步骤(步骤S2),其根据利用摄像机7拍摄到的摄像机图像检测工件5;工件选定步骤(步骤S6),其根据工件检测步骤的检测结果选定应该取出的工件5;工件取出步骤(步骤S9),其利用机器人2取出由工件选定步骤选定的工件5;装载状态判断步骤(步骤S10、步骤S12),其判断是否由于机器人2的动作而使工件5的装载状态发生了变化;区域设定步骤(步骤S14d),其设定在利用工件检测步骤检测工件5时的工件检测区域,在区域设定步骤中,在通过装载状态判断步骤判断为工件5的装载状态发生了变化时,在该装载状态变化位置的周边区域、即工件装载区域的一部分区域内设定工件检测区域,只要能够实现该特征,也可以对上述结构进行各种变形。
根据本发明,在工件的装载状态发生了变化的位置的周边区域中设定工件检测区域,因此与在整个工件装载区域中设定工件检测区域的情况相比,工件检测区域缩小,能够大幅度地缩短工件检测所花费的处理时间。因此,到工件的拍摄和检测结束为止的机器人的待机时间减少,能够高效地进行工件取出操作。
以上,与本发明的优选实施方式相关联地说明了本发明,但对于本领域的技术人员而言,应该理解在不脱离后述的请求专利保护的范围所公开的范围的情况下能够进行各种修正及变更。

Claims (9)

1.一种工件取出装置,其特征在于,包括:
摄像机(7),其对包含散装的多个工件(5)的工件装载区域进行拍摄;
工件检测部(8a),其根据利用上述摄像机拍摄到的摄像机图像来检测工件;
工件选定部(8b),其根据上述工件检测部的检测结果选定应该取出的工件;
机器人(2),其取出由上述工件选定部选定的工件;
装载状态判断部(8c),其判断是否由于上述机器人的动作而使工件装载区域内的工件的装载状态发生了变化;以及
区域设定部(8e),其设定在利用上述工件检测部检测工件时的工件检测区域,
在通过上述装载状态判断部判断为工件的装载状态发生了变化时,上述区域设定部在该装载状态的变化位置的周边区域、即上述工件装载区域的一部分区域内设定上述工件检测区域。
2.根据权利要求1所述的工件取出装置,其中,
还具有把持判断部(8c),其用于判断上述机器人对由上述工件选定部选定的工件的把持动作是否成功,
在利用上述把持判断部判断为上述机器人的上述把持动作已成功时,上述装载状态判断部判断为工件的装载状态发生了变化。
3.根据权利要求1所述的工件取出装置,其中,
还具有碰撞判断部(8c),其用于判断在上述机器人把持由上述工件选定部选定的工件之前,有无作用于上述机器人的碰撞,
在利用上述碰撞判断部判断为有碰撞时,上述装载状态判断部判断为工件的装载状态发生了变化。
4.根据权利要求2所述的工件取出装置,其中,
上述装载状态变化位置为利用上述工件选定部选定的工件的位置或利用上述机器人把持上述工件的位置。
5.根据权利要求3所述的工件取出装置,其中,
上述装载状态变化位置为利用上述工件选定部选定的工件的位置或上述机器人受到了碰撞的位置。
6.根据权利要求1~5中的任意一项所述的工件取出装置,其中,
在上述装载状态变化位置存在于多处时,上述区域设定部设定与各装载状态变化位置相对应的上述工件检测区域。
7.根据权利要求1~5中的任意一项所述的工件取出装置,其中,
上述区域设定部,对应于由上述工件选定部选定的工件与上述摄像机之间的距离,变更上述工件检测区域的大小。
8.根据权利要求1~5中的任意一项所述的工件取出装置,其中,
在上述装载状态变化位置存在于多处时,上述区域设定部设定与各装载状态变化位置相对应的上述工件检测区域,
上述区域设定部,对应于由上述工件选定部选定的工件与上述摄像机之间的距离,变更上述工件检测区域的大小。
9.一种工件取出方法,其特征在于,
包括以下步骤:
拍摄步骤,其利用摄像机对包含散装的多个工件的工件装载区域进行拍摄;
工件检测步骤,其根据利用上述摄像机拍摄到的摄像机图像来检测工件;
工件选定步骤,其根据上述工件检测步骤的检测结果选定应该取出的工件;
工件取出步骤,其利用机器人取出通过上述工件选定步骤选定的工件;
装载状态判断步骤,其判断是否由于上述机器人的动作而使工件装载区域内的工件的装载状态发生了变化;以及
区域设定步骤,其设定在通过上述工件检测步骤检测工件时的工件检测区域,
在通过上述装载状态判断步骤判断为工件的装载状态发生了变化时,在上述区域设定步骤中,在该装载状态变化位置的周边区域、即上述工件装载区域的一部分区域内设定上述工件检测区域。
CN201110215255.6A 2010-07-27 2011-07-25 工件取出装置及工件取出方法 Active CN102343590B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-167987 2010-07-27
JP2010167987A JP4938115B2 (ja) 2010-07-27 2010-07-27 ワーク取出し装置およびワーク取出し方法

Publications (2)

Publication Number Publication Date
CN102343590A true CN102343590A (zh) 2012-02-08
CN102343590B CN102343590B (zh) 2014-05-07

Family

ID=45471287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110215255.6A Active CN102343590B (zh) 2010-07-27 2011-07-25 工件取出装置及工件取出方法

Country Status (4)

Country Link
US (1) US8380342B2 (zh)
JP (1) JP4938115B2 (zh)
CN (1) CN102343590B (zh)
DE (1) DE102011108169B4 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103659822A (zh) * 2012-09-14 2014-03-26 株式会社安川电机 机器人设备
CN104057447A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人拾取系统以及被加工物的制造方法
CN107249830A (zh) * 2015-02-19 2017-10-13 株式会社天田控股集团 折弯机器人及工件检测方法
CN107792655A (zh) * 2016-08-29 2018-03-13 发那科株式会社 工件取出系统
CN108393908A (zh) * 2017-02-06 2018-08-14 发那科株式会社 改善工件取出动作的工件取出装置以及工件取出方法
CN108942916A (zh) * 2017-05-19 2018-12-07 发那科株式会社 工件取出系统
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN110303473A (zh) * 2018-03-20 2019-10-08 发那科株式会社 使用传感器和机器人的物品取出装置以及物品取出方法
CN110497401A (zh) * 2018-05-18 2019-11-26 发那科株式会社 取出散装的工件的机器人系统以及机器人系统的控制方法
CN111985293A (zh) * 2019-05-21 2020-11-24 丰田自动车株式会社 工件识别方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5769411B2 (ja) * 2010-12-15 2015-08-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101882490B1 (ko) * 2011-11-29 2018-07-30 삼성전자주식회사 로봇 및 그 제어방법
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
JP5383836B2 (ja) 2012-02-03 2014-01-08 ファナック株式会社 検索ウィンドウを自動的に調整する機能を備えた画像処理装置
DE102012203134A1 (de) 2012-02-29 2013-08-29 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zum Aufnehmen eines Konturteils
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) * 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP5983763B2 (ja) * 2012-11-30 2016-09-06 株式会社安川電機 ロボットシステム
JP5835254B2 (ja) * 2013-03-15 2015-12-24 株式会社安川電機 ロボットシステム、及び、ロボットシステムの制御方法
JP5786896B2 (ja) * 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5877857B2 (ja) * 2014-03-10 2016-03-08 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
FR3034078B1 (fr) * 2015-03-27 2017-03-24 Airbus Helicopters Procede et dispositif pour signaler au sol un aeronef en vol, et aeronef muni de ce dispositif
JP2017042859A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6450727B2 (ja) * 2016-10-28 2019-01-09 ファナック株式会社 ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体
EP3366433B1 (en) * 2017-02-09 2022-03-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system
WO2018173318A1 (ja) * 2017-03-24 2018-09-27 三菱電機株式会社 ロボットプログラムの生成装置及び生成方法
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
JP6526100B2 (ja) * 2017-04-28 2019-06-05 ファナック株式会社 物品取出システム
US10933533B2 (en) * 2017-06-23 2021-03-02 Kindred Systems Inc. Systems, devices, articles, and methods for stow verification
CN108274469B (zh) * 2018-04-23 2020-11-03 东北大学 基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法
JP6725587B2 (ja) 2018-05-18 2020-07-22 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP7237496B2 (ja) * 2018-09-10 2023-03-13 株式会社東芝 ピッキングシステム、情報処理装置及び情報処理プログラム
WO2023223503A1 (ja) * 2022-05-19 2023-11-23 ファナック株式会社 制御装置及び検出システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134573A (ja) * 1987-11-19 1989-05-26 Kawasaki Heavy Ind Ltd 画像処理方法
JPH1134573A (ja) * 1997-07-14 1999-02-09 Mitsubishi Pencil Co Ltd ボールペンのリフィール
JP2974111B2 (ja) * 1993-12-27 1999-11-08 株式会社ダイフク 物品移載方法
CN101081512A (zh) * 2006-05-29 2007-12-05 发那科株式会社 工件取出装置以及方法
US20070282485A1 (en) * 2006-06-06 2007-12-06 Fanuc Ltd Robot simulation apparatus
CN101152720A (zh) * 2006-09-29 2008-04-02 发那科株式会社 工件取出装置
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
JP2010120141A (ja) * 2008-11-21 2010-06-03 Ihi Corp バラ積みピッキング装置とその制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876728A (en) * 1985-06-04 1989-10-24 Adept Technology, Inc. Vision system for distinguishing touching parts
JPH04199264A (ja) 1990-11-26 1992-07-20 Hitachi Ltd テキストエディタ
EP0812662B1 (en) * 1995-12-27 2008-01-23 Fanuc Ltd Composite sensor robot system
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
WO2004029864A1 (de) * 2002-09-23 2004-04-08 Hermann Tropf Erfassen und greifen von gegenständen

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134573A (ja) * 1987-11-19 1989-05-26 Kawasaki Heavy Ind Ltd 画像処理方法
JP2974111B2 (ja) * 1993-12-27 1999-11-08 株式会社ダイフク 物品移載方法
JPH1134573A (ja) * 1997-07-14 1999-02-09 Mitsubishi Pencil Co Ltd ボールペンのリフィール
CN101081512A (zh) * 2006-05-29 2007-12-05 发那科株式会社 工件取出装置以及方法
US20070282485A1 (en) * 2006-06-06 2007-12-06 Fanuc Ltd Robot simulation apparatus
CN101152720A (zh) * 2006-09-29 2008-04-02 发那科株式会社 工件取出装置
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
JP2010120141A (ja) * 2008-11-21 2010-06-03 Ihi Corp バラ積みピッキング装置とその制御方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103659822B (zh) * 2012-09-14 2015-08-19 株式会社安川电机 机器人设备
CN103659822A (zh) * 2012-09-14 2014-03-26 株式会社安川电机 机器人设备
CN104057447A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人拾取系统以及被加工物的制造方法
US9149932B2 (en) 2013-03-18 2015-10-06 Kabushiki Kaisha Yaskawa Denki Robot picking system, control device, and method of manufacturing a workpiece
CN107249830A (zh) * 2015-02-19 2017-10-13 株式会社天田控股集团 折弯机器人及工件检测方法
CN107249830B (zh) * 2015-02-19 2018-09-25 株式会社天田控股集团 折弯机器人及工件检测方法
CN107792655A (zh) * 2016-08-29 2018-03-13 发那科株式会社 工件取出系统
CN107792655B (zh) * 2016-08-29 2020-07-24 发那科株式会社 工件取出系统
US10603790B2 (en) 2017-02-06 2020-03-31 Fanuc Corporation Workpiece picking device and workpiece picking method for improving picking operation of workpieces
CN108393908A (zh) * 2017-02-06 2018-08-14 发那科株式会社 改善工件取出动作的工件取出装置以及工件取出方法
CN108942916A (zh) * 2017-05-19 2018-12-07 发那科株式会社 工件取出系统
CN108942916B (zh) * 2017-05-19 2019-08-23 发那科株式会社 工件取出系统
CN110303473A (zh) * 2018-03-20 2019-10-08 发那科株式会社 使用传感器和机器人的物品取出装置以及物品取出方法
CN110303473B (zh) * 2018-03-20 2022-10-18 发那科株式会社 使用传感器和机器人的物品取出装置以及物品取出方法
CN110497401A (zh) * 2018-05-18 2019-11-26 发那科株式会社 取出散装的工件的机器人系统以及机器人系统的控制方法
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN111985293A (zh) * 2019-05-21 2020-11-24 丰田自动车株式会社 工件识别方法
CN111985293B (zh) * 2019-05-21 2023-12-29 丰田自动车株式会社 工件识别方法

Also Published As

Publication number Publication date
JP4938115B2 (ja) 2012-05-23
JP2012024903A (ja) 2012-02-09
DE102011108169B4 (de) 2013-07-11
US20120029686A1 (en) 2012-02-02
US8380342B2 (en) 2013-02-19
DE102011108169A1 (de) 2012-02-02
CN102343590B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN102343590A (zh) 工件取出装置及工件取出方法
CN100562411C (zh) 工件取出装置以及方法
EP2364823B1 (en) Robot system and transfer method
KR102467559B1 (ko) 장치
JP4565023B2 (ja) 物品取り出し装置
US9604363B2 (en) Object pickup device and method for picking up object
EP3229091B1 (en) Work management device
EP1905548A2 (en) Workpiece picking apparatus
JP5893695B1 (ja) 物品搬送システム
JP3333963B2 (ja) 視覚案内形ロボット装置
US20180161978A1 (en) Interference region setting apparatus for mobile robot
CN105415370A (zh) 物品取出装置
CN105858188A (zh) 具备三维传感器的搬运机器人系统
CN103240756B (zh) 具有自动调整检索窗口的功能的图像处理装置
JP5413413B2 (ja) 自動倉庫
JP2018162122A (ja) 搬送装置、プログラム及び搬送システム
US20170185065A1 (en) Wire electric discharge machining system
CN109835706B (zh) 工件配置系统
CN111225143B (zh) 图像处理装置及其控制方法以及程序存储介质
EP3457238A1 (en) Machining devices
US20210323150A1 (en) Image processing apparatus monitoring target, control method therefor, and storage medium storing control program therefor
JP2019058954A (ja) 作業支援ユニット及び自動作業システム
US6374149B1 (en) System and method for determining the center of a wafer on a wafer table
CN110303473B (zh) 使用传感器和机器人的物品取出装置以及物品取出方法
CN115103737B (zh) 信息处理装置及信息处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant