CN104227723B - 工件检测装置、机器人系统、被加工物的制造方法及工件检测方法 - Google Patents
工件检测装置、机器人系统、被加工物的制造方法及工件检测方法 Download PDFInfo
- Publication number
- CN104227723B CN104227723B CN201410251350.5A CN201410251350A CN104227723B CN 104227723 B CN104227723 B CN 104227723B CN 201410251350 A CN201410251350 A CN 201410251350A CN 104227723 B CN104227723 B CN 104227723B
- Authority
- CN
- China
- Prior art keywords
- workpiece
- detection area
- dimensional detection
- dimensional
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种能缩短工件的检测时间的工件检测装置、机器人系统、被加工物的制造方法和工件检测方法。工件检测装置(3)包括：获取二维图像的摄像机(30)；三维传感器(31)；移送三维传感器(31)的传感器移送机构(33)；对二维图像进行处理并抽出多个候补工件的工件抽出部(U2)；设定与多个候补工件分别相对应的多个三维检测区域的区域设定部(U3)；以三维检测区域中包含的候补工件的个数越多越将该三维检测区域设为上位的方式，设定多个三维检测区域的优先顺序的优先顺序设定部(U4)；以基于优先顺序依次进行三维检测区域的三维形状的检测的方式，控制三维传感器(31)和传感器移送机构(33)的传感器控制部(U5)；在每次检测到三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的工件的工件检测部(U6)。
Description
技术领域
本发明涉及一种机器人系统，尤其涉及一种能缩短工件的检测时间的工件检测装置、机器人系统、被加工物的制造方法以及工件的检测方法。
背景技术
能够依次搬运被随机装载的工件的机器人系统得到实用化。例如，在专利文献1中，公开了以下的机器人系统：对由摄像机获得的二维图像进行处理来抽出多个候补工件，对多个候补工件设定优先顺序，按照优先顺序，针对每个工件进行三维位置以及姿态的精密测定，由此检测能够拾取的工件。
现有技术文献
专利文献
专利文献1：特開2008－87074(日本特开2008－87074号公报)
发明内容
本发明所要解决的问题
为了在短时间内完成随机装载的工件的搬运，期望在短时间内检测出能够拾取的工件。然而，在上述的机器人系统中，直至检测出能够拾取的工件为止，针对每个候补工件，重复进行三维位置以及姿态的精密测定。因此，有时工件的检测时间变长。
因此，本发明的目的是提供能够缩短工件的检测时间的工件检测装置、机器人系统、被加工物的制造方法以及工件检测方法。
用于解决问题的手段
本发明涉及的工件检测装置包括：摄像机，获取包含工件在内的搜索范围的二维图像；三维传感器，检测三维检测区域的三维形状；传感器移送机构，移送三维传感器；工件抽出部，对二维图像进行处理并抽出多个候补工件；区域设定部，设定与多个候补工件分别相对应的多个三维检测区域；优先顺序设定部，以三维检测区域中包含的候补工件的个数越多越将该三维检测区域设为上位的方式，设定多个三维检测区域的优先顺序；传感器控制部，以基于优先顺序依次进行三维检测区域的三维形状的检测的方式控制三维传感器及传感器移送机构；以及工件检测部，在每次检测出三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的工件。
本发明涉及的机器人系统包括：上述工件检测装置；机器人，具有对工件进行保持的保持机构；以及机器人控制器，控制机器人使其通过保持机构保持并搬运由工件检测装置检测到的工件。
本发明涉及的被加工物的制造方法包括：通过摄像机获取包含工件在内的搜索范围的二维图像；对二维图像进行处理并抽出多个候补工件；设定与多个候补工件分别相对应的多个三维检测区域；以三维检测区域中包含的候补工件的个数越多越将该三维检测区域设为上位的方式，设定多个三维检测区域的优先顺序；基于优先顺序，通过三维传感器依次进行三维检测区域的三维形状的检测；在每次检测出三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的工件；通过机器人的保持机构保持所检测到的工件；以及通过机器人将保持机构所保持的工件向下一工序搬运。
本发明涉及的工件检测方法包括：通过摄像机获取包含工件在内的搜索范围的二维图像；对二维图像进行处理从并抽出多个候补工件；设定与多个候补工件分别相对应的多个三维检测区域；以三维检测区域中包含的候补工件的个数越多越将该三维检测区域设为上位的方式，设定多个三维检测区域的优先顺序；基于优先顺序，通过三维传感器依次进行三维检测区域的三维形状的检测；以及在每次检测出三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的所述工件。
发明效果
根据本发明，能够缩短工件的检测时间。
附图说明
图1是本实施方式涉及的机器人系统的概略图。
图2是表示工件检测装置的功能结构的框图。
图3是表示工件搬出顺序的流程图。
图4是例示候补工件以及三维检测区域的示意图。
图5是表示将图4中的三维检测区域的一部分从检测对象中去除后的状态的示意图。
附图标记说明
1…机器人系统、3…工件检测装置、20…机器人、21…机器人控制器、23…保持机构、30…摄像机、31…三维传感器、33…传感器移送机构、A0…载置区域、A1，A2，A3，A4，A5，A6，A7，A8，A9，A10…三维检测区域、U2…工件抽出部、U3…区域设定部、U4…优先顺序设定部、U5…传感器控制部、U6…工件检测部、W1，W2，W3，W4，W5，W6，W7，W8，W9，W10…候补工件。
具体实施方式
以下，参照附图对本发明的优选的实施方式进行详细说明。在说明中，对同一要素或者具有同一功能的要素标注同一附图标记，并省略重复的说明。
如图1所示，机器人系统1包括机器人装置2以及工件检测装置3。机器人系统1从收容工件的储料器10中拾取工件并搬运。
储料器10是上部开口的容器，收容随机装载(散放)的多个工件。储料器10的底部构成能够载置工件的载置区域A0(参照图4)。
机器人装置2包括机器人20和机器人控制器21，并将储料器10内的工件向外部搬运。机器人20例如具有串联连杆型的臂22以及安装在臂22的手腕部22a上的保持机构23。保持机构23具有多个指部23a，并通过使多个指部23a开闭来保持工件。保持机构23也可以对工件进行吸附保持。
工件检测装置3包括摄像机30、三维传感器31以及工件检测控制器32。摄像机30被配置在储料器10的上方，并获取包含储料器10内的工件在内的搜索范围的二维图像。搜索范围例如是包含整个储料器10的范围。摄像机30例如是CCD摄像机、CMOS摄像机。
三维传感器31具有激光扫描仪31a以及受光部31b。激光扫描仪31a在使镜面转动而改变激光的射出角度的同时，向下方的测定对象照射激光。受光部31b接收来自测定对象的反射光。三维传感器31使用激光的射出角度以及受光部31b的受光位置等，利用三角测定原理，检测出测定对象的三维形状。以下，将构成三维传感器31的测定对象的范围称作“三维检测区域”。
三维传感器31安装在臂22的手腕部22a上，工件检测装置3将机器人20以及机器人控制器21用作三维传感器31的移送机构。即，工件检测装置3还包括由机器人20以及机器人控制器21构成的传感器移送机构33。通过将机器人20以及机器人控制器21兼用于工件的搬运和三维传感器31的移送，能够简化机器人系统1的结构。
工件检测控制器32是通过控制摄像机30、三维传感器31以及传感器移送机构33来执行本实施方式涉及的工件检测方法的计算机。如图2所示，工件检测控制器32包括摄像机控制部U1、工件抽出部U2、区域设定部U3、优先顺序设定部U4、传感器控制部U5以及工件检测部U6。
摄像机控制部U1控制摄像机30，使其获取上述搜索范围的二维图像。工件抽出部U2对通过摄像机30获取的二维图像进行处理，并抽出多个候补工件。区域设定部U3设定与通过工件抽出部U2抽出的多个候补工件分别相对应的多个三维检测区域。优先顺序设定部U4设定多个三维检测区域的优先顺序。
传感器控制部U5控制三维传感器31以及传感器移送机构33，使其基于优先顺序来依次进行三维检测区域的三维形状的检测。具体而言，通过传感器移送机构33将三维传感器31移送到三维检测区域的上方，从优先顺序高的三维检测区域依次地执行通过三维传感器31获取该三维检测区域的三维形状的控制。每次通过三维传感器31检测出三维形状时，工件检测部U6基于该三维形状来执行工件的搜索，并检测能够拾取的工件。
接下来，对通过机器人系统1执行的工件的搬运顺序进行说明。该顺序包含通过工件检测控制器32执行的工件检测方法。如图3所示，首先，通过摄像机控制部U1控制摄像机30，从而获取上述搜索范围的二维图像(S01)。
接下来，对二维图像进行处理并从搜索范围中抽出多个候补工件(S02)。具体而言，在通过图像处理所识别的多个工件中抽出满足抽出条件的工件作为候补工件。作为抽出条件，例如可以列举出其他的工件没有叠放在上面。或者可以列举出工件的特定的面朝上。关于其他的工件是否叠放在上面，能够根据工件的轮廓是否被不间断地识别来判断。关于工件的特定的面是否朝上，可以根据工件的轮廓形状来判断。
此外，候补工件的抽出条件不限于上述例示。例如也可以将存在能够插入保持机构23的空间作为抽出条件。关于是否满足该条件，可以根据在工件的保持部位的周围是否存在有其他的工件来判断。
接下来，设定与多个候补工件分别相对应的多个三维检测区域(S03)。例如针对每个候补工件，设定以该候补工件为中心的三维检测区域。
参照图4对候补工件的抽出以及三维检测区域的设定的具体例进行说明。图4中的工件具有环状部分Wa以及从环状部分Wa向外周侧突出的棒状部分Wb。抽出条件是其他的工件没有叠放在上面以及与环状部分Wa的中心轴正交的面朝上。为了满足这些条件，轮廓线不间断且环状部分Wa的轮廓形状为环状的工件W1至W10作为候补工件被抽出。之后，将分别以工件W1～W10为中心的多个区域A1～A10设定为三维检测区域。
接下来，如图3所示，通过优先顺序设定部U4设定多个三维检测区域的优先顺序(S04)。优先顺序设定部U4根据三维检测区域所包含的候补工件的个数(以下称作“内含的候补工件的个数”)越多越将该三维检测区域设为上位。另外，根据上述载置区域A0和三维检测区域的重复区域的面积越小越将该三维检测区域设为上位。另外，根据三维检测区域中包含的候补工件的二维图像的摄影倍率越大越将该三维检测区域设为上位。关于这样的设定，例如可以通过根据下式所计算出的分数P越大越将三维检测区域设为上位的方法来实现。
P＝Z/S
Z：三维检测区域中所包含的所有的候补工件的摄影倍率的总和。
S：重复区域的面积。
即，当内含的候补工件的个数越多摄影倍率的总和Z会越大，当各候补工件的摄影倍率越大摄影倍率的总和Z会越大。由于该总和Z为分数P的分子，因此，分数P根据内含的候补工件的数量越多而越大，根据各候补工件的摄影倍率越大而越大。由于重复区域的面积S为分数P的分母，因此，分数P根据面积S越小而越大。
另外，优先顺序设定部U4根据三维检测区域与该三维检测区域的上位的三维检测区域的重复越大越将该三维检测区域设为下位。另外，也可以相互同级的三维检测区域彼此之间的重复越大而将任一方三维检测区域设为下位。如此，作为根据三维检测区域彼此之间的重复越大而进行的顺序调整的一例，也可以设定与三维检测区域彼此之间的重复面积有关的阈值，根据上述重复面积越大于阈值而进行顺序调整。或者也可以设定与三维检测区域彼此之间的中心间距离有关的阈值，根据上述中心间距离越小于阈值而进行顺序调整。此外，降低三维检测区域的优先顺序还包含将该三维检测区域从检测对象中除去。
参照图4对优先顺序的设定的具体例进行说明。仅按照根据内含的候补工件的个数越多越将优先顺序设为上位这样的条件时，内含四个候补工件的区域A2为第一位，内含大约3.5个候补工件的区域A3为第二位，内含三个候补工件的区域A4为第三位，内含两个候补工件的区域A1、A5、A6、A7、A8、A9、A10为第四位。
在此，加入根据重复区域的面积越小越将优先顺序设为上位这样的条件。由于区域A7、A8包含载置区域A0的周缘，因此区域A7、A8的重复区域比其他的区域小。因此，区域A7为第三位，区域A4降到第四位，区域A8为第五位，区域A1、A5、A6、A9、A10降到第六位。
另外，加入根据各候补工件的摄影倍率越大越将优先顺序设为上位这样的条件。工件W5、W6的摄影倍率比其他的工件的摄影倍率大。因此，包含工件W5、W6的区域A5、A6为第四位，区域A4降到第六位，区域A8降到第七位，区域A1、A9、A10降到第八位。
另外，加入根据与上位的三维检测区域的重复越大越将优先顺序设为下位这样的条件。由此，例如，与第一位的区域A2重复较大的区域A1、A3、A4被设为比第八位的区域A9、A10更低的下位。与第三位的区域A7重复较大的区域A8也被设为比区域A9、A10更低的下位。彼此重复较多的第四位的区域A5、A6的任一方也被设为比区域A9、A10更低的下位。彼此重复较多的第八位的区域A9、A10的任一方也被设为更低的下位。如图5所示，也可以将区域A3、A4、A1、A8和区域A5、A6的任一方以及区域A9、A10的任一方从检测对象中除去。
当完成优先顺序的设定后，如图3所示，将三维传感器31移送到第一位的三维检测区域上方(S05)。具体而言，通过传感器控制部U5控制作为传感器移送机构33的机器人控制器21以及机器人20，从而移送三维传感器31。
接下来，通过传感器控制部U5控制三维传感器31，检测三维检测区域的三维形状(S06)。接下来，通过工件检测部U6执行基于所检测出的三维形状的工件的搜索，并尝试检测能够拾取的工件(S07)。关于是否是能够拾取的工件，例如，通过能否在不妨碍其他的工件等条件下进行拾取来判断。
接下来，对是否检测到能够拾取的工件进行判定(S08)。在判定为检测到能够拾取的工件时，通过机器人控制器21控制机器人20来进行该工件的拾取(S09)，并判定拾取是否成功(S10)。可根据指部23a的状态来判定拾取是否成功。例如，尽管指部23a彼此尝试夹着工件进行拾取，但指部23a彼此相互接触时，判定为拾取失败。
当在S08中判定为无法检测到工件、或者在S10中判定为拾取失败时，将三维传感器31移送到下一顺序的三维检测区域上方(S11)。具体而言，通过传感器控制部U5控制作为传感器移送机构33的机器人控制器21以及机器人20，从而移送三维传感器31。
接下来，通过传感器控制部U5控制三维传感器31，检测三维检测区域的三维形状(S12)。接下来，通过工件检测部U6执行基于所检测到的三维形状的工件的搜索，尝试检测能够拾取的工件(S13)。接下来，判定是否检测到能够拾取的工件(S14)。在判定为检测到能够拾取的工件时，通过机器人控制器21控制机器人20从而进行该工件的拾取(S15)，并判定拾取是否成功(S16)。当在S14中判定为无法检测到工件、或者在S16中判定为拾取失败时，返回到S11。
如此，在任一三维检测区域中检测能够拾取的工件，当拾取成功时，通过机器人控制器21控制机器人20搬运工件(S17)。重复以上的处理直至储料器10变空。
根据以上所说明的工件检测装置3，在通过三维传感器进行三维形状的检测之前，获取整个搜索范围的二维图像、抽出基于二维图像的候补工件和设定三维检测区域、以及设定三维检测区域的优先顺序。然后，基于所设定的优先顺序，执行通过三维传感器进行的三维形状的检测以及基于三维形状的工件的搜索。由于针对每个候补工件设定三维检测区域，因此在所有的三维检测区域中切实地包含有候补工件。另外，由于包含候补工件越多的三维检测区域的优先顺序越被设定为上位，因此能够对包含候补工件越多的三维区域优先进行工件搜索。因此，能够提高以较少的三维检测次数(三维形状的检测次数)检测到工件的可能性，因此能够缩短工件的检测时间。
优先顺序设定部U4以上述载置区域A0和三维检测区域的重复区域的面积越小越将该三维检测区域设为上位的方式，设定优先顺序。
在此，在依次搬出所装载的工件的工序中，如果工件的装载的高低差增大，在想要拾取装载高度较低的部分的工件时，装载高度较高的部分的工件有可能成为障碍。因此，优选以不增大上述高低差的方式将工件搬出。
由于载置区域A0外不存在工件，因此，如果仅根据候补区域的数量来设定优先顺序，则包含载置区域A0的周缘的三维检测区域的优先顺序容易降低。因此，载置区域A0的周缘附近的工件未被检测到而容易残留，在载置区域A0的中心部和周缘部，上述高低差有可能增大。对此，通过根据重复区域的面积越小来提高三维检测区域的优先顺序，能够抑制因包含载置区域A0的周缘而引起的优先顺序的降低。因此，能够抑制上述高低差的增大。
优先顺序设定部U4以三维检测区域中所包含的候补工件的二维图像中的摄影倍率越大越将该三维检测区域设为上位的方式，设定优先顺序。由此，处于较高位置上的候补工件容易被优先搬运，因此能够抑制上述高低差的增大。
优先顺序设定部U4以三维检测区域与该三维检测区域的上位的三维检测区域的重复越大越将该三维检测区域设为下位的方式，设定优先顺序。由此，对同一区域重复进行三维检测的可能性降低，因此能够进一步缩短工件的检测时间。
此外，在被加工物的制造方法中，利用了机器人系统1的工件的搬运方法例如可用于将螺栓等部件作为工件向下一工序搬运。作为被加工物，可以列举出包含家用设备以及产业设备的各种各样的工业产品。
以上，对本发明优选实施方式进行了说明，但本发明不限于上述实施方式，在不脱离其主旨的范围内能够进行各种各样的变更。例如不是必须通过传感器移送机构33移送三维传感器31，也可以使用能够在固定位置执行整个搜索范围的三维检测(三维形状的检测)的三维传感器31。此时，通过设定局部的三维检测区域及其优先顺序，依次进行三维检测，也能够缩短工件的检测时间。优先顺序设定部U4只要至少通过根据内含的候补工件的个数越多越将优先顺序设为上位这样的条件来设定三维检测区域的优先顺序即可，其他条件不是必须的。三维传感器31也可以是立体摄像机。工件检测控制器32和机器人控制器21也可以一体化。
Claims (13)
1.一种工件检测装置，其特征在于，包括：
摄像机，获取包含工件在内的搜索范围的二维图像；
三维传感器，检测三维检测区域的三维形状；
工件抽出部，对所述二维图像进行处理并抽出多个候补工件；
区域设定部，设定与所述多个候补工件分别相对应的多个所述三维检测区域；
优先顺序设定部，以所述三维检测区域中包含的所述候补工件的个数越多越将该三维检测区域设为上位的方式，设定所述多个三维检测区域的优先顺序；
传感器控制部，以基于所述优先顺序依次进行所述三维检测区域的所述三维形状的检测的方式控制所述三维传感器；以及
工件检测部，在每次检测出所述三维形状时，执行基于该三维形状的所述工件的搜索，从而检测出能够拾取的所述工件。
2.如权利要求1所述的工件检测装置，其特征在于，
具有移送所述三维传感器的移送机构。
3.如权利要求1或2所述的工件检测装置，其特征在于，所述优先顺序设定部，
以能够载置所述工件的载置区域与所述三维检测区域的重复区域的面积越小越将该三维检测区域设为上位的方式，设定所述优先顺序；
以所述三维检测区域中所包含的所述候补工件在所述二维图像中的摄影倍率越大越将该三维检测区域设定为上位的方式，设定所述优先顺序；或者
以所述三维检测区域与该三维检测区域的上位的所述三维检测区域的重复越大越将该三维检测区域设为下位的方式，设定所述优先顺序。
4.一种机器人系统，其特征在于，包括：
权利要求1、2或3所述的工件检测装置；
机器人，具有对所述工件进行保持的保持机构；以及
机器人控制器，控制所述机器人使其通过所述保持机构保持并搬运由所述工件检测装置检测到的所述工件。
5.一种机器人系统，其特征在于，包括：
权利要求2所述的工件检测装置；
机器人，具有对所述工件进行保持的保持机构；以及
机器人控制器，控制所述机器人使其通过所述保持机构保持并搬运由所述工件检测装置检测到的所述工件，
所述三维传感器被安装在所述机器人上，
所述工件检测装置将所述机器人和所述机器人控制器用作所述移送机构。
6.一种被加工物的制造方法，其特征在于，包括：
通过摄像机获取包含工件在内的搜索范围的二维图像；
对所述二维图像进行处理并抽出多个候补工件；
设定与所述多个候补工件分别相对应的多个三维检测区域；
以所述三维检测区域中包含的所述候补工件的个数越多越将该三维检测区域设为上位的方式，设定所述多个三维检测区域的优先顺序；
基于所述优先顺序，通过三维传感器依次进行所述三维检测区域的三维形状的检测；
在每次检测出所述三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的所述工件；
通过机器人的保持机构保持所检测到的所述工件；以及
通过所述机器人将所述保持机构所保持的所述工件向下一工序搬运。
7.一种工件检测方法，其特征在于，包括：
通过摄像机获取包含工件在内的搜索范围的二维图像；
对所述二维图像进行处理并抽出多个候补工件；
设定与所述多个候补工件分别相对应的多个三维检测区域；
以所述三维检测区域中包含的所述候补工件的个数越多越将该三维检测区域设为上位的方式，设定所述多个三维检测区域的优先顺序；
基于所述优先顺序，通过三维传感器依次进行所述三维检测区域的三维形状的检测；以及
在每次检测出所述三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的所述工件。
8.一种工件检测装置，其特征在于，包括：
摄像机，获取包含工件在内的搜索范围的二维图像；
三维传感器，检测三维检测区域的三维形状；以及
工件检测控制器，所述工件检测控制器对所述二维图像进行处理并抽出多个候补工件；设定与所述多个候补工件分别相对应的多个所述三维检测区域；以所述三维检测区域中包含的所述候补工件的个数越多越将该三维检测区域设为上位的方式，设定所述多个三维检测区域的优先顺序；以基于所述优先顺序依次进行所述三维检测区域的所述三维形状的检测的方式控制所述三维传感器；以及在每次检测出所述三维形状时，执行基于该三维形状的所述工件的搜索，从而检测出能够拾取的所述工件。
9.如权利要求8所述的工件检测装置，其特征在于，
具有移送所述三维传感器的移送机构。
10.如权利要求8或9所述的工件检测装置，其特征在于，所述工件检测控制器，
以能够载置所述工件的载置区域与所述三维检测区域的重复区域的面积越小越将该三维检测区域设为上位的方式，设定所述优先顺序；
以所述三维检测区域中所包含的所述候补工件在所述二维图像中的摄影倍率越大越将该三维检测区域设定为上位的方式，设定所述优先顺序；或者
以所述三维检测区域与该三维检测区域的上位的所述三维检测区域的重复越大越将该三维检测区域设为下位的方式，设定所述优先顺序。
11.一种机器人系统，其特征在于，包括：
权利要求8、9或10所述的工件检测装置；
机器人，具有对所述工件进行保持的保持机构；以及
机器人控制器，控制所述机器人使其通过所述保持机构保持并搬运由所述工件检测装置检测到的所述工件。
12.一种机器人系统，其特征在于，包括：
权利要求9所述的工件检测装置；
机器人，具有对所述工件进行保持的保持机构；以及
机器人控制器，控制所述机器人使其通过所述保持机构保持并搬运由所述工件检测装置检测到的所述工件，
所述三维传感器被安装在所述机器人上，
所述工件检测装置将所述机器人和所述机器人控制器用作所述移送机构。
13.一种工件检测器，其特征在于，包括：
工件抽出部，用于对通过摄像机获取的包含工件在内的搜索范围的二维图像进行处理并抽出多个候补工件；
区域设定部，用于设定与所述多个候补工件分别相对应的多个三维检测区域；
优先顺序设定部，用于以所述三维检测区域中包含的所述候补工件的个数越多越将该三维检测区域设为上位的方式，设定所述多个三维检测区域的优先顺序；
传感器控制部，用于基于所述优先顺序，通过三维传感器依次进行所述三维检测区域的三维形状的检测；以及
工件检测部，用于在每次检测出所述三维形状时，执行基于该三维形状的工件的搜索，从而检测出能够拾取的所述工件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013-120741 | 2013-06-07 | ||
| JP2013120741A JP5786896B2 (ja) | 2013-06-07 | 2013-06-07 | ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104227723A CN104227723A (zh) | 2014-12-24 |
| CN104227723B true CN104227723B (zh) | 2016-04-06 |
Family
ID=51022730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410251350.5A Expired - Fee Related CN104227723B (zh) | 2013-06-07 | 2014-06-06 | 工件检测装置、机器人系统、被加工物的制造方法及工件检测方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9283680B2 (zh) |
| EP (1) | EP2810747A3 (zh) |
| JP (1) | JP5786896B2 (zh) |
| CN (1) | CN104227723B (zh) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015147256A (ja) * | 2014-02-04 | 2015-08-20 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
| EP3250346B1 (en) * | 2015-01-29 | 2021-08-18 | ABB Schweiz AG | 3d segmentation for robotic applications |
| US9486921B1 (en) * | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
| CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位系统与方法 |
| US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
| US20170014945A1 (en) * | 2015-07-17 | 2017-01-19 | Laserax Inc. | Methods and systems for laser marking an identifier on an industrial product |
| CN108349090B (zh) | 2015-08-26 | 2021-12-03 | 伯克希尔格雷股份有限公司 | 用于在铰接臂中提供接触检测的系统和方法 |
| ES2845683T3 (es) | 2015-09-01 | 2021-07-27 | Berkshire Grey Inc | Sistemas y métodos para proporcionar sistemas de control robótico dinámico |
| US11370128B2 (en) | 2015-09-01 | 2022-06-28 | Berkshire Grey Operating Company, Inc. | Systems and methods for providing dynamic robotic control systems |
| CA2998544C (en) * | 2015-09-11 | 2023-05-09 | Berkshire Grey, Inc. | Robotic systems and methods for identifying and processing a variety of objects |
| CN113731862B (zh) * | 2015-11-13 | 2024-04-12 | 伯克希尔格雷营业股份有限公司 | 用于提供各种物体的分拣的分拣系统和方法 |
| US10173324B2 (en) * | 2015-11-16 | 2019-01-08 | Abb Schweiz Ag | Facilitating robot positioning |
| US9937532B2 (en) | 2015-12-18 | 2018-04-10 | Berkshire Grey Inc. | Perception systems and methods for identifying and processing a variety of objects |
| ES2922990T3 (es) | 2016-01-08 | 2022-09-22 | Berkshire Grey Operating Company Inc | Sistemas de adquisición y movimiento de objetos |
| CN105773591A (zh) * | 2016-01-26 | 2016-07-20 | 深圳市鼎泰智能装备股份有限公司 | 一种新型抓取机器人装置 |
| EP3414060B1 (en) | 2016-02-08 | 2022-05-25 | Berkshire Grey Operating Company, Inc. | Systems and methods for providing processing of a variety of objects employing motion planning |
| JP2017189856A (ja) | 2016-04-15 | 2017-10-19 | オムロン株式会社 | アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体 |
| US9880561B2 (en) * | 2016-06-09 | 2018-01-30 | X Development Llc | Sensor trajectory planning for a vehicle |
| US10607879B2 (en) * | 2016-09-08 | 2020-03-31 | Brooks Automation, Inc. | Substrate processing apparatus |
| CA3139255C (en) | 2016-12-09 | 2023-07-25 | Thomas Wagner | Systems and methods for processing objects provided in vehicles |
| JP6496333B2 (ja) * | 2017-01-30 | 2019-04-03 | ファナック株式会社 | 少なくとも１つのセンサを用いた物品搬送装置 |
| US10639787B2 (en) | 2017-03-06 | 2020-05-05 | Berkshire Grey, Inc. | Systems and methods for efficiently moving a variety of objects |
| JP6526100B2 (ja) * | 2017-04-28 | 2019-06-05 | ファナック株式会社 | 物品取出システム |
| JP6487495B2 (ja) | 2017-05-19 | 2019-03-20 | ファナック株式会社 | ワーク取出しシステム |
| US10761542B1 (en) | 2017-07-11 | 2020-09-01 | Waymo Llc | Methods and systems for keeping remote assistance operators alert |
| WO2019028146A1 (en) | 2017-08-02 | 2019-02-07 | Berkshire Grey, Inc. | SYSTEMS AND METHODS FOR ACQUIRING AND MOVING OBJECTS HAVING COMPLEX EXTERIOR SURFACES |
| JP2019084601A (ja) * | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、把持システムおよび情報処理方法 |
| JP6687591B2 (ja) | 2017-12-26 | 2020-04-22 | ファナック株式会社 | 物品搬送装置、ロボットシステムおよび物品搬送方法 |
| JP6879238B2 (ja) * | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
| JP7169130B2 (ja) * | 2018-09-03 | 2022-11-10 | 川崎重工業株式会社 | ロボットシステム |
| JP7031540B2 (ja) * | 2018-09-07 | 2022-03-08 | オムロン株式会社 | 対象物認識装置、マニピュレータ、および移動ロボット |
| US11433555B2 (en) * | 2019-03-29 | 2022-09-06 | Rios Intelligent Machines, Inc. | Robotic gripper with integrated tactile sensor arrays |
| IT201900006836A1 (it) * | 2019-05-14 | 2020-11-14 | Gilli Walter | Metodo, sistema e prodotto informatico per prelevare in maniera automatica un oggetto da un gruppo di oggetti accatastati |
| JP7335096B2 (ja) * | 2019-06-07 | 2023-08-29 | ファナック株式会社 | ロボットシステムの障害物探索装置 |
| US11826918B2 (en) | 2020-02-06 | 2023-11-28 | Berkshire Grey Operating Company, Inc. | Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device |
| EP4185445A1 (en) | 2020-07-22 | 2023-05-31 | Berkshire Grey Operating Company, Inc. | Systems and methods for object processing using a passively folding vacuum gripper |
| EP4185444A1 (en) | 2020-07-22 | 2023-05-31 | Berkshire Grey Operating Company, Inc. | Systems and methods for object processing using a vacuum gripper that provides object retention by evacuation |
| CN116583466A (zh) * | 2020-10-30 | 2023-08-11 | 伯克希尔格雷营业股份有限公司 | 用于sku归纳、倾倒和自动化资格估计的系统和方法 |
| CN113084809A (zh) * | 2021-04-06 | 2021-07-09 | 泰州左岸信息科技有限公司 | 双目3d感知的工业ai关键技术 |
| JP2023041200A (ja) * | 2021-09-13 | 2023-03-24 | トヨタ自動車株式会社 | ワーク保持装置、ワーク保持方法、プログラム、及び制御装置 |
| CN118055897A (zh) | 2021-10-06 | 2024-05-17 | 伯克希尔格雷营业股份有限公司 | 利用转移系统对提供在升高车辆中的物体的动态处理和用于接收物体的方法 |
| CN114029947B (zh) * | 2021-10-27 | 2022-11-18 | 因格(苏州)智能技术有限公司 | 机器人拾物序列确定方法与装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1043642A2 (en) * | 1999-04-08 | 2000-10-11 | Fanuc Ltd | Robot system having image processing function |
| EP1413404A2 (en) * | 2002-10-25 | 2004-04-28 | Fanuc Ltd | Object conveying system and conveying method using two robots |
| JP3525896B2 (ja) * | 1999-03-19 | 2004-05-10 | 松下電工株式会社 | ３次元物体認識方法および同方法を使用したビンピッキングシステム |
| CN101896321A (zh) * | 2007-12-15 | 2010-11-24 | Abb股份公司 | 对象的位置获取 |
| DE102011108169A1 (de) * | 2010-07-27 | 2012-02-02 | Fanuc Corporation | Werkstückentnahmevorrichtung und Verfahren |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
| JP4087874B2 (ja) * | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
| JP4199264B2 (ja) * | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
| US7313464B1 (en) * | 2006-09-05 | 2007-12-25 | Adept Technology Inc. | Bin-picking system for randomly positioned objects |
| JP4226623B2 (ja) | 2006-09-29 | 2009-02-18 | ファナック株式会社 | ワーク取り出し装置 |
| JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
| US8559699B2 (en) * | 2008-10-10 | 2013-10-15 | Roboticvisiontech Llc | Methods and apparatus to facilitate operations in image based systems |
| JP5265296B2 (ja) | 2008-10-10 | 2013-08-14 | 本田技研工業株式会社 | ワーク取り出し方法 |
| JP5282717B2 (ja) * | 2009-10-19 | 2013-09-04 | 株式会社安川電機 | ロボットシステム |
| JP5316580B2 (ja) * | 2011-05-17 | 2013-10-16 | 株式会社安川電機 | ロボットシステム |
| JP5787642B2 (ja) * | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | 対象物保持装置、対象物保持装置の制御方法、およびプログラム |
-
2013
- 2013-06-07 JP JP2013120741A patent/JP5786896B2/ja not_active Expired - Fee Related
-
2014
- 2014-06-03 US US14/295,261 patent/US9283680B2/en not_active Expired - Fee Related
- 2014-06-03 EP EP14170877.6A patent/EP2810747A3/en not_active Withdrawn
- 2014-06-06 CN CN201410251350.5A patent/CN104227723B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3525896B2 (ja) * | 1999-03-19 | 2004-05-10 | 松下電工株式会社 | ３次元物体認識方法および同方法を使用したビンピッキングシステム |
| EP1043642A2 (en) * | 1999-04-08 | 2000-10-11 | Fanuc Ltd | Robot system having image processing function |
| EP1413404A2 (en) * | 2002-10-25 | 2004-04-28 | Fanuc Ltd | Object conveying system and conveying method using two robots |
| CN101896321A (zh) * | 2007-12-15 | 2010-11-24 | Abb股份公司 | 对象的位置获取 |
| DE102011108169A1 (de) * | 2010-07-27 | 2012-02-02 | Fanuc Corporation | Werkstückentnahmevorrichtung und Verfahren |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140365010A1 (en) | 2014-12-11 |
| CN104227723A (zh) | 2014-12-24 |
| JP2014237188A (ja) | 2014-12-18 |
| EP2810747A3 (en) | 2015-04-01 |
| US9283680B2 (en) | 2016-03-15 |
| JP5786896B2 (ja) | 2015-09-30 |
| EP2810747A2 (en) | 2014-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104227723B (zh) | 工件检测装置、机器人系统、被加工物的制造方法及工件检测方法 | |
| US10839261B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US9044858B2 (en) | Target object gripping apparatus, method for controlling the same and storage medium | |
| US9652660B2 (en) | Control system, robot system, and control method | |
| US9604365B2 (en) | Device and method of transferring articles by using robot | |
| JP3768174B2 (ja) | ワーク取出し装置 | |
| JP4938115B2 (ja) | ワーク取出し装置およびワーク取出し方法 | |
| US7123992B2 (en) | Article pickup device | |
| JP4226623B2 (ja) | ワーク取り出し装置 | |
| EP2345515B1 (en) | Method for picking up work pieces | |
| US10286557B2 (en) | Workpiece position/posture calculation system and handling system | |
| CN105858188A (zh) | 具备三维传感器的搬运机器人系统 | |
| JP2015147256A (ja) | ロボット、ロボットシステム、制御装置、及び制御方法 | |
| US20210072734A1 (en) | Information processing apparatus and method, robot controlling apparatus and method, and non-transitory computer-readable storage medium | |
| CN110576449B (zh) | 机器人系统以及机器人系统的控制方法 | |
| JP2016203293A (ja) | ピッキング装置およびピッキング方法 | |
| US9595095B2 (en) | Robot system | |
| CN114310892B (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
| JP6041710B2 (ja) | 画像認識方法 | |
| JP2015157343A (ja) | ロボット、ロボットシステム、制御装置、および制御方法 | |
| JP2021045835A (ja) | ロボットシステム | |
| JP2014174629A (ja) | ワークピース認識方法 | |
| JP6026365B2 (ja) | 画像認識方法 | |
| Nilsson | Hazard Detection and Avoidance in Lunar Conditions through the use of a Time of Flight camera | |
| JPH05113315A (ja) | 円形画像データの中心位置検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160406 Termination date: 20170606 |