CN114286740A - 作业机器人以及作业系统 - Google Patents

作业机器人以及作业系统 Download PDF

Info

Publication number
CN114286740A
CN114286740A CN201980099821.6A CN201980099821A CN114286740A CN 114286740 A CN114286740 A CN 114286740A CN 201980099821 A CN201980099821 A CN 201980099821A CN 114286740 A CN114286740 A CN 114286740A
Authority
CN
China
Prior art keywords
workpieces
workpiece
region
robot
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980099821.6A
Other languages
English (en)
Other versions
CN114286740B (zh
Inventor
大石信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN114286740A publication Critical patent/CN114286740A/zh
Application granted granted Critical
Publication of CN114286740B publication Critical patent/CN114286740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39106—Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40007—Optimize sequence of pick and place operations upon arrival of workpiece on conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40269—Naturally compliant robot arm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50394—Bulk hopper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

作业机器人依次保持被供给到供给区域的多个工件，使所保持的工件向作业区域移动。该作业机器人具备：拍摄装置，对以散乱放置状态被供给到供给区域的多个工件进行拍摄；图像处理装置，根据由拍摄装置拍摄到的图像来识别多个工件的区域，求出识别出的多个工件的区域各自的面积和位置，并且求出所述多个工件的区域各自的与作业区域或者作业机器人之间的距离；以及控制装置，基于由图像处理装置求出的多个工件的区域的面积和所述多个工件的区域的与作业区域或者作业机器人之间的距离来决定工件的保持顺序。

Description

作业机器人以及作业系统
技术领域
本说明书公开了一种作业机器人。
背景技术
以往，提出了一种由多关节机器人构成且逐个把持在容器中散装的工件的作业机器人(例如，参照专利文献1)。在该作业机器人中，从散装的工件中选择位于最高位置的工件，在所选择的工件未局部地与其它相邻的工件重叠的情况下把持该工件。
现有技术文献
专利文献
专利文献1：日本特表2009-523623号公报
发明内容
发明所要解决的课题
在将工件散乱放置于壳体(容器)、传送机等通用的供给装置上的情况下，多关节机器人需要对散乱放置的工件进行拍摄，基于所得到的拍摄图像来识别把持对象的工件(对象工件)的位置、方向、姿势以及与把持对象外的工件(对象外工件)的干扰状态，确认是否能够把持对象工件。由于这样的识别处理一般处理负担较大，处理需要较长时间，因此期望最初对多个工件集中进行该处理。然而，若对象外工件与对象工件相邻，则存在如下隐患：在把持并取出对象工件时，对象工件与对象外工件接触，对象外工件的位置发生变化。因此，在基于最初进行的识别处理的结果将该对象外工件作为下一个对象工件而进行把持动作的情况下，多关节机器人无法恰当地把持该对象工件。在该情况下，多关节机器人需要重新进行识别处理，因此会使作业效率变差。
本公开的主要目的在于提供一种能够高效地保持在散乱放置状态下被供给到供给区域的多个工件的作业机器人。
用于解决课题的技术方案
本公开为了实现上述主要目的而采用了以下的手段。
本公开的作业机器人依次保持被供给到供给区域的多个工件，使所保持的工件向作业区域移动，其主旨在于，所述作业机器人具备：拍摄装置，对以散乱放置状态被供给到所述供给区域的多个工件进行拍摄；图像处理装置，根据由所述拍摄装置拍摄到的图像来识别多个工件的区域，求出识别出的多个工件的区域各自的面积和位置，并且求出所述多个工件的区域各自的与所述作业区域或者所述作业机器人之间的距离；以及控制装置，基于由所述图像处理装置求出的多个工件的区域的面积和所述多个工件的区域的与所述作业区域或者所述作业机器人之间的距离来决定工件的保持顺序。
本公开的作业机器人依次保持被供给到供给区域的多个工件，使所保持的工件向作业区域移动。该作业机器人进行如下图像识别：对以散乱放置状态被供给到供给区域的多个工件进行拍摄，根据所得到的图像来识别多个工件的区域，求出识别出的多个工件的区域各自的面积和位置，并且求出多个工件的区域各自的与作业区域或者作业机器人之间的距离。然后，作业机器人基于所求出的面积和距离来决定工件的保持顺序。作业机器人在出于构造因素而难以使臂沿铅垂方向上下移动的情况下，在对保持对象的对象工件进行保持时，使对象工件在供给区域上向作业区域侧或者作业机器人侧移动。因此，若保持对象外的对象外工件在作业区域侧与对象工件相邻，则存在对象工件与对象外工件接触而使对象外工件的位置发生变化的隐患。为此，本公开的作业机器人通过考虑这样的情况来决定以散乱放置状态被供给的多个工件的保持顺序，从而能够使用最初进行的图像识别的结果依次保持多个工件并向作业区域移动。其结果是，能够成为能够高效地保持以散乱放置状态被供给到供给区域的多个工件的作业机器人。
附图说明
图1是表示包括本实施方式的作业机器人在内的作业系统10的结构的概略的结构图。
图2是工件供给装置20的剖视图。
图3是表示作业机器人的机器人主体30的结构的概略的结构图。
图4是表示机器人主体30、控制装置80以及图像处理装置90的电连接关系的框图。
图5是表示由控制装置80执行的控制处理的一个例子的流程图。
图6是表示由图像处理装置90执行的拍摄/图像处理的一个例子的流程图。
图7是表示工件的拍摄图像的一个例子的说明图。
图8是表示粗定位的情形的说明图。
图9A是表示针对各工件区域的优先顺序的说明图。
图9B是表示各工件区域与区域内存在的工件数量的关系的说明图。
图10A是表示工件形状模型D的一个例子的说明图。
图10B是表示在存在搜索范围的缩小的情况下使用工件形状模型D来搜索工件W的情形的说明图。
图10C是表示在不存在搜索范围的缩小的情况下使用工件形状模型D来搜索工件W的情形的说明图。
图11A是表示在螺栓形的工件的把持中使用的拣选工具T1(电磁夹头)的干扰检查区域AI的说明图。
图11B是表示在圆筒形的工件的把持中使用的拣选工具T2(机械夹头)的干扰检查区域AI的说明图。
图11C是表示在螺栓形的工件的把持中使用的拣选工具T3(吸嘴)的干扰检查区域AI的说明图。
图12A是表示干扰检查的结果的说明图。
图12B是表示干扰检查的结果的说明图。
具体实施方式
接着，参照附图对用于实施本公开的方式进行说明。
图1是表示包括本实施方式的作业机器人在内的作业系统10的结构的概略的结构图。图2是表示工件供给装置20的结构的概略的结构图。图3是表示作业机器人的机器人主体30的结构的概略的结构图。
图4是表示作业机器人的机器人主体30、控制装置80以及图像处理装置90的电连接关系的框图。此外，在图1中，前后方向为X轴方向，左右方向为Y轴方向，上下方向为Z轴方向。
如图1所示，作业系统10具备工件供给装置20和作业机器人。在本实施方式中，作业系统10构成为如下拾放系统：拣选(把持)由工件供给装置20供给的工件W，使拣选出的工件W以预定的姿势在由托盘搬运装置14搬运的托盘T上整齐排列而进行放置。此外，作业系统10并不局限于拾放系统，例如，只要是把持工件W并使其向作业区域移动并且向作业区域上的对象物装配的装配系统等、使用作业机器人依次保持位于供给区域的工件W并使其向作业区域移动的系统，也能够应用于任何作业系统。
托盘搬运装置14具有沿前后方向(Y轴方向)隔开间隔而沿左右方向(X轴方向)架设的一对带式传送机。托盘T被带式传送机搬运至作业机器人的作业区域。
工件供给装置20将通过料斗装置等补给装置以散乱放置状态载置于传送带21的上表面的多个工件W搬运至作业机器人能够拣选的位置(供给区域)。如图2所示，传送带21架设于沿前后方向(Y轴方向)隔开间隔地配置的驱动辊22以及从动辊23。工件供给装置20通过使驱动辊22驱动来搬运载置于传送带21的上表面的多个工件W。在传送带21的背面侧设有分解装置25。分解装置25敲击传送带21的背面而使传送带21的上表面上下振动。由此，即使在传送带21的上表面以块的状态载置有多个工件W，多个工件W的块也被分解装置25分解。
作业机器人具备机器人主体30、控制装置80以及图像处理装置90。
如图3所示，机器人主体30具备五轴的垂直多关节臂(以下称为臂)32。臂32具有六个连杆(第一连杆～第六连杆41～46)和在各连杆间连结为能够旋转或者回转的五个关节(第一关节～第五关节51～55)。在各关节(第一关节～第五关节51～55)设有驱动对应的关节的马达(伺服马达)61～65和检测对应的马达的旋转位置的编码器(旋转编码器)71～75。
在臂32的前端连杆(第六连杆46)上，以能够装卸的方式安装有作为末端执行器的多种拣选工具T1～T3。在本实施方式中，拣选工具T1是利用电磁铁吸附由磁性体构成的工件W的电磁夹头。另外，拣选工具T2是具有能够在保持工件W的接近位置与解除工件W的保持的分离位置之间移动的一对夹持爪的机械夹头(以下，称为机械夹头)。进而，拣选工具T3是通过负压吸附工件W的吸嘴。装配于前端连杆的拣选工具能够配合要拣选的工件W的形状、材料而适当选择。
另外，在臂32(第五连杆45)安装有相机34。为了识别由工件供给装置20供给到供给区域的各工件W的位置以及姿势，相机34对该工件W进行拍摄，或者为了识别由托盘搬运装置14搬运的托盘T的位置，相机34对该托盘T进行拍摄。
如图1所示，托盘搬运装置14、工件供给装置20以及机器人主体30设置在支撑台12上。在本实施方式中，工件供给装置20与机器人主体30沿前后方向(Y轴方向)隔开预定的间隔而配置。托盘搬运装置14设置在工件供给装置20与机器人主体30之间。
如图4所示，控制装置80构成为以CPU81为中心的微处理器，除了CPU81以外，还具备ROM82、HDD83、RAM84、未图示的输入输出接口、未图示的通信接口等。来自编码器71～75等的检测信号被输入到控制装置80。另外，从控制装置80向托盘搬运装置14、工件供给装置20、马达61～65、工具致动器66等输出控制信号。工具致动器66是用于驱动装配于机器人主体30的拣选工具的致动器。
如图4所示，图像处理装置90构成为以CPU91为中心的微处理器，除了CPU91以外，还具备ROM92、HDD93、RAM94、未图示的输入输出接口、未图示的通信接口等。来自相机34的图像信号、来自输入装置95的输入信号等被输入到图像处理装置90。另外，从图像处理装置90输出朝向相机34的驱动信号、朝向输出装置96的输出信号等。在此，输入装置95例如是键盘、鼠标等供操作者进行输入操作的输入设备。输出装置96例如是液晶显示器等用于显示各种信息的显示设备。图像处理装置90与控制装置80连接为能够通信，相互进行控制信号、数据的交换。
接着，对这样构成的作业系统10的动作、特别是控制装置80的动作和图像处理装置90的动作进行说明。图5是表示由控制装置80执行的控制处理的一个例子的流程图。图6是表示由图像处理装置90执行的拍摄/图像处理的一个例子的流程图。首先，对控制装置80的动作进行说明，之后，对图像处理装置90的动作进行说明。
当执行控制处理时，控制装置80的CPU81首先以使臂32(相机34)向由工件供给装置20供给的工件W的拍摄位置移动的方式控制各马达61～65(S100)，对图像处理装置90请求工件W的拍摄和图像处理(S110)。图像处理装置90根据来自控制装置80的请求来执行拍摄/图像处理，决定通过拍摄/图像处理识别出的工件W的把持顺序。此外，拍摄/图像处理的详细内容见后述。
接着，CPU81判定是否存在能够把持的工件W(S110)。CPU81在判定为存在能够把持的工件W时，将能够把持的工件W中的由图像处理装置90决定的把持顺序最早的工件W设定为把持对象的对象工件(S130)。接着，CPU81控制各马达61～65以使臂32向所设定的对象工件的位置移动(S140)，控制工具致动器66以把持对象工件(S150)。具体而言，步骤S140的处理通过如下方式进行：取得与作为目标的把持位置以及把持姿势相对应的臂32的各关节的目标位置，控制马达61～65以使各关节向所取得的目标位置移动。
CPU81在把持工件W时，控制各马达61～65以使所把持的工件W向由托盘搬运装置14搬运到作业区域的托盘T的目标位置移动，并且控制工具致动器66以将工件W向目标位置载置(解除工件W的把持)(S160)。然后，CPU81判定所需数量的作业是否结束(S170)。CPU81在判定为所需数量的作业未结束时，返回步骤S120，重复进行步骤S120～S170的处理，当判定为所需数量的作业结束时，由此结束控制处理。
CPU81在重复步骤S120～S170的处理的过程中，当在步骤S120中判定为不存在能够把持的工件W时，判定是否存在供给区域上的工件W的残留数量(S180)。CPU81在判定为存在工件W的残留数量时，存在多个工件W相互干扰的块，为了分解该工件块来变更工件W的位置，进行对分解装置25进行驱动控制而使传送带21的上表面振动的工件位置变更动作(S190)。另一方面，CPU81在判定为不存在工件W的残留数量时，为了向供给区域供给工件W，进行对工件供给装置20进行驱动控制的工件供给动作(S200)。CPU81在这样进行工件位置变更动作或者工件供给动作时，为了重新进行工件W的图像识别而返回到步骤S110，对图像处理装置90请求拍摄/图像处理。这样，控制装置80在向供给区域供给多个工件W时，最初通过进行图像识别而找出能够把持的工件W，决定把持顺序，并按照所决定的把持顺序依次把持并搬运工件W，直到能够把持的工件W消失为止。然后，当能够把持的工件W消失时，若在供给区域上存在工件W的残留数量，则控制装置80通过分解装置25将工件W的块分解而重新进行图像识别。另外，若在供给区域上不存在工件W的残留数量，则控制装置80驱动工件供给装置20而向供给区域供给工件W。由于工件W的图像识别需要某种程度的时间，因此通过减少图像识别的执行次数，能够缩短作业时间。
接着，对图像处理装置90的动作进行说明。图6是表示由图像处理装置90执行的拍摄/图像处理的一个例子的流程图。当执行拍摄/图像处理时，图像处理装置90的CPU91首先对相机34进行驱动控制以对位于供给区域上的工件W进行拍摄(S300)。接着，CPU91在所得到的拍摄图像中如图7所示那样检测工件W的区域(工件区域)和除此以外的背景的区域(背景区域)(S310)。该处理能够通过以拍摄图像中的各像素为单位将图像的颜色与预先取得的工件W以及背景各自的颜色进行比较来进行。然后，CPU91提取检测出的工件区域的轮廓，求出提取出的轮廓的面积S以及粗位置P(S320)。面积S例如能够通过对位于工件区域的轮廓中的像素数进行计数而求出。例如如图8所示，粗位置P能够通过相对于工件区域的轮廓设定外接矩形(图中，参照矩形状的虚线)并求出所设定的外接矩形的中心坐标而求出(粗定位)。
接着，CPU91基于在步骤S320中求出的面积S，判定在识别出的各工件区域中存在于一个工件区域(轮廓)内的工件W的数量(区域内存在的工件数量)(S330)。区域内存在的工件数量例如在工件区域(轮廓)的面积S为第一判定值以上且不足比第一判定值大的第二判定值的情况下，判定为一个，在第二判定值以上且不足比第二判定值大的第三判定值的情况下，判定为两个，在第三判定值以上且不足比第三判定值大的第四判定值的情况下，判定为三个，在第四判定值以上的情况下，判定为四个以上。此外，区域内存在的工件数量为一个意味着在识别出的一个工件区域(轮廓)内只存在一个工件W，在内部工件数量为多个的情况下，意味着在识别出的一个工件区域(轮廓)内多个工件W相邻或者重叠。接着，CPU91求出各工件区域与机器人主体30的距离(从粗位置P到机器人主体30的距离)(S340)。然后，CPU91基于区域内存在的工件数量和与机器人主体30的距离对各工件区域设定优先顺序(S350)。图9A是表示针对各工件区域的优先顺序的说明图。图9B是表示各工件区域与区域内存在的工件数量的关系的说明图。在图9A中，附加于各工件区域上的编号表示优先顺序。如图所示，优先顺序被设定为，区域内存在的工件数量越少，则优先顺序越高，且若区域内存在的工件数量相同，则与机器人主体30或者工件把持后的搬运位置即作业区域的距离越近，则优先顺序越高。区域内存在的工件数量越少则优先顺序越高的理由在于，区域内存在的工件数量越少，则越容易把持存在于相应的工件区域内的工件W。另外，与机器人主体30或者作业区域的距离越近则优先顺序越高的理由如下。即，机器人主体30的臂32是垂直多关节臂，为了搬运工件W，需要使臂32的前端以上升的状态移动到能够避免与其它工件W、工件供给装置20发生干扰的高度。此时，对于机器人主体30，与在使把持着工件W的臂32的前端向垂直方向上升后沿水平方向移动相比，在朝向作业区域向斜上方移动至需要的高度后进行水平移动的情况能够缩短搬运距离，能够缩短移动时间。因此，机器人主体30以容易向作业区域搬运的方式使臂32向机器人主体30侧或者作业区域侧靠近并且把持对象工件。此时，若相对于对象工件存在与机器人主体30侧或者作业区域侧相邻的把持对象外的对象外工件，则存在对象工件与对象外工件接触而变更对象外工件的位置的情况。在该情况下，作业机器人(图像处理装置90)为了接下来把持该对象外工件而需要重新进行图像识别，因此导致作业时间延长。与机器人主体30或者作业区域的距离越近则优先顺序越高就是基于这样的理由。因而，通过从优先顺序较高的工件起依次把持工件W，能够通过一次图像识别把持更多的工件W，能够缩短作业时间。
CPU91在设定各工件区域的优先顺序时，接着，使用图10A所示例的工件形状模型D对位于各工件区域内的各工件W进行精密定位(S360)。在步骤S320中识别出的一个工件区域(轮廓)内存在多个工件W的情况下，CPU91对区域内存在的多个工件W分别进行精密定位。工件形状模型D是从拍摄图像精密地识别一个工件W的轮廓形状时的图案匹配的模板。在工件形状模型D中包含以机器人主体30能够把持的姿势配置的工件W的轮廓形状(参照虚线)和工件W的拣选位置PP(把持位置)。由于工件形状模型D以工件W的品种为单位而不同，因此是以品种为单位而生成的。如图10B所示，精密定位是通过一边以在步骤S320中求出的粗略位置P为中心一点一点地变更工件形状模型D的位置以及姿势、一边搜索轮廓形状与该工件形状模型D一致的工件W来进行的。如图10C所示，该精密定位与一边在拍摄图像的整个范围内一点一点地变更工件形状模型D的位置以及姿势、一边搜索工件W的情况相比，能够缩小搜索范围，因此能够缩短图案匹配处理所需的时间。
CPU91在像这样进行精密定位时，对通过精密定位识别出的工件W的数量(全部工件数量)进行计数(S370)。然后，CPU91在使用拣选工具把持工件W时，进行该拣选工具是否与周边工件发生干扰的干扰检查(S380)。工件W的干扰检查是通过设定干扰检查区域AI来判定在干扰检查区域AI内是否存在周边工件来进行的。干扰检查区域AI是基于拣选工具的前端形状和拣选工具的可动区域(影响波及的范围)的形状而生成的。由于干扰检查区域AI以拣选工具的品种为单位而不同，因此是以品种为单位而生成的。
图11A是表示在螺栓形的工件的把持中使用的拣选工具T1(电磁夹头)的干扰检查区域AI的说明图。拣选工具T1(电磁夹头)的干扰检查区域AI被生成为以拣选位置PP为中心且电磁夹头的磁力所波及的圆形区域。图11B是表示在圆筒形的工件的把持中使用的拣选工具T2(机械夹头)的干扰检查区域AI的说明图。机械夹头的干扰检查区域AI被生成为以拣选位置PP为中心形成供机械夹头的一对夹持爪在接近位置(把持位置)与分离位置(把持解除位置)之间移动的移动区域的两个矩形区域。图11C是表示在圆筒形的工件的把持中使用的拣选工具T3(吸嘴)的干扰检查区域AI的说明图。吸嘴的干扰检查区域AI被生成为以拣选位置PP为中心且吸嘴的负压所波及的圆形区域。
图12A、图12B以及图12C是表示针对螺栓形的工件W的干扰检查的结果的说明图。图12A表示螺栓的螺纹端竖立的状态。图12B表示两个螺栓中的一方的螺栓的螺纹端与另一方的螺栓的头部接近的状态。此外，图中，“○”表示能够把持的状态，“×”表示不能把持。干扰检查在无法通过图像处理装置90(精密定位)识别工件W的轮廓形状的情况下(参照图12A)、在工件W的干扰检查区域AI存在其它工件W的情况下(参照图12B)，判定为不能把持。
CPU91在像这样进行各工件W的干扰检查时，以从在步骤S350中决定的优先顺序较高的工件起依次把持由干扰检查判定为能够把持的工件W的方式针对各工件W决定把持顺序(S390)，结束本处理。
在此，明确本实施方式的构成要素与本发明的构成要素的对应关系。本实施方式的相机34相当于拍摄装置，图像处理装置90相当于图像处理装置，控制装置80相当于控制装置，包括机器人主体30、图像处理装置90以及控制装置80在内的作业机器人相当于作业机器人。另外，分解装置25相当于分解装置。
此外，本发明不受上述实施方式的任何限定，只要属于本发明的技术范围，当然能够以各种方式来实施。
如以上说明的那样，本公开的作业机器人是依次保持被供给到供给区域的多个工件并使所保持的工件向作业区域移动的作业机器人，其主旨在于，所述作业机器人具备：拍摄装置，对在散乱放置状态下被供给到所述供给区域的多个工件进行拍摄；图像处理装置，根据由所述拍摄装置拍摄到的图像识别多个工件的区域，求出识别出的多个工件的区域各自的面积和位置，并且求出所述多个工件的区域各自与所述作业区域或者所述作业机器人的距离；以及控制装置，基于由所述图像处理装置求出的多个工件的区域的面积和所述多个工件的区域与所述作业区域或者所述作业机器人的距离来决定工件的保持顺序。
本公开的作业机器人依次保持被供给到供给区域的多个工件，使所保持的工件向作业区域移动。该作业机器人进行如下图像识别：对在散乱放置状态下被供给到供给区域的多个工件进行拍摄，根据所得到的图像来识别多个工件的区域，求出识别出的多个工件的区域各自的面积和位置，并且求出多个工件的区域各自与作业区域或者作业机器人的距离。然后，作业机器人基于所求出的面积和距离来决定工件的保持顺序。作业机器人在出于构造因素而难以使臂沿铅垂方向上下移动的情况下，在对保持对象的对象工件进行保持时，使对象工件在供给区域上向作业区域侧或者作业机器人侧移动。因此，若保持对象外的对象外工件在作业区域侧与对象工件相邻，则存在对象工件与对象外工件接触而使对象外工件的位置发生变化的隐患。为此，本公开的作业机器人通过考虑这样的情况来决定在散乱放置状态下被供给的多个工件的保持顺序，从而能够使用最初进行的图像识别的结果依次保持多个工件并使其向作业区域移动。其结果是，能够成为能够高效地保持在散乱放置状态下被供给到供给区域的多个工件的作业机器人。
在这样的本公开的作业机器人中，也可以是，所述图像处理装置基于工件的区域的面积来判定该区域内存在的工件数量，所述控制装置决定所述保持顺序，以使位于多个工件的区域中的区域内存在的工件数量越少的区域的工件以越高的优先顺序被保持。其理由在于，相邻的工件的数量越少，则越容易把持工件。
另外，在本公开的作业机器人中，也可以是，所述控制装置决定所述保持顺序，以使位于与所述作业区域或者所述作业机器人之间的距离越短的区域的工件以越高的优先顺序被保持。其理由在于，在作业机器人(机器人主体)一边把持工件而向作业机器人侧移动一边取出的情况下，若相对于把持对象的对象工件在作业机器人侧存在把持对象外的对象外工件，则存在对象工件与对象外工件接触而使对象外工件的位置变更的隐患。另外，其理由在于，在作业机器人(机器人主体)一边把持对象工件而向作业区域侧移动一边取出的情况下，若相对于对象工件在作业区域侧存在对象外工件，则存在使对象工件与对象外工件接触而变更对象外工件的位置的隐患。
进而，在本公开的作业机器人中，也可以是，所述图像处理装置判定在利用装配于所述作业机器人的前端的工具来保持工件时是否会与周边工件发生干扰，所述控制装置决定所述保持顺序，以保持被供给到所述供给区域的多个工件中的被判定为不会与周边工件发生干扰的工件。在该情况下，也可以是，所述作业机器人能够装配多种工具，所述图像处理装置进行如下的干扰判定：根据装配于所述多关节臂的工具来设定干扰区域，基于在所设定的该干扰区域内是否存在周边工件来判定是否会与该周边工件发生干扰。进而，在这些情况下，也可以是，所述图像处理装置基于由所述拍摄装置拍摄到的图像来识别工件和背景以进行工件的区域的粗定位，在执行所述干扰判定之前，基于所述粗定位的结果来对所述图像应用图案匹配，从而进行位于区域内的各工件的精密定位。这样，能够缩短图案匹配处理所需的时间。
另外，本公开也可以是作业系统的方式。即，也可以是，所述作业系统具备：所述本公开的作业机器人；以及分解装置，用于分解被供给到所述供给区域的多个工件的块，在判定为所述供给区域内残留有工件并且残留的所有工件均无法由所述作业机器人保持的情况下，所述控制装置对所述分解装置进行驱动控制。作业系统通过具备本公开的作业机器人，能够减少分解装置的驱动次数，进而能够减少图像识别的执行次数。其结果是，能够进一步提高作业效率。
工业实用性
本公开能够用于作业机器人的制造产业等。
附图标记说明
10：工作系统12：支撑台14：托盘搬运装置20：工件供给装置21：传送带22：驱动辊23：从动辊25：分解装置30：机器人主体32：臂34：相机41：第一连杆42：第二连杆43：第三连杆44：第四连杆45：第五连杆46：第六连杆51：第一关节52：第二关节53：第三关节54：第四关节55：第五关节61～65：马达66：工具致动器71～75：编码器80：控制装置81：CPU 82：ROM83：HDD 84：RAM 90：图像处理装置91：CPU92：ROM 93：HDD 94：RAM 95：输入装置96：输出装置W：工件T：托盘T1～T3：拣选工具PP：拣选位置AI：干扰检查区域。

Claims (7)

1.一种作业机器人，依次保持被供给到供给区域的多个工件，使所保持的工件向作业区域移动，
所述作业机器人具备：
拍摄装置，对以散乱放置状态被供给到所述供给区域的多个工件进行拍摄；
图像处理装置，根据由所述拍摄装置拍摄到的图像来识别多个工件的区域，求出识别出的多个工件的区域各自的面积和位置，并且求出所述多个工件的区域各自的与所述作业区域或者所述作业机器人之间的距离；以及
控制装置，基于由所述图像处理装置求出的多个工件的区域的面积和所述多个工件的区域的与所述作业区域或者所述作业机器人之间的距离来决定工件的保持顺序。
2.根据权利要求1所述的作业机器人，其中，
所述图像处理装置基于工件的区域的面积来判定该区域内存在的工件数量，
所述控制装置决定所述保持顺序，以使位于多个工件的区域中的区域内存在的工件数量越少的区域的工件以越高的优先顺序被保持。
3.根据权利要求1或2所述的作业机器人，其中，
所述控制装置决定所述保持顺序，以使位于与所述作业区域或者所述作业机器人之间的距离越短的区域的工件以越高的优先顺序被保持。
4.根据权利要求1～3中任一项所述的作业机器人，其中，
所述图像处理装置判定在利用装配于所述作业机器人的前端的工具来保持工件时是否会与周边工件发生干扰，
所述控制装置决定所述保持顺序，以保持被供给到所述供给区域的多个工件中的被判定为不会与周边工件发生干扰的工件。
5.根据权利要求4所述的作业机器人，其中，
所述作业机器人能够装配多种工具，
所述图像处理装置进行如下的干扰判定：根据装配于所述多关节臂的工具来设定干扰区域，基于在所设定的该干扰区域内是否存在周边工件来判定是否会与该周边工件发生干扰。
6.根据权利要求4或5所述的作业机器人，其中，
所述图像处理装置基于由所述拍摄装置拍摄到的图像来识别工件和背景以进行工件的区域的粗定位，在执行所述干扰判定之前，基于所述粗定位的结果来对所述图像应用图案匹配，从而进行位于区域内的各工件的精密定位。
7.一种作业系统，具备：
权利要求1～6中任一项所述的作业机器人；以及
分解装置，用于分解被供给到所述供给区域的多个工件的块，
在判定为所述供给区域内残留有工件并且残留的所有工件均无法由所述作业机器人保持的情况下，所述控制装置对所述分解装置进行驱动控制。
CN201980099821.6A 2019-09-18 2019-09-18 作业机器人以及作业系统 Active CN114286740B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036529 WO2021053750A1 (ja) 2019-09-18 2019-09-18 作業ロボットおよび作業システム

Publications (2)

Publication Number Publication Date
CN114286740A true CN114286740A (zh) 2022-04-05
CN114286740B CN114286740B (zh) 2024-02-27

Family

ID=74884398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099821.6A Active CN114286740B (zh) 2019-09-18 2019-09-18 作业机器人以及作业系统

Country Status (5)

Country Link
US (1) US20220241982A1 (zh)
EP (1) EP4032663A4 (zh)
JP (1) JP7163506B2 (zh)
CN (1) CN114286740B (zh)
WO (1) WO2021053750A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924529A (zh) * 2022-06-20 2022-08-19 九众九机器人有限公司 一种机器人配对控制方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4070922A3 (en) * 2021-04-06 2023-01-11 Canon Kabushiki Kaisha Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
US20230234233A1 (en) * 2022-01-26 2023-07-27 Nvidia Corporation Techniques to place objects using neural networks
JP2024040715A (ja) * 2022-09-13 2024-03-26 株式会社日立製作所 物体認識装置、ロボットシステム、および、物体認識方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0951968A2 (en) * 1998-04-21 1999-10-27 Fanuc Ltd Article picking-up apparatus
WO2003068464A1 (fr) * 2002-02-18 2003-08-21 Kawasaki Jukogyo Kabushiki Kaisha Procede de commande d'entrainement et controleur d'entrainement
CN1903522A (zh) * 2005-07-26 2007-01-31 发那科株式会社 跟踪以及搬运装置
JP2007130711A (ja) * 2005-11-09 2007-05-31 Ishikawajima Harima Heavy Ind Co Ltd ピッキング順序決定方法、装置及びそのプログラム、並びにピッキングシステム
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN102164718A (zh) * 2008-10-10 2011-08-24 本田技研工业株式会社 工件取出方法
CN103687702A (zh) * 2011-06-29 2014-03-26 三菱电机株式会社 部件供给装置
JP2014108868A (ja) * 2012-12-03 2014-06-12 Ishida Co Ltd 移載装置および該移載装置を備えた箱詰めシステム
CN103921274A (zh) * 2013-01-15 2014-07-16 株式会社安川电机 识别程序评价装置及识别程序评价方法
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
CN104608136A (zh) * 2013-11-05 2015-05-13 发那科株式会社 用机器人取出散乱堆积的物品的装置以及方法
JP2015193468A (ja) * 2014-03-31 2015-11-05 株式会社富士通アドバンストエンジニアリング 商品ピッキング装置及びプログラム
CN106463439A (zh) * 2014-10-30 2017-02-22 日本电产三协株式会社 工业用机器人
JP2017042859A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
US20170136632A1 (en) * 2015-11-13 2017-05-18 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of objects
CN107073707A (zh) * 2014-09-30 2017-08-18 精工爱普生株式会社 机器人和机器人系统
CN107491040A (zh) * 2016-06-10 2017-12-19 发那科株式会社 具备使加工顺序最佳化的功能的程序生成装置
CN108212807A (zh) * 2017-12-29 2018-06-29 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂
CN108284443A (zh) * 2017-01-10 2018-07-17 欧姆龙株式会社 图像处理系统及处理装置、工件的拾取方法及记录介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10235584A (ja) * 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
DE112011103794B4 (de) * 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
WO2018072208A1 (en) * 2016-10-21 2018-04-26 Abb Schweiz Ag Method, electronic device and system of picking an object from a container

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0951968A2 (en) * 1998-04-21 1999-10-27 Fanuc Ltd Article picking-up apparatus
WO2003068464A1 (fr) * 2002-02-18 2003-08-21 Kawasaki Jukogyo Kabushiki Kaisha Procede de commande d'entrainement et controleur d'entrainement
CN1903522A (zh) * 2005-07-26 2007-01-31 发那科株式会社 跟踪以及搬运装置
JP2007130711A (ja) * 2005-11-09 2007-05-31 Ishikawajima Harima Heavy Ind Co Ltd ピッキング順序決定方法、装置及びそのプログラム、並びにピッキングシステム
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN102164718A (zh) * 2008-10-10 2011-08-24 本田技研工业株式会社 工件取出方法
CN103687702A (zh) * 2011-06-29 2014-03-26 三菱电机株式会社 部件供给装置
JP2014108868A (ja) * 2012-12-03 2014-06-12 Ishida Co Ltd 移載装置および該移載装置を備えた箱詰めシステム
CN103921274A (zh) * 2013-01-15 2014-07-16 株式会社安川电机 识别程序评价装置及识别程序评价方法
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
CN104608136A (zh) * 2013-11-05 2015-05-13 发那科株式会社 用机器人取出散乱堆积的物品的装置以及方法
JP2015193468A (ja) * 2014-03-31 2015-11-05 株式会社富士通アドバンストエンジニアリング 商品ピッキング装置及びプログラム
CN107073707A (zh) * 2014-09-30 2017-08-18 精工爱普生株式会社 机器人和机器人系统
CN106463439A (zh) * 2014-10-30 2017-02-22 日本电产三协株式会社 工业用机器人
JP2017042859A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
US20170136632A1 (en) * 2015-11-13 2017-05-18 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of objects
CN107491040A (zh) * 2016-06-10 2017-12-19 发那科株式会社 具备使加工顺序最佳化的功能的程序生成装置
CN108284443A (zh) * 2017-01-10 2018-07-17 欧姆龙株式会社 图像处理系统及处理装置、工件的拾取方法及记录介质
CN108212807A (zh) * 2017-12-29 2018-06-29 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机械臂

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晨晨: "基于机器视觉的Delta机器人智能分拣系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2, 15 February 2018 (2018-02-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924529A (zh) * 2022-06-20 2022-08-19 九众九机器人有限公司 一种机器人配对控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7163506B2 (ja) 2022-10-31
US20220241982A1 (en) 2022-08-04
EP4032663A4 (en) 2022-08-31
JPWO2021053750A1 (zh) 2021-03-25
WO2021053750A1 (ja) 2021-03-25
EP4032663A1 (en) 2022-07-27
CN114286740B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN114286740B (zh) 作业机器人以及作业系统
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
CN107150032B (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
EP1748339A2 (en) Workpiece tracking and handling device comprising a conveying means and a plurality of robots
US10521871B2 (en) Robot system
JP7197653B2 (ja) 画像処理装置
US11305432B2 (en) Work machine and pick-up position selection method
CN113196337A (zh) 图像处理装置、作业机器人、基板检查装置及检体检查装置
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
JP2005121599A (ja) プレス成形品の欠陥検査装置
US10005186B2 (en) Workpiece conveying device having positioning structure
JP2020055059A (ja) 作業システム
CN204868885U (zh) 用于操控工件的机器人系统
JP2013094936A (ja) 部品取り出し方法、及び部品取り出しシステム
CN115319762A (zh) 用于生产线的机器人控制方法、生产线及数控机床
JPH0623684A (ja) 視覚処理機能付きワーク移載ロボット
CN111278612B (zh) 元件移载装置
US20200282571A1 (en) Gripping device, separating device and method for gripping bodies, and use of a gripping device
JP7440635B2 (ja) ロボットシステム
JP7121127B2 (ja) パラメータの学習方法および作業システム
CN110871443A (zh) 物品取出系统
JP6842753B2 (ja) ワークの把持位置指示システムおよびピッキング装置
JPH0615487A (ja) ワークの切断・搬出装置
TW202027934A (zh) 排除隨機堆疊之複數個工件之干涉的系統
CN112897038A (zh) 机器人作业系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant