CN109955222A - 物品搬运装置、机器人系统和物品搬运方法 - Google Patents

物品搬运装置、机器人系统和物品搬运方法 Download PDF

Info

Publication number
CN109955222A
CN109955222A CN201811577439.5A CN201811577439A CN109955222A CN 109955222 A CN109955222 A CN 109955222A CN 201811577439 A CN201811577439 A CN 201811577439A CN 109955222 A CN109955222 A CN 109955222A
Authority
CN
China
Prior art keywords
workpiece
unit
shape
posture
conveyer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811577439.5A
Other languages
English (en)
Other versions
CN109955222B (zh
Inventor
古贺健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109955222A publication Critical patent/CN109955222A/zh
Application granted granted Critical
Publication of CN109955222B publication Critical patent/CN109955222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39102—Manipulator cooperating with conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40554—Object recognition to track object on conveyor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种能准确判断由输送机搬运的多个工件的重叠并对搬运的多个工件稳定地进行作业的物品搬运装置。该物品搬运装置(10)具备：输送机(11)，其搬运工件(W1、W2)；拍摄单元(40)，其对搬运的工件(W1、W2)进行拍摄并获取三维图像；工件识别单元，其基于由拍摄单元(40)获取的三维图像，来检测工件(W1、W2)的三维形状和姿态；存储单元(80)，其存储基准工件的三维形状、以及基准工件在没有与其他工件重叠的状态下的姿态；以及重叠判断单元，其基于由存储单元(80)存储的基准工件的三维形状和姿态、以及由工件识别单元检测出的工件(W1、W2)的三维形状和姿态，来判断工件(W1、W2)有没有重叠。

Description

物品搬运装置、机器人系统和物品搬运方法
技术领域
本发明涉及物品搬运装置、机器人系统和物品搬运方法。
背景技术
一直以来，已知有一种如下的物品搬运装置：其通过摄影装置，对随机放置在输送机上并通过输送机的运转而移动的多个工件进行拍摄，并且使用由摄影装置拍摄后的图像并由机器人进行工件取出作业(例如参照专利文献1、2)。由专利文献1公开的物品搬运装置是对在输送机上不重叠放置的多个工件的各重心的水平面上的平均值进行计算，并识别出作为作业对象的离计算出的重心的平均值最远的重心的工件。由专利文献2公开的物品搬运装置是利用由照相机获取的工件的二维图像，并提取出作为作业对象候补的与其他工件不重叠的工件。
现有技术文献
专利文献
专利文献1：日本特开2012-55995号公报
专利文献2：日本特开2014-237188号公报
发明内容
发明所要解决的课题
在专利文献1公开的物品搬运装置中，由于前提是对由输送机搬运的与其他工件不重叠的工件进行作业，因此，在由输送机搬运重叠的工件过来的状态下，无法对该工件实施作业。另外，在专利文献2公开的物品搬运装置中，由于使用工件的二维图像来判断工件的重叠，因此，在输送机与工件是相同颜色的情况下，可能会无法准确地判断工件的重叠。在该情况下，虽然能够通过照明的对比度而在某种程度上判断出工件的重叠，但根据物品搬运装置所处的环境，还存在无法设置照明的情况。
本发明的目的在于，提供一种能够准确地判断由输送机搬运的多个工件的重叠、并且能够对搬运的多个工件稳定地进行作业的物品搬运装置、机器人系统和物品搬运方法。
用于解决课题的方案
本发明的一个方式是提供一种物品搬运装置，所述物品搬运装置包括：输送机，其搬运工件；拍摄单元，其对由所述输送机搬运的所述工件进行拍摄并获取三维图像；工件识别单元，其基于由所述拍摄单元获取的三维图像，来检测所述工件的三维形状和姿态；存储单元，其存储基准工件的三维形状、以及所述基准工件在没有与其他工件重叠的状态下的姿态；重叠判断单元，其基于由所述存储单元存储的所述基准工件的三维形状和姿态、以及由所述工件识别单元检测出的所述工件的三维形状和姿态，来判断所述工件有没有重叠。
根据本方式，通过拍摄单元，对由输送机搬运的工件进行拍摄并获取三维图像。通过工件识别单元，来检测在由拍摄单元获取的三维图像中所包含的工件的三维形状和姿态。将由工件识别单元检测出的工件的三维形状、与存储在存储单元中的基准工件的三维形状进行比较，来判断检测出的工件是否是预先存储在存储单元中的基准工件。在检测出的工件是存储在存储单元中的基准工件的情况下，将检测出的工件的姿态、与存储在存储单元中的基准工件的姿态进行比较。由此，来判断检测出的工件是否在输送机上与其他工件重叠。通过判断工件的重叠，能够选出对与其他工件重叠的工件不进行作业，并能够仅对不使其他工件的位置和姿态发生变化的工件进行作业。另外，由于基于工件的三维形状和姿态来判断工件有没有重叠，所以，即使输送机的颜色与工件的颜色相同，以及在拍摄时没有使对比度发生变化的照明等，也能够判断出工件有没有重叠。
在上述方式中，所述物品搬运装置包括：获取所述输送机的搬运速度的输送机信息获取单元，所述工件识别单元利用由所述输送机信息获取单元获取的搬运速度、以及由所述拍摄单元在不同时刻获取的多个三维图像，对同一个所述工件的三维形状和姿态进行特定。
通过输送机使工件沿一个方向移动的同时，在不同时刻由拍摄单元对工件进行拍摄，能够从不同的视点获取同一个工件的三维图像。并存在如下情况：未包含在从一个视点获取的三维图像中的工件的三维形状，可以被包含在从其他视点获取的三维图像中。而且，利用由输送机信息获取单元获取的输送机的搬运速度，能够使获取到的三维图像相互对应。由此，能够更准确地特定出工件的三维形状和姿态。
在上述方式中，所述物品搬运装置包括基准工件设定单元，在由所述输送机以与其他工件不重叠的方式搬运所述工件时，所述基准工件设定单元将由所述工件识别单元特定出的所述工件的三维形状和姿态、作为新的所述基准工件的三维形状和姿态而存储在所述存储单元中。
像这样，即使是尚未存储在存储单元中的新的工件，在该工件不与其他工件重叠的状态下也能够由输送机进行搬运并特定出三维形状和姿态，在该情况下，能够将其作为新的基准工件的三维形状和姿态存储在存储单元中。由此，能够对之后的工件进行重叠判断。
在上述方式中，所述物品搬运装置包括：干扰区域设定单元，其在由所述工件识别单元检测出的所述工件的三维形状的外侧、设定规定的干扰区域；干扰判断单元，其在由所述拍摄单元获取的三维图像中，判断由所述干扰区域设定单元设定的所述干扰区域与其他所述工件之间有没有干扰。
像这样，当由工件识别单元检测出工件的三维形状时，通过干扰区域设定单元，在工件的三维形状的外侧设定规定的干扰区域。在由拍摄单元获取的三维图像中，对干扰区域与其他工件之间是否发生干扰进行判断。在存在其他工件干扰了干扰区域的情况下，即使工件彼此之间不重叠，例如，也存在处理工件的机器人手与其他工件接触的可能性。因此，通过对工件周围的干扰区域与其他工件之间有没有干扰进行判断，从而不用改变其他工件的位置和姿态。
在上述方式中，所述干扰区域设定单元可以根据所述工件的种类，来设定不同的所述干扰区域。
像这样，例如，根据工件的种类，由于存在机器人手抓持工件的区域不同的情况、以及机器人手的形状本身不同的情况，因此，与对所有种类的工件设定共同的干扰区域的情况相比，不用过多地限制对工件进行的作业。
在上述方式中，所述物品搬运装置包括：接收输入的输入单元，所述干扰区域设定单元基于所述输入单元接收到的输入，对所述工件的所述干扰区域的形状和尺寸中的至少一个进行调整。
像这样，通过输入单元接收输入，能够改变设定在工件上的干扰区域的形状和尺寸，例如，根据用于由输送机搬运的工件的机器人手等，能够自由地调整干扰区域。
在上述方式中，所述物品搬运装置包括图像显示单元，其显示由所述拍摄单元获取的三维图像、以及由所述干扰区域设定单元设定的所述干扰区域。
像这样，使用物品搬运装置的用户，通过目视来确认在图像显示单元中所显示的工件的三维形状和干扰区域，同时还能够自由地改变干扰区域。
另外，本发明的其他方式是提供一种机器人系统，包括：上述的物品搬运装置；和机器人，所述机器人对由所述重叠判断单元判断出与其他所述工件不重叠的所述工件进行作业，并且对由所述重叠判断单元判断出的与其他所述工件重叠的所述工件不进行作业。
根据本方式，由于在由物品搬运装置的输送机搬运的工件内、机器人仅对与其他工件没有重叠的工件进行作业，因此，能够防止机器人与重叠的其他工件接触、从而使其他工件的位置和姿态发生变化。
另外，本发明的其他方式是提供一种物品搬运方法，包含如下步骤：拍摄步骤，对由输送机搬运的工件进行拍摄并获取三维图像；工件识别步骤，基于获取的三维图像，对所述工件的三维形状和姿态进行检测；以及重叠判断步骤，基于由所述工件识别步骤检测出的所述工件的三维形状和姿态、以及已存储的基准工件的三维形状和姿态，判断所述工件与其他工件有没有重叠。
发明效果
根据本发明，可发挥如下效果：能够准确地判断由输送机搬运的多个工件的重叠，并且能够对搬运的多个工件稳定地进行作业。
附图说明
图1是包括本发明实施方式的物品搬运装置在内的机器人系统的立体示意图。
图2是控制部和控制部的周边设备的框图。
图3是表示由输送机搬运的多个工件的示意图。
图4是表示工件和设定在工件上的干扰区域的立体图。
图5是表示设定在工件上的干扰区域和多个工件的位置关系的立体图。
图6是基准工件设定处理的流程图。
图7是作业对象工件确定处理的流程图。
图8是按时序排列了拍摄有由输送机搬运的两个工件的三维图像的示意图。
图9是表示重叠的两个工件的位置关系的立体图。
图10是表示干扰了设定在工件上的干扰区域的工件的立体图。
附图标记说明
1 机器人
10 物品搬运装置
11 输送机
12 编码器(输送机信息获取单元)
40 三维照相机(拍摄单元)
50 操作部(输入单元)
62 工件特定部(工件识别单元、基准工件设定单元)
63 重叠判断部(重叠判断单元)
64 干扰判断部(干扰判断单元)
65 干扰区域设定部(干扰区域设定单元)
70 监视器(图像显示单元)
80 存储部(存储单元)
100 机器人系统
IM1～IM5 三维图像
IR1a、IR2a、IR2b、IR3a、IR4 干扰区域
W1、W2、W2a、W2b、W4、WK3a～WK3d、WK1a～WK1g 工件
S11 拍摄步骤
S16 工件识别步骤
S18 重叠判断步骤
具体实施方式
下面在参照附图的同时，对包括本发明实施方式的物品搬运装置10在内的机器人系统100进行说明。
如图1所示，本实施方式的机器人系统100具备：搬运多个工件的物品搬运装置10；对于由物品搬运装置10搬运的工件进行各种作业的机器人1。
机器人1例如是具有六个轴J1～J6的垂直多关节机器人。如图1所示，机器人1具备：固定在地面上的基座2；以能够围绕垂直的第一轴J1旋转的方式由基座2支承的旋转体3；以能够围绕水平的第二轴J2旋转的方式由旋转体3支承的第一臂4；以能够围绕水平的第三轴J3旋转的方式由第一臂4支承的第二臂5；以能够围绕与第三轴J3处于扭转的位置关系的第四轴J4旋转的方式由该第二臂5支承的第一手腕元件6；以能够围绕与第四轴J4正交的第五轴J5旋转的方式由第一手腕元件6支承的第二手腕元件7；以及以能够围绕与第五轴J5正交的第六轴J6旋转的方式由第二手腕元件7支承的第三手腕元件8。
六个轴J1～J6分别包括：用于旋转驱动的马达M1、M2、M3、M4(关于J5、J6的马达没有图示)；以及检测马达的旋转角度的未图示的编码器。根据从控制部60发送的控制信号，并利用由各轴J1～J6的编码器检测出的马达的旋转角度，进行使马达旋转驱动的反馈控制。
如图1所示，物品搬运装置10包括：搬运多个工件W1、W2的输送机11；检测输送机11的搬运速度的编码器(输送机信息获取单元)12；获取在输送机11上的规定范围的三维图像的三维照相机(拍摄单元)40；接收来自用户的输入的操作部(输入单元)50；根据接收到的输入和各种控制而显示图像的监视器(图像显示单元)70；对操作部50接收到的输入和整个机器人系统100进行控制的控制部60；以及存储与由物品搬运装置10搬运的工件有关的数据的存储部(存储单元)80。
输送机11因未图示的马达的旋转而以规定的速度沿图1所示的箭头方向移动。将与由编码器12获取的输送机11的搬运速度有关的信息、发送到控制部60。控制部60使用由编码器12获取的搬运速度，对输送机11的搬运速度进行反馈控制。
由于三维照相机40对输送机11上的规定范围进行拍摄，因此，可获取由输送机11搬运的工件W1、W2的三维图像。将由三维照相机40获取的三维图像的图像数据发送到控制部60。
控制部60具有未图示的CPU、ROM、RAM和存储器。控制部60通过读取存储在存储部80中的程序，并在RAM中进行临时读取和存储，从而能够执行与各种程序相对应的功能。
图2表示：与控制部60和控制部60的控制相关的各部分的框图。如图2所示，控制部60具备：对于由三维照相机40获取的三维图像进行各种处理的图像处理部61；对于由输送机11搬运的工件进行检测的工件特定部(工件识别单元、基准工件设定单元)62；判断检测出的工件是否与其他工件重叠的重叠判断部(重叠判断单元)63；将检测出的工件周围的规定范围设定为干扰区域的干扰区域设定部(干扰区域设定单元)65；判断其他工件是否干扰设定在工件上的干扰区域的干扰判断部(干扰判断单元)64；以及控制机器人1进行作业的作业控制部69。
图像处理部61对于从三维照相机40接收到的图像数据进行众所周知的图像处理、例如二值化处理，从而使图像中的各工件的轮廓等清晰。
工件特定部62利用由图像处理部61进行了图像处理后的三维图像，对于由输送机11搬运的工件的三维形状和姿态进行特定。将特定后的工件的三维形状和姿态存储在存储部80中。
工件特定部62通过将特定后的工件的三维形状和姿态、与预先存储在存储部80中的多个基准工件的三维形状和基准位置姿态进行比较，来判断特定后的工件是否是与任意一个基准工件相同的工件。基准工件是指，作为机器人1的作业对象候补的工件，以将三维模型的CAD(计算机辅助设计(computer-aided design))数据、与作为基准的一个姿态即基准位置姿态相对应的方式，预先存储在存储部80中。基准工件的基准位置姿态是，在基准工件不与其他工件重叠并由输送机11搬运状态下的姿态。
另外，工件特定部62能够将尚未作为基准工件存储在存储部80中的工件、设定为新的基准工件并存储在存储部80中。在设定新的基准工件时，首先，在被设定为基准工件的工件不与其他工件重叠的状态下由输送机11搬运，并且由三维照相机40获取该工件的三维图像。工件特定部62基于获取到的三维图像，将特定后的工件的三维形状和姿态、设定为新设定的基准工件的三维形状和基准位置姿态。
在由输送机11搬运多个工件的情况下，重叠判断部63判断某一工件是否与其他工件重叠(以下也称为“进行重叠判断”)。在重叠判断中，通过工件特定部62对作为对象的工件是否是与任意一个基准工件相同的工件进行特定之后，重叠判断部63通过比较由工件特定部62特定后的工件姿态、与基准工件的基准位置姿态，来判断工件的重叠。具体而言，重叠判断部63通过将特定后的工件姿态、与基准位置姿态进行比较，在不满足下述两个条件中的任意一个条件时则判断为工件没有重叠。另一方面，在满足下述两个条件中的任意一个条件时，则判断为特定后的工件与其他工件重叠。
1：工件中的高度方向(Z方向)不同。
2：围绕与输送机11的平面平行的x轴或y轴旋转(具有滚转角或俯仰角)。
此外，在本实施方式中，工件的高度方向取决于特定后的工件的重心高度。
在图3中，示出了由输送机11搬运的具有与图1的工件W1相同形状的工件WK1a～WK1g、以及形状与工件W1不同且相互具有同一形状的工件WK3a～WK3d。在图3所示的例子中，根据上述两个条件，将从左开始的工件WK1b、WK3a、WK1d、WK1f依次判断为重叠的工件。具体而言，由于工件WK1b、WK1d、WK1f相对于输送机11的搬运面倾斜，因此满足与上述基准位置姿态不同的两个条件。虽然工件WK3a没有相对于输送机11的搬运面倾斜，但由于其搭在其他的工件WK1c上，因此高度方向不同，并满足上述的条件1。
干扰区域设定部65是在三维图像上的、由工件特定部62特定后的工件的三维形状的外形周围，设定规定的干扰区域。当工件由输送机11搬运时，例如将干扰区域设定为、与由机器人1的手等进行抓持的空间相对应的区域。在本实施方式中，各干扰区域以与存储在存储部80中的各基准工件相对应的方式进行存储。在由工件特定部62设定新的基准工件的情况下，操作部50通过接收用户的操作，能够在新的基准工件上设定干扰区域。当特定出由输送机11搬运的工件是与基准工件相同的工件时，干扰区域设定部65将在该基准工件上所设定的干扰区域、设定在特定后的工件上。作为干扰区域，例如举出了如下的例子：图3所示的设定在工件WK1a上的干扰区域IR1a和设定在工件WK3c上的干扰区域IR3a、以及图4所示的工件W4的干扰区域IR4等。
干扰区域设定部65能够使基准工件和设定在基准工件上的干扰区域、显示在监视器70中。干扰区域设定部65根据操作部50接收到的操作，能够改变已设定的干扰区域的尺寸和在工件上设定干扰区域的位置，并且使改变后的干扰区域与工件相对应并使其显示在监视器70中。
关于由输送机11搬运的工件，干扰判断部64利用由工件特定部62特定后的工件的三维形状和姿态、以及由干扰区域设定部65设定在基准工件上的干扰区域，来判断其他工件是否干扰设定在特定后的工件上的干扰区域(以下也称为“进行干扰判断”)。当在干扰区域存在其他工件的情况下，干扰判断部64判断为存在干扰。另外，如图5所示，即使在设定于工件W2b上的干扰区域IR2b的高度方向的上方、存在作为其他工件的搭在工件W4之上的工件W2a的情况下，干扰判断部64也会判断为存在干扰。
作业控制部69根据操作部50接收到的操作，来控制机器人1。具体而言，为了对由输送机11搬运的工件进行各种作业，而使作业控制部69对机器人1的各轴J1～J6的马达的旋转进行控制。另外，作业控制部69利用编码器12的检测值，对输送机用马达13进行反馈控制，所述输送机用马达13确定输送机11的搬运速度。
关于基准工件设定处理和作业对象工件确定处理，下面利用各流程图进行说明，所述基准工件设定处理是将由输送机11搬运的工件设定为新的基准工件，所述作业对象工件确定处理包含：由重叠判断部63进行的重叠判断和由干扰判断部64进行的干扰判断。
在图6所示的基准工件设定处理中，首先，由输送机11来搬运被设定为新基准工件的工件(步骤S1)。通过三维照相机40，对由输送机11搬运的工件进行拍摄(步骤S2)。
工件特定部62利用由三维照相机获取的工件的三维图像，对工件的三维形状和姿态进行特定，并且将特定后的三维形状设定为基准工件的三维形状，将特定后的姿态设定为基准工件的基准位置姿态(步骤S3)。其次，当干扰区域设定部65针对新设定的基准工件、来设定干扰区域时(步骤S4)，则结束基准工件设定处理。在本实施方式中，将基准工件显示在监视器70中，利用操作部50接收到的操作，来设定干扰区域。当设定干扰区域时，干扰区域设定部65将新设定的基准工件、与设定在该基准工件上的干扰区域相对应，并使其存储在存储部80中。
图7是对工件进行重叠判断和干扰判断、并确定出机器人1实际进行作业的工件即作业对象工件的作业对象工件确定处理的流程图。在作业对象工件确定处理中，首先，执行通过三维照相机40开始对输送机11上的规定范围进行拍摄的拍摄步骤(步骤S11)。三维照相机40拍摄作为视频的输送机11上的规定范围。
工件特定部62判断输送机11是否已经移动了预先设定的规定距离(步骤S12)。工件特定部62通过编码器12来检测输送机11的移动距离。此外，可以使用输送机11的搬运速度和经过的时间，来计算输送机11的移动距离。在工件特定部62判断出输送机11没有移动了规定距离的情况下(步骤S12：否)，则继续等待输送机11移动到规定距离。
在工件特定部62判断出输送机11已经移动了规定距离的情况下(步骤S12：是)，在输送机11已经移动了规定距离的时间点时，工件特定部62从由三维照相机40获取的三维图像中检测出工件(步骤S13)。在从三维图像中没有检测出工件的情况下(步骤S13：否)，执行步骤S12之后的处理。在从三维图像中检测出工件的情况下(步骤S13：是)，工件特定部62对检测出的工件进行跟踪(步骤S14)。
此外，在本实施方式的物品搬运装置10中，由输送机11搬运的多种工件是能够成为作业对象工件的工件，并且是与存储在存储部80中的基准工件相同的工件。
接下来，在输送机11已经移动了规定距离后，工件特定部62判断能否从由三维照相机40获取的下一个三维图像中、检测出跟踪工件(步骤S15)。换句话说，在该处理中，通过由输送机11搬运跟踪工件，来判断该跟踪工件是否已经移动到三维照相机40的拍摄范围之外。在三维图像中存在跟踪工件的情况下(步骤S15：是)，工件特定部62继续对该工件进行跟踪(步骤S14)。
当在步骤S15的处理中，从由三维照相机40获取的三维图像中、没有检测出跟踪工件的情况下(步骤S15：否)，工件特定部62利用对跟踪工件拍摄的多个三维图像，对跟踪工件的三维形状和姿态进行特定，并执行该工件是否是与任意一个基准工件相同的工件进行特定的工件识别步骤(步骤S16)。工件特定部62通过对应于对跟踪工件拍摄的多个三维图像中的工件的各个图像，能够特定出工件的三维形状和姿态。
图8表示对由输送机11搬运的两个工件W2、W4拍摄的五个三维图像IM1～IM5。此外，在图8的三维图像IM1～IM5中的输送机的移动方向是，从工件W2朝向工件W4的方向。在首先获取的三维图像IM1中，如图8(a)所示，仅检测出工件W4的行进方向一侧的侧面。在第二个获取的三维图像IM2和第三个获取的三维图像IM3中，如图8(b)、图8(c)所示，分别检测出两个工件W2、W4的上表面。在第四个获取的三维图像IM4中，如图8(d)所示，新检测出工件W4的与行进方向相反一侧的侧面。在第五个获取的三维图像IM5中，如图8(e)所示，新检测出工件W2的与行进方向相反一侧的侧面。如上所述，在图8(a)～(e)所示的例子中，由输送机11搬运两种工件W2、W4的情况下，工件特定部62利用从五个三维图像中检测出各工件W2、W4的上表面和侧面的三维图像，对工件W2、W4的三维形状和姿态进行特定。
当执行图7所示的步骤S16的处理时，重叠判断部63利用由三维照相机40获取的三维图像，进行步骤S18、S19的两个处理，来判断对三维形状和姿态进行特定后的工件(以下也称为“形状特定工件”)与其他工件的重叠。首先，重叠判断部63对形状特定工件的上表面是否被隐藏进行判断(步骤S17)。如图9所示，重叠的两个工件W2a、W2b是具有相同三维形状的工件。在本实施方式中，由于限制了由输送机11搬运的工件的种类，因此，即使没有获取到工件W2a、W2b的整个上表面和整个侧面的图像，也可以由工件特定部62特定为形状特定工件。在图9所示的例子中，由于工件W2b与工件W2a的一部分上表面重叠，因此通过三维照相机40无法拍摄到该上表面。由此判断出工件W2a的上表面被隐藏。
当在步骤S17的处理中，判断出形状特定工件的上表面被隐藏时(步骤S17：是)，执行下述的步骤S21的处理。在判断出形状特定工件的上表面没有被隐藏、即获取了形状特定工件的整个上表面的图像的情况下(步骤S17：否)，接下来，重叠判断部63通过比较形状特定工件的姿态与基准工件的基准位置姿态，执行判断形状特定工件与其他工件有没有重叠的重叠判断步骤(步骤S18)。重叠判断部63通过将具有与形状特定工件相同形状的基准工件的基准位置姿态中的高度方向的不同、和基准工件围绕x轴旋转或围绕y轴旋转的两个条件，与形状特定工件的姿态进行比较，来判断形状特定工件与其他工件有没有重叠。
如图9所示，当比较了形状特定工件即工件W2b的姿态、和具有与工件W2b相同形状的基准工件的基准位置姿态时，工件W2b的重心、高于在工件W2b没有与工件W2a重叠时的姿态的重心，工件W2b的姿态在围绕x轴和围绕y轴旋转中的至少一个旋转角度不同。因此，判断出工件W2b与其他工件即工件W2a重叠。
在图7所示的步骤S18的处理中，判断出形状特定工件的姿态与基准位置姿态不同的情况下(步骤S18：否)，执行下述的步骤S21的处理。另一方面，在判断出形状特定工件的姿态与基准位置姿态相同的情况下(步骤S18：是)，干扰判断部64对其他工件是否干扰了设定在形状特定工件上的干扰区域进行判断(步骤S19)。设定在形状特定工件上的干扰区域是，预先设定在基准工件上的干扰区域，所述基准工件具有与形状特定工件相同的三维形状。
在判断出其他工件没有干扰设定在形状特定工件上的干扰区域的情况下(步骤S19：否)，将形状特定工件确定为机器人1进行作业的作业对象工件(步骤S20)。在判断出其他工件干扰了设定在形状特定工件上的干扰区域的情况下(步骤S19：是)，将形状特定工件确定为不会由机器人1进行作业的非作业对象工件(步骤S21)。
图10所示的两个工件W2a、W2b是具有相同三维形状的工件，并分别设定了相同的区域即干扰区域IR2a、IR2b。如图10所示，由于其他工件即工件W2b干扰了设定在工件W2a上的干扰区域IR2a，因此将工件W2a确定为非作业对象工件。另一方面，由于其他工件没有干扰工件W2b的干扰区域IR2b，因此将工件W2b确定为作业对象工件。
当执行图7所示的步骤S20、S21的处理时，对是否结束作业对象工件确定处理进行判断(步骤S22)。例如，在根据操作部50接收到的操作，继续进行作业对象工件确定处理的情况下(步骤S22：否)，执行步骤S12之后的处理，在结束作业对象工件确定处理的情况下(步骤S22：是)，结束该处理。
在上述结构的本实施方式的物品搬运装置10中，通过三维照相机40，来获取由输送机11搬运的工件的三维图像。将从获取的三维图像中检测出的工件的三维形状和姿态、与存储在存储部80中的基准工件的三维形状进行比较，来判断检测出的工件、是否是具有与基准工件相同三维形状的工件。在检测出的工件是具有与基准工件相同三维形状的工件的情况下，对检测出的工件进行重叠判断。通过重叠判断，在其他工件与检测出的工件重叠的情况下，机器人1不会对检测出的工件进行作业。
在其他工件与检测出的工件重叠的状态下，由机器人1对检测出的工件进行作业时，其他工件的位置和姿态会发生变化。因此，通过从机器人1的作业对象中去掉与其他工件重叠的工件，能够提前消除基于其他工件的损坏以及在其他工件中的位置和姿态变化的影响，并能够稳定地对工件进行作业。另外，在本实施方式的物品搬运装置10中，通过三维照相机来获取由输送机11搬运的工件的三维图像，从而对工件的三维形状和姿态进行特定。由此，即使输送机11的颜色与工件的颜色相同，即使在拍摄工件时没有用于使对比度发生变化的照明等，也能够准确地判断工件的重叠。
另外，在本实施方式的物品搬运装置10中，由干扰区域设定部65在工件的周围设定干扰区域，并判断出在由输送机11搬运的工件的干扰区域中、有没有其他工件的干扰，当其他工件没有干扰设定在从三维图像中检测出的工件上的干扰区域的情况下、并且检测出的工件与其他工件没有重叠的情况下，由机器人1对检测出的工件进行作业。另一方面，在其他工件干扰了检测出的工件的干扰区域的情况下，机器人不会对检测出的工件进行作业。即使其他工件没有直接干扰检测出的工件，在利用机器人1的手等进行的作业中，手等也可能会与其他工件接触。因此，在其他工件干扰了机器人1的作业对象工件的干扰区域的情况下，通过从作业对象中去掉该工件，能够提前消除因其他工件的损坏以及在其他工件中的位置和姿态变化带来的影响。
并且，在本实施方式中，即使其他工件没有干扰设定在检测出的工件上的干扰区域，并且在干扰区域的高度方向的上方存在其他工件的情况下，也判断成对检测出的工件有干扰。由此，由于不仅要考虑手等实际上抓持工件的部分，而且也要考虑手等为了抓持工件而进行移动的区域，因此，能够进一步降低手等与其他工件接触的危险性。
在上述实施方式中，以物品搬运装置10和具备物品搬运装置10的机器人系统100为例进行了说明，但关于物品搬运装置10和机器人系统100，可以有各种变形。例如，物品搬运装置10可以不包括监视器70和操作部50，机器人系统100所具备的机器人1可以是除了垂直多关节机器人之外的机器人，例如是水平多关节机器人等的机器人。控制部60可以与输送机11形成一体化的装置。通过使用编码器12，来检测输送机11的移动量和搬运速度，但也可以使用例如由三维照相机40获取的三维图像、或者由其他的照相机获取的图像进行检测。另外，工件特定部62可以不进行基准工件设定处理，在作业对象工件确定处理中进行重叠判断而不进行干扰判断。
在上述实施方式中，由输送机11搬运的工件是，与预先存储在存储部80中的基准工件相同的工件，并且是能够成为作业对象工件的工件，但可以是机器人1的非作业对象的工件，也可以是与基准工件不同的工件，所述基准工件的三维形状和姿态没有存储在存储部80中。
在上述实施方式中，在图6所示的基准工件设定处理中，通过对工件进行一次基准工件设定处理，从而设定了作为基准工件的三维形状和基准位置姿态，但也可以改变由输送机11搬运的工件的姿态进行多次基准工件设定处理。例如，通过对具有复杂形状的工件进行多次基准工件设定处理，就可以更准确地设定工件的三维形状。另外，在进行多次基准工件设定处理的情况下，例如，用户对操作部50进行操作，就可以从所得到的多个基准位置姿态中选出一个基准位置姿态。
在上述实施方式中，如图8所示，针对由输送机11搬运的工件，从不同的视点获取了多个三维图像，从而对工件的三维形状和姿态进行了特定。在其他方式中，例如在由输送机11搬运的多种工件的三维形状差异很大的情况下，通过获取一个三维图像，也能够由工件特定部62对工件的三维形状和姿态进行特定。
在上述实施方式中，对检测出的工件的姿态与基准位置姿态进行比较的情况下，由工件的重心来判断工件中的高度方向，但也可以例如通过特定的顶点、或者在特定的面中的重心等其他的基准进行判断。
另外，在干扰判断中，也考虑了位于检测出的工件的干扰区域上方的其他工件，但根据机器人1相对于输送机11的位置和机器人1的手形状等，也可以通过干扰判断来考虑在干扰区域上方的进一步增加的区域、或者与上方不同的区域。
此外，控制部60获取了作为输送机信息的、由编码器12获得的输送机11的搬运速度，但也可以获取作为输送机信息的输送机11的位置信息、机器人1相对于输送机11的位置信息和三维照相机40相对于输送机11的位置信息。

Claims (9)

1.一种物品搬运装置，其特征在于，具备：
输送机，其搬运工件；
拍摄单元，其对由所述输送机搬运的所述工件进行拍摄并获取三维图像；
工件识别单元，其基于由所述拍摄单元获取的三维图像，来检测所述工件的三维形状和姿态；
存储单元，其存储基准工件的三维形状、以及所述基准工件在没有与其他工件重叠的状态下的姿态；以及
重叠判断单元，其基于由所述存储单元存储的所述基准工件的三维形状和姿态、以及由所述工件识别单元检测出的所述工件的三维形状和姿态，来判断所述工件有没有重叠。
2.根据权利要求1所述的物品搬运装置，其特征在于，
所述物品搬运装置具备：
输送机信息获取单元，其获取所述输送机的搬运速度，
所述工件识别单元利用由所述输送机信息获取单元获取的搬运速度、以及由所述拍摄单元在不同时刻获取的多个三维图像，对同一个所述工件的三维形状和姿态进行特定。
3.根据权利要求2所述的物品搬运装置，其特征在于，
所述物品搬运装置具备：
基准工件设定单元，在由所述输送机以与其他工件不重叠的方式搬运所述工件时，所述基准工件设定单元将由所述工件识别单元特定出的所述工件的三维形状和姿态、作为新的所述基准工件的三维形状和姿态而存储在所述存储单元中。
4.根据权利要求1至3中任一项所述的物品搬运装置，其特征在于，
所述物品搬运装置具备：
干扰区域设定单元，其在由所述工件识别单元检测出的所述工件的三维形状的外侧，设定规定的干扰区域；以及
干扰判断单元，其在由所述拍摄单元获取的三维图像中，判断由所述干扰区域设定单元设定的所述干扰区域与其他所述工件之间有没有干扰。
5.根据权利要求4所述的物品搬运装置，其特征在于，
所述干扰区域设定单元根据所述工件的种类，来设定不同的所述干扰区域。
6.根据权利要求4或5所述的物品搬运装置，其特征在于，
所述物品搬运装置具备接收输入的输入单元，
所述干扰区域设定单元基于所述输入单元接收到的输入，对所述工件的所述干扰区域的形状和尺寸中的至少一个进行调整。
7.根据权利要求4至6中任一项所述的物品搬运装置，其特征在于，
所述物品搬运装置具备图像显示单元，其显示由所述拍摄单元获取的三维图像以及由所述干扰区域设定单元设定的所述干扰区域。
8.一种机器人系统，其特征在于，具备：
权利要求1至7中任一项所述的物品搬运装置；以及
机器人，其对由所述重叠判断单元判断出与其他所述工件不重叠的所述工件进行作业，并且对由所述重叠判断单元判断出与其他所述工件重叠的所述工件不进行作业。
9.一种物品搬运方法，其特征在于，包含如下步骤：
拍摄步骤，对由输送机搬运的工件进行拍摄并获取三维图像；
工件识别步骤，基于获取的三维图像，对所述工件的三维形状和姿态进行检测；以及
重叠判断步骤，基于由所述工件识别步骤检测出的所述工件的三维形状和姿态、以及已存储的基准工件的三维形状和姿态，判断所述工件与其他工件有没有重叠。
CN201811577439.5A 2017-12-26 2018-12-20 物品搬运装置、机器人系统和物品搬运方法 Active CN109955222B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017249594A JP6687591B2 (ja) 2017-12-26 2017-12-26 物品搬送装置、ロボットシステムおよび物品搬送方法
JP2017-249594 2017-12-26

Publications (2)

Publication Number Publication Date
CN109955222A true CN109955222A (zh) 2019-07-02
CN109955222B CN109955222B (zh) 2021-12-07

Family

ID=66768396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811577439.5A Active CN109955222B (zh) 2017-12-26 2018-12-20 物品搬运装置、机器人系统和物品搬运方法

Country Status (4)

Country Link
US (1) US11046530B2 (zh)
JP (1) JP6687591B2 (zh)
CN (1) CN109955222B (zh)
DE (1) DE102018132213B4 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110744546A (zh) * 2019-11-01 2020-02-04 云南电网有限责任公司电力科学研究院 一种缺陷修复机器人抓取非静止导线的方法及系统
CN110936355A (zh) * 2019-11-25 2020-03-31 广州微林软件有限公司 一种基于视觉测速定位的机械臂引导系统和方法
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN112307874A (zh) * 2019-07-26 2021-02-02 丰田自动车株式会社 作业量计算系统
CN112758641A (zh) * 2020-12-31 2021-05-07 国网山东省电力公司营销服务中心(计量中心) 一种流水线上物料姿态识别与矫正系统及方法
CN114906534A (zh) * 2022-04-25 2022-08-16 四川省自贡运输机械集团股份有限公司 一种带式输送机移动机器人定位方法和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4235540A3 (en) * 2015-09-11 2023-09-27 Berkshire Grey Operating Company, Inc. Robotic systems and methods for identifying and processing a variety of objects
US9937532B2 (en) 2015-12-18 2018-04-10 Berkshire Grey Inc. Perception systems and methods for identifying and processing a variety of objects
JP6500852B2 (ja) * 2016-07-11 2019-04-17 株式会社安川電機 ロボットシステム、ロボットの制御方法、ロボットコントローラ
KR102063115B1 (ko) * 2018-01-11 2020-03-03 농업회사법인에코그로잉주식회사 태양광발전 병행 식물공장
JP7022036B2 (ja) * 2018-08-31 2022-02-17 ファナック株式会社 物品取出システム
WO2020219480A1 (en) 2019-04-25 2020-10-29 Berkshire Grey, Inc. Systems and methods for maintaining vacuum hose life in hose routing systems in programmable motion systems
EP4023398A4 (en) * 2019-08-26 2023-09-13 Kawasaki Jukogyo Kabushiki Kaisha INFORMATION PROCESSING DEVICE, CONFIGURATION DEVICE, IMAGE RECOGNITION SYSTEM, ROBOT SYSTEM, CONFIGURATION METHOD, LEARNING DEVICE, AND LEARNED MODEL GENERATION METHOD
JP7436170B2 (ja) * 2019-09-20 2024-02-21 ファナック株式会社 ロボットシステム
JP7434986B2 (ja) * 2020-02-12 2024-02-21 株式会社ダイフク 物品判別システム
CN111687836B (zh) * 2020-05-09 2021-12-17 徐策 一种多机械臂的协同控制方法及系统
CN111731837B (zh) * 2020-06-17 2021-10-15 浙江省机电设计研究院有限公司 一种基于工业机器人视觉识别的抓取系统
JP7455010B2 (ja) 2020-06-29 2024-03-25 株式会社Ｎｔｔドコモ 検知装置及び検知プログラム
KR102457712B1 (ko) * 2020-09-29 2022-10-20 주식회사 포스코아이씨티 수하물 이중적재 판별 시스템 및 방법
JP7336678B2 (ja) * 2020-12-15 2023-09-01 パナソニックＩｐマネジメント株式会社 ピッキング装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010207989A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の把持システム及び同システムにおける干渉検出方法
CN102233581A (zh) * 2010-04-28 2011-11-09 本田技研工业株式会社 工件的把持方法
CN102837317A (zh) * 2011-06-20 2012-12-26 株式会社安川电机 拾取系统
US20150022638A1 (en) * 2013-07-16 2015-01-22 Keyence Corporation Three-Dimensional Image Processing Apparatus, Three-Dimensional Image Processing Method, Three-Dimensional Image Processing Program, Computer-Readable Recording Medium, And Recording Device
CN105513040A (zh) * 2014-08-22 2016-04-20 西部电机株式会社 不定形体位置推定方法、不定形体位置推定装置以及程序
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
CN106062820A (zh) * 2014-03-14 2016-10-26 欧姆龙株式会社 图像识别装置、图像传感器、图像识别方法
CN106999987A (zh) * 2014-10-29 2017-08-01 菲韦斯内部物流单股东股份公司 用于将物品进给到分类机的装置以及分类机

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876728A (en) 1985-06-04 1989-10-24 Adept Technology, Inc. Vision system for distinguishing touching parts
JP3405045B2 (ja) * 1995-03-28 2003-05-12 松下電工株式会社 部品供給方法およびその装置
US6610953B1 (en) * 1998-03-23 2003-08-26 University Of Arkansas Item defect detection apparatus and method
JP3368244B2 (ja) 1999-12-28 2003-01-20 川崎重工業株式会社 ワークの配置位置決定方法
JP4809524B2 (ja) 2000-10-06 2011-11-09 セイコーインスツル株式会社 トラッキング方法、トラッキングシステム、及びトラッキング装置
AT507339B1 (de) 2008-09-26 2011-06-15 Stiwa Holding Gmbh Verfahren und anlage zum aufnehmen und/oder bearbeiten von objekten
JP5201411B2 (ja) 2008-11-21 2013-06-05 株式会社Ｉｈｉ バラ積みピッキング装置とその制御方法
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5659640B2 (ja) * 2010-09-07 2015-01-28 富士電機株式会社 ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
US9132546B2 (en) 2011-04-14 2015-09-15 Mitsubishi Electric Corporation Robot control apparatus
US20120290130A1 (en) * 2011-05-10 2012-11-15 Agile Planet, Inc. Method to Model and Program a Robotic Workcell
US8958901B2 (en) * 2011-11-18 2015-02-17 Nike, Inc. Automated manufacturing of shoe parts
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
JP5786896B2 (ja) 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP2015157343A (ja) * 2014-02-25 2015-09-03 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、および制御方法
US20170066597A1 (en) * 2014-03-28 2017-03-09 Nec Corporation Information processing device, information processing system, distribution system, information processing method, and program storage medium
JP5980873B2 (ja) 2014-10-17 2016-08-31 ファナック株式会社 ロボットの干渉領域設定装置
JP6472363B2 (ja) 2015-10-16 2019-02-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
JP6540472B2 (ja) 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6744709B2 (ja) * 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
JP2017124450A (ja) 2016-01-12 2017-07-20 株式会社ソフトサービス ピックアップ装置
US10287047B2 (en) 2016-01-29 2019-05-14 Neopost Technologies Method and apparatus for optimizing automated packaging
US10682870B2 (en) * 2016-06-09 2020-06-16 Ricoh Company, Ltd. Conveyed object detector, conveyance device, device including movable head, conveyed object detecting method, and non-transitory recording medium storing program of same
JP7047249B2 (ja) * 2017-01-10 2022-04-05 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム
JP6496333B2 (ja) * 2017-01-30 2019-04-03 ファナック株式会社 少なくとも１つのセンサを用いた物品搬送装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010207989A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の把持システム及び同システムにおける干渉検出方法
CN102233581A (zh) * 2010-04-28 2011-11-09 本田技研工业株式会社 工件的把持方法
CN102837317A (zh) * 2011-06-20 2012-12-26 株式会社安川电机 拾取系统
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
US20150022638A1 (en) * 2013-07-16 2015-01-22 Keyence Corporation Three-Dimensional Image Processing Apparatus, Three-Dimensional Image Processing Method, Three-Dimensional Image Processing Program, Computer-Readable Recording Medium, And Recording Device
CN106062820A (zh) * 2014-03-14 2016-10-26 欧姆龙株式会社 图像识别装置、图像传感器、图像识别方法
CN105513040A (zh) * 2014-08-22 2016-04-20 西部电机株式会社 不定形体位置推定方法、不定形体位置推定装置以及程序
CN106999987A (zh) * 2014-10-29 2017-08-01 菲韦斯内部物流单股东股份公司 用于将物品进给到分类机的装置以及分类机

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307874A (zh) * 2019-07-26 2021-02-02 丰田自动车株式会社 作业量计算系统
CN110744546A (zh) * 2019-11-01 2020-02-04 云南电网有限责任公司电力科学研究院 一种缺陷修复机器人抓取非静止导线的方法及系统
CN110936355A (zh) * 2019-11-25 2020-03-31 广州微林软件有限公司 一种基于视觉测速定位的机械臂引导系统和方法
CN110936355B (zh) * 2019-11-25 2021-06-22 广州微林软件有限公司 一种基于视觉测速定位的机械臂引导系统和方法
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN112758641A (zh) * 2020-12-31 2021-05-07 国网山东省电力公司营销服务中心(计量中心) 一种流水线上物料姿态识别与矫正系统及方法
CN114906534A (zh) * 2022-04-25 2022-08-16 四川省自贡运输机械集团股份有限公司 一种带式输送机移动机器人定位方法和系统
CN114906534B (zh) * 2022-04-25 2023-12-22 四川省自贡运输机械集团股份有限公司 一种带式输送机移动机器人定位方法和系统

Also Published As

Publication number Publication date
US11046530B2 (en) 2021-06-29
DE102018132213B4 (de) 2023-06-01
US20190193947A1 (en) 2019-06-27
DE102018132213A1 (de) 2019-06-27
JP6687591B2 (ja) 2020-04-22
CN109955222B (zh) 2021-12-07
JP2019111640A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
CN109955222A (zh) 物品搬运装置、机器人系统和物品搬运方法
CN108000524B (zh) 模拟装置、模拟方法、模拟程序以及存储介质
CN106493728B (zh) 坐标系设定方法、坐标系设定装置以及机器人系统
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
CN109665307A (zh) 作业系统、对物品的作业实施方法以及机器人
EP2267658B1 (en) Shape detection system
US10786899B2 (en) Device for calculating stowage pattern and robot controller
EP3392002A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
CN108942916B (zh) 工件取出系统
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
Nerakae et al. Using machine vision for flexible automatic assembly system
CN106426162A (zh) 具备视觉传感器以及多个机器人的机器人系统
CN108372503A (zh) 使用至少一个传感器的物品运送装置
CN105856216A (zh) 工件取出机器人系统以及工件取出方法
CN107150032A (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
US10618163B2 (en) Simulation device, simulation method, and computer program for robot system
US20170235301A1 (en) Robot programming device for teaching robot program
JP6549655B2 (ja) 物品搬送装置
JP2010264559A (ja) ロボットの制御方法
US10427301B2 (en) Robot system and robot controller
CN103921274A (zh) 识别程序评价装置及识别程序评价方法
CN106272421A (zh) 一种程控工业机器人
CN109916346B (zh) 一种基于视觉系统的工件平整度的检测装置及检测方法
CN105489532B (zh) 硅片承载装置中硅片的安全放置方法
US20200071094A1 (en) Article picking system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant