CN111985293B - 工件识别方法 - Google Patents

工件识别方法 Download PDF

Info

Publication number
CN111985293B
CN111985293B CN202010418703.1A CN202010418703A CN111985293B CN 111985293 B CN111985293 B CN 111985293B CN 202010418703 A CN202010418703 A CN 202010418703A CN 111985293 B CN111985293 B CN 111985293B
Authority
CN
China
Prior art keywords
workpiece
uppermost
determined
software
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010418703.1A
Other languages
English (en)
Other versions
CN111985293A (zh
Inventor
津久井亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111985293A publication Critical patent/CN111985293A/zh
Application granted granted Critical
Publication of CN111985293B publication Critical patent/CN111985293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0206—Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0096—Programme-controlled manipulators co-operating with a working support, e.g. work-table
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40543—Identification and location, position of components, objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

提供一种工件识别方法。基于通过拍摄取得的图像VD，判定在工件放置处是否存在工件，在判定为存在工件的情况下，基于图像VD，判定在工件放置处是否存在多个工件的软体部交叉地重叠的交叉部，在判定为存在交叉部的情况下，基于图像，判别交叉的多个软体部中的位于最上方的最上位软体部，将具有所判别出的最上位软体部的工件决定为位于最上方的最上位工件。

Description

工件识别方法
技术领域
本发明涉及工件识别方法。
背景技术
日本特开2010－69542公开了如以下那样的工件拣选(picking)方法。具体而言，通过用距离传感器对散装的工件进行三维计测，对所得到的计测结果与工件的三维CAD模型进行对照，从而识别个别的工件的三维位置和姿态。然后，通过机械手对识别出三维位置和姿态的工件进行拣选。
发明内容
有时将由刚体部和呈自由线形状的软体部构成的工件作为拣选对象。作为这样的工件，例如有由作为刚体部的连接器和作为自由线形状的软体部的线缆构成的线束(wireharness)。在这样的工件散装的情况下，有时通过日本特开2010-69542的拣选方法无法适当地对个别的工件进行拣选。
具体而言，首先，对于由刚体部和呈自由线形状的软体部构成的工件来说，存在刚体部的三维CAD数据，但不存在呈自由线形状(换言之为不定形)的软体部的三维CAD数据。因此，在如日本特开2010－69542那样使工件的三维计测数据与三维CAD数据进行匹配的情况下，对于存在三维CAD数据的刚体部，使三维计测数据与三维CAD数据进行匹配，对刚体部的三维位置和姿态进行识别。因此，对于不存在三维CAD数据的软体部，无法识别其三维位置和姿态。因此，设为在通过刚体部的三维计测数据和三维CAD数据的匹配对刚体部的三维位置和姿态进行识别之后，把持该刚体部，从而拣选具有该刚体部的工件。
然而，在多个工件以多个工件的软体部交叉的形态存在(散装)的情况下，有时其他工件的软体部会以交叉的形态重叠在具有识别出三维位置和姿态的刚体部的工件的软体部之上。在这样的情况下，当设为通过机械手把持识别出三维位置和姿态的刚体部来拿起具有该刚体部的工件时，也会一起拿起软体部以交叉的形态重叠在该工件的软体部上的工件。因此，成为通过机械手同时拿起多个工件，会超过通过机械手把持的工件的设想重量(容许重量)。其结果，有可能无法维持机械手对工件的把持状态，会使所把持的工件和与其一起拿起的工件落下。因此，要求如下方法：在多个工件以多个工件的软体部交叉的形态存在于工件放置处(散装)的情况下，从这些工件中识别位于最上方的最上位工件。
本发明是鉴于该现状而完成的，目的在于提供能够在多个工件以多个工件的软体部交叉的形态存在于工件放置处(散装)的情况下，从这些工件中识别位于最上方的最上位工件的工件识别方法。
本发明的一个技术方案是工件识别方法，包括：对放置有多个工件的工件放置处进行拍摄，基于通过所述拍摄取得的图像，判定在所述工件放置处是否存在所述工件，所述工件具有呈自由线形状的软体部；在判定为存在所述工件的情况下，基于所述图像，判定在所述工件放置处是否存在多个所述工件的所述软体部交叉地重叠的交叉部；在判定为存在所述交叉部的情况下，基于所述图像，判别交叉的多个所述软体部中的位于最上方的最上位软体部；以及将具有所判别出的所述最上位软体部的所述工件决定为位于最上方的最上位工件，所述工件识别方法还包括：在基于所述图像无法判别所述最上位软体部的情况下，对通过使一个或者多个所述工件进行移动来做出所述最上位软体部的次序进行研究；和为了做出所述最上位软体部，按照通过所述研究发现的所述次序，使所述工件进行移动。
在上述的工件识别方法中，将具有呈自由线形状(呈线状的自由形状)的软体部的工件作为识别对象。根据该工件识别方法，能够在多个工件以多个工件的软体部交叉的形态存在(散装)于工件放置处的情况下，从这些工件中识别位于最上方的最上位工件。
另外，在上述的工件识别方法中，在判定为存在多个工件的软体部交叉地重叠的交叉部的情况下，基于通过拍摄取得的图像，判别交叉的多个软体部中的位于最上方的最上位软体部。并且，将具有所判别出的最上位软体部的工件决定为位于最上方的最上位工件。然而，有时基于通过拍摄取得的图像无法判别最上位软体部。
具体而言，例如为3个工件(设为第1工件、第2工件以及第3工件)所包含的3条软体部(设为第1软体部、第2软体部以及第3软体部)相互交叉、且无法基于各交叉部中的软体部的上下的序列来决定最上位软体部的情况。例如为在第2软体部位于第1软体部的上方的形态下第1软体部和第2软体部交叉、在第3软体部位于第2软体部的上方的形态下第2软体部和第3软体部交叉、在第1软体部位于第3软体部的上方的形态下第1软体部和第3软体部交叉的情况。在这样的情况下，3条软体部中不存在位于比其他2条软体部都靠上方的位置的软体部，因此，无法判别最上位软体部。
与此相对，在上述的工件识别方法中，在基于通过拍摄取得的图像无法判别最上位软体部的情况下，对“通过使存在于工件放置处的工件中的一个或者多个工件进行移动来做出最上位软体部”的次序进行研究。并且，为了做出最上位软体部，按照通过该研究发现(导出)的次序，使工件进行移动。
具体而言，在前述的例子的情况下，例如能够通过使第2工件进行移动(使第2工件离开第1工件)，以使得从第2软体部重叠在第1软体部的上方的状态变为第2软体部与第1软体部不重叠的状态，从而成为“在第3软体部位于第2软体部的上方的形态下第2软体部和第3软体部交叉，在第1软体部位于第3软体部的上方的形态下第1软体部和第3软体部交叉，第1软体部与第2软体部不交叉”的状态。由此，能够使第1软体部成为最上位软体部。
这样，在上述的工件识别方法中，通过对做出最上位软体部的次序进行研究，按照通过研究发现(导出)的次序来使工件进行移动，从而做出最上位软体部。由此，能够判别最上位软体部。
上述的工件识别方法例如包括：第1拍摄步骤，对放置有多个工件的工件放置处进行拍摄，所述工件具有呈自由线形状的软体部；工件有无判定步骤，基于通过所述第1拍摄步骤的拍摄取得的图像，判定在所述工件放置处是否存在所述工件；交叉部有无判定步骤，在所述工件有无判定步骤中判定为存在所述工件的情况下，基于所述图像，判定在所述工件放置处是否存在所述多个工件的所述软体部交叉地重叠的交叉部；最上位软体部判别步骤，在所述交叉部有无判定步骤中判定为存在所述交叉部的情况下，基于所述图像，判别交叉的多个所述软体部中的位于最上方的最上位软体部；以及最上位工件决定步骤，将具有在所述最上位软体部判别步骤中判别出的所述最上位软体部的所述工件决定为位于最上方的最上位工件，该工件识别方法还包括：做出次序研究步骤，在所述最上位软体部判别步骤中无法判别所述最上位软体部的情况下，对通过使一个或者多个所述工件进行移动来做出最上位软体部的次序进行研究；和移动步骤，为了做出所述最上位软体部，按照在所述做出次序研究步骤中发现(导出)的所述次序，使所述工件进行移动。
进一步，可以为如下的工件识别方法：在所述工件识别方法中还包括：在按照所述次序来使所述工件进行移动之后，重新对所述工件放置处进行拍摄；基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；以及在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部。
在上述的工件识别方法中，在按照用于做出前述的最上位软体部的次序来使工件移动之后，重新对工件放置处进行拍摄。然后，基于通过该拍摄重新取得的图像，重新判别最上位软体部。由此，即使是在使工件移动之前未能判别最上位软体部的情况下，也能够在使工件移动之后判别最上位软体部。
上述的工件识别方法例如为如下的工件识别方法：在所述工件识别方法中还包括在所述移动步骤之后重新对所述工件放置处进行拍摄的第2拍摄步骤，在所述第2拍摄步骤之后，在所述交叉部有无判定步骤中，基于通过所述第2拍摄步骤的拍摄重新取得的图像，判定在所述工件放置处是否存在所述交叉部，在判定为存在所述交叉部的情况下，然后在所述最上位软体部判别步骤中，基于所述重新取得的图像，判别所述最上位软体部。
进一步，可以为如下的工件识别方法：在所述任一工件识别方法中还包括：在通过所述研究未能发现做出所述最上位软体部的次序的情况下，进行使存在于所述工件放置处的多个所述工件的位置关系随机地进行变更的操作；之后，重新对所述工件放置处进行拍摄；基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；以及在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部。
在上述的工件识别方法中，在研究了做出最上位软体部的次序，结果未能发现(导出)做出最上位软体部的次序的情况下，进行使存在于工件放置处的多个工件的位置关系随机地进行变更的操作。具体而言，例如通过使存在于工件放置处的工件随机地移动，使多个工件的位置关系随机地进行变更。有时通过进行这样的操作，能做出最上位软体部。或者，可能能够发现(导出)做出最上位软体部的次序。
在上述的工件识别方法中，在进行了如上述那样的操作之后，重新对工件放置处进行拍摄，基于通过该拍摄重新取得的图像，重新判别最上位软体部。由此，即使是在进行如上述那样的操作之前未能判别最上位软体部的情况下，也可能能够在进行了如上述那样的操作之后判别最上位软体部。或者，可能能够在进行了如上述那样的操作之后发现(导出)做出最上位软体部的次序。在成为能够发现(导出)做出最上位软体部的次序的情况下，通过按照所发现的次序来使工件进行移动而做出最上位软体部，从而能够判别最上位软体部。
上述的工件识别方法例如为如下的工件识别方法：在所述工件识别方法中还包括在所述做出次序研究步骤中未能发现(导出)做出最上位软体部的次序的情况下进行使存在于所述工件放置处的多个所述工件的位置关系随机地进行变更的操作的位置关系变更步骤，在所述位置关系变更步骤之后，在所述第2拍摄步骤中重新对所述工件放置处进行拍摄，然后，在所述交叉部有无判定步骤中，基于通过所述第2拍摄步骤的拍摄重新取得的图像，判定在所述工件放置处是否存在所述交叉部，在判定为存在所述交叉部的情况下，然后在所述最上位软体部判别步骤中，基于所述重新取得的图像，判别所述最上位软体部。
进一步，可以为如下的工件识别方法：在所述任一工件识别方法中，所述工件是由所述软体部和刚体部构成的工件，所述工件识别方法还包括：在判别了所述最上位软体部之后且决定所述最上位工件之前，基于所述图像，针对具有所判别出的所述最上位软体部的所述工件，判定是否能够识别所述软体部以及所述刚体部；和在判定为能够识别所述软体部以及所述刚体部的情况下，将具有所述最上位软体部的所述工件决定为所述最上位工件。
在上述的工件识别方法中，将由刚体部和呈自由线形状(呈线状的自由形状)的软体部构成的工件作为识别对象。在该工件识别方法中，在判别出最上位软体部之后，针对具有所判别出的最上位软体部的工件，判定是否能够识别软体部以及刚体部。在此，针对具有最上位软体部的工件能够识别软体部以及刚体部的情况例如是指，在所取得的图像呈现有软体部的整体以及刚体部的整体、且在所取得的图像中能够确认软体部的整体以及刚体部的整体的情况。这样，通过在具有所判别出的最上位软体部的工件中识别软体部以及刚体部，能够对该工件是由刚体部和软体部构成(刚体部和软体部成为了一体)的工件这一状况进行确认。通过这样，能够更适当地识别最上位工件。
上述的工件识别方法例如是如下的工件识别方法：在所述任一工件识别方法中，所述工件是由所述软体部和刚体部构成的工件，所述工件识别方法还包括：在所述最上位软体部判别步骤之后且所述最上位工件决定步骤之前，基于所述图像，针对具有在所述最上位软体部判别步骤中所判别出的所述最上位软体部的所述工件，判定是否能够识别所述软体部以及所述刚体部的工件能否识别判定步骤，在所述工件能否识别判定步骤中判定为能够识别所述软体部以及所述刚体部的情况下，在所述最上位工件决定步骤中，将具有所述最上位软体部的所述工件决定为所述最上位工件。
进一步，可以为如下的工件识别方法：在所述工件识别方法中还包括：在判定为无法识别所述软体部以及所述刚体部的情况下，改变对所述工件放置处进行拍摄的角度，重新对所述工件放置处进行拍摄；基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部；以及针对具有所述重新判别出的所述最上位软体部的所述工件，基于所述重新取得的图像，重新判定是否能够识别所述软体部以及所述刚体部。
在上述的工件识别方法中，在基于所取得的图像而针对具有最上位软体部的工件判定为无法识别软体部以及刚体部的情况下，以与对作为该判定的基础的(在该判定中使用的)所述图像进行了拍摄的角度(对工件放置处进行拍摄的角度)不同的角度，重新对工件放置处进行拍摄。并且，基于通过该拍摄重新取得的图像，重新判别最上位软体部，针对具有重新判别出的最上位软体部的工件，重新判定是否能够识别软体部以及刚体部。由此，即使是在未能基于先取得到的图像来针对具有最上位软体部的工件识别软体部以及刚体部的情况下，也能够基于重新取得的图像，针对具有最上位软体部的工件识别软体部以及刚体部。
上述的工件识别方法例如为如下的工件识别方法：在所述工件识别方法中还包括在所述工件能否识别判定步骤中判定为无法识别所述软体部以及所述刚体部的情况下改变对所述工件放置处进行拍摄的角度来重新对所述工件放置处进行拍摄的第3拍摄步骤，在所述第3拍摄步骤之后，在所述交叉部有无判定步骤中，基于通过所述第3拍摄步骤的拍摄重新取得的图像，判定在所述工件放置处是否存在所述交叉部，在判定为存在所述交叉部的情况下，然后在所述最上位软体部判别步骤中，基于所述重新取得的图像，判别所述最上位软体部，然后，在所述工件能否识别判定步骤中，基于通过所述第3拍摄步骤的拍摄重新取得的图像，针对具有在所述最上位软体部判别步骤中判别出的所述最上位软体部的所述工件，重新判定是否能够识别所述软体部以及所述刚体部。
附图说明
下文将参照附图说明本发明示例性实施例的特征、优点以及技术和产业的意义，其中相同的标号表示同样的要素，并且，其中：
图1是实施方式涉及的把持装置的构成图。
图2是工件的平面图。
图3是表示实施方式涉及的工件识别方法的流程的流程图。
图4是通过拍摄取得的图像的一个例子。
图5是通过拍摄取得的图像的其他例子。
图6是说明实施方式涉及的工件识别方法的图。
图7是说明实施方式涉及的工件识别方法的其他图。
图8是通过拍摄取得的图像的其他例子。
具体实施方式
接着，参照附图对本发明的实施方式进行说明。图1是实施方式涉及的把持装置1的构成图。如图1所示，把持装置1具备把持机器人10、3D视觉传感器20、2D视觉传感器30、图像分析部40、机器人控制器50、3D视觉控制器60以及框架70。
该把持装置1是一个一个地依次把持放置(散装)于作为工件放置处WS的工件容纳箱90的内部的一个或者多个工件80来从工件容纳箱90内取出工件的装置。此外，本实施方式的工件80具有呈自由线形状(换言之为不定形的线形状)的软体部(线缆85)。更具体而言，如图2所示，本实施方式的工件80是由作为刚体部的连接器81、82和作为自由线形状的软体部的线缆85构成的线束。
如图1所示，把持机器人10具备把持工件80的把持部11、和与该把持部11连结的多关节臂部12。该把持机器人10通过把持部11把持位于工件放置处WS(工件容纳箱90的内部)的工件80的刚体部(连接器81或者连接器82)，从工件放置处WS(工件容纳箱90的内部)取出所把持的工件80。此外，在本实施方式中，由安川电机公司制的多关节机器人(YASKAWAGP-7)构成多关节臂部12。
3D视觉传感器20是公知的3D(三维)视觉传感器，安装于框架70的顶棚部。该3D视觉传感器20生成位于作为工件放置处WS的工件容纳箱90的内部的工件80的三维计测数据(三维图像数据)。此外，在本实施方式中，由Canon公司制的机器视觉(RV500)构成3D视觉传感器20。
2D视觉传感器30是公知的2D(二维)视觉传感器，安装于把持机器人10的前端部。该2D视觉传感器30对作为工件放置处WS的工件容纳箱90的内部进行拍摄，生成工件容纳箱90的内部的二维图像VD(二维图像数据，参照图4、图5以及图8)。此外，工件容纳箱90是在上方(图4、图5以及图8中为纸面跟前侧)开口的矩形形状的箱。因此，2D视觉传感器30从工件容纳箱90的上方对工件容纳箱90的内部进行拍摄。此外，图4、图5以及图8的二维图像VD是通过2D视觉传感器30从工件容纳箱90的开口的正上在铅垂方向上对工件容纳箱90的内部进行拍摄而生成的二维图像VD。
图像分析部40是构成AI(人工智能)等的计算机，取得通过2D视觉传感器30生成的工件80的二维图像VD(二维图像数据)，对其进行分析。具体而言，图像分析部40例如取得通过2D视觉传感器30生成的二维图像VD(二维图像数据)，基于所取得的二维图像VD(参照图4以及图5)，判定在作为工件放置处WS的工件容纳箱90的内部是否存在工件80。
进一步，图像分析部40在判定为存在工件80的情况下，基于所取得的二维图像VD，判定在工件放置处WS(工件容纳箱90的内部)是否存在多个工件80的线缆85(软体部)交叉地重叠的交叉部CP(参照图4、图5以及图8)。进一步，图像分析部40在判定为存在交叉部CP的情况下，基于所取得的二维图像VD，判别交叉的多个线缆85(软体部)中的位于最上方(在图4、图5以及图8中为最靠纸面跟前侧)的最上位线缆85T(最上位软体部)。
在图4所示的例子中，在存在三个工件80(设为第1工件80A、第2工件80B以及第3工件80C)的工件放置处WS(工件容纳箱90的内部)，以第1工件80A的线缆85(设为第1线缆85A)位于第3工件80C的线缆85(设为第3线缆85C)的上方的形态存在有第1线缆85A和第3线缆85C交叉的交叉部CP(设为第1交叉部CP1)，以第2工件80B的线缆85(设为第2线缆85B)位于第1线缆85A的上方的形态存在有第1线缆85A和第2线缆85B交叉的交叉部CP(设为第2交叉部CP2)。在该情况下，能够判别为第2工件80B的第2线缆85B(软体部)是最上位线缆85T(最上位软体部)。
另外，在图8所示的例子中，在存在三个工件80(第1工件80A、第2工件80B以及第3工件80C)的工件放置处WS(工件容纳箱90的内部)，以第1工件80A的第1线缆85A位于第3工件80C的第3线缆85C的上方的形态存在有第1线缆85A和第3线缆85C交叉的交叉部CP(设为第1交叉部CP1)，以第3线缆85C位于第2工件80B的第2线缆85B的上方的形态存在有第3线缆85C和第2线缆85B交叉的交叉部CP(设为第2交叉部CP2)。在该情况下，能够判别为第1工件80A的第1线缆85A(软体部)是最上位线缆85T(最上位软体部)。
此外，使图像分析部40预先存储(示教)并学习多个工件80在工件放置处WS(工件容纳箱90的内部)中配置在各种各样的位置的多个配置模式的图像、和各个配置模式下的最上位线缆85T(最上位软体部)的组合数据。这样的图像分析部40能够进行如下处理：基于所取得的二维图像VD(参照图5以及图8)，从交叉的多个线缆85(软体部)判别(识别)最上位线缆85T(最上位软体部)。
进一步，图像分析部40基于所取得的二维图像VD，关于具有所判别出的最上位线缆85T的工件80(在图8所示的例子中为第1工件80A)，判定是否能够识别作为软体部的线缆85以及作为刚体部的连接器81、82。具体而言，例如在所取得的二维图像VD呈现有具有最上位线缆85T的工件80涉及的线缆85(软体部)的整体以及连接器81、82(刚体部)的整体，在所取得的二维图像VD中能够对具有最上位线缆85T的工件80涉及的线缆85(软体部)的整体以及连接器81、82(刚体部)的整体进行确认的情况下，关于具有所判别出的最上位线缆85T的工件80，判定为能够识别作为软体部的线缆85(最上位线缆85T)以及作为刚体部的连接器81、82(参照图6)。
这样，在具有所判别出的最上位线缆85T(最上位软体部)的工件80中，通过对线缆85(软体部)以及连接器81、82(刚体部)进行识别，能够确认该工件80为由作为刚体部的连接器81、82和作为软体部的线缆85构成的线束(换言之为作为刚体部的连接器81、82和作为软体部的线缆85成为一体的线束)。
另一方面，在基于所取得的二维图像VD而判定为关于具有最上位线缆85T的工件80无法识别作为软体部的线缆85以及作为刚体部的连接器81、82的情况下，图像分析部40通过2D视觉传感器30，以与对作为该判定的基础的(在该判定中所使用的)二维图像VD进行了拍摄的角度(对工件放置处WS进行拍摄的角度)不同的角度，重新对工件放置处WS进行拍摄。具体而言，例如在作为该判定的基础的二维图像VD为从工件容纳箱90的开口的正上在铅垂方向上对工件容纳箱90的内部进行拍摄而生成的二维图像VD的情况下，使2D视觉传感器30从工件容纳箱90的开口的上方朝向与铅垂方向倾斜的方向(改变进行拍摄的角度)，重新使之对工件放置处WS进行拍摄。
进一步，图像分析部40基于通过该拍摄重新取得的二维图像VD，重新对最上位线缆85T进行判别，关于具有所判别出的最上位线缆85T的工件80，重新判定是否能够识别线缆85(软体部)以及连接器81、82(刚体部)。由此，即使是在未能基于先取得的二维图像VD来关于具有最上位线缆85T的工件80识别线缆85(软体部)以及连接器81、82(刚体部)的情况下，也能够基于重新取得的二维图像VD，关于具有最上位线缆85T的工件80，识别线缆85(软体部)以及连接器81、82(刚体部)。
进一步，图像分析部40在判定为能够识别作为软体部的线缆85(最上位线缆85T)以及作为刚体部的连接器81、82的情况下，将具有最上位线缆85T的工件80决定为最上位工件80T。此外，在本实施方式中，作为图像分析部40的软件，使用COGNEX公司制的VisionProViDi。
3D视觉控制器60是取得通过3D视觉传感器20生成的三维计测数据(三维图像数据)来进行处理的装置。使该3D视觉控制器60预先存储有工件80的连接器81、82(刚体部)的三维CAD数据。该3D视觉控制器60例如通过取得由3D视觉传感器20生成的位于工件放置处WS(工件容纳箱90的内部)的工件80的三维计测数据(三维图像数据)，使从该取得的三维计测数据(三维图像数据)选择的刚体部(连接器81或者连接器82)的三维计测数据和刚体部(连接器81或者连接器82)的三维CAD数据进行匹配，从而对工件80的刚体部(连接器81或者连接器82)的三维位置和姿态进行识别(检测)。
机器人控制器50是对把持机器人10的动作进行控制的装置。该机器人控制器50基于图像分析部40的处理结果或者3D视觉控制器60的处理结果，对把持机器人10的动作进行控制。具体而言，例如机器人控制器50进行如下控制：通过基于由3D视觉控制器60识别(检测)到的工件80的刚体部(连接器81或者连接器82)的三维位置和姿态，对把持机器人10的多关节臂部12以及把持部11的动作进行控制，从而通过把持部11把持工件80的刚体部(连接器81或者连接器82)，从工件放置处WS(工件容纳箱90的内部)取出该工件80。
另外，如前述的那样，图像分析部40进行如下处理：在判定为存在多个工件80的线缆85(软体部)交叉地重叠的交叉部CP的情况下，基于通过拍摄取得的二维图像VD，对交叉的多个线缆85(软体部)中的位于最上方的最上位线缆85T(最上位软体部)进行判别。然而，有时无法基于通过拍摄取得的二维图像VD来判别最上位线缆85T(最上位软体部)。
具体而言，例如如图5所示的例子那样是如下的情况：以第2工件80B的第2线缆85B(第2软体部)位于第1工件80A的第1线缆85A(第1软体部)的上方的形态存在有第1线缆85A和第2线缆85B交叉的交叉部CP(设为第3交叉部CP3)，以第3工件80C的第3线缆85C(第3软体部)位于第2线缆85B的上方的形态存在有第2线缆85B和第3线缆85C交叉的交叉部CP(设为第2交叉部CP2)，以第1线缆85A位于第3线缆85C的上方的形态存在有第1线缆85A和第3线缆85C交叉的交叉部CP(设为第1交叉部CP1)。在这样的情况下，在三条线缆85(第1线缆85A、第2线缆85B以及第3线缆85C)中不存在位于比其他两条线缆85都靠上方的位置的线缆85(即不存在最上位线缆85T)，因此，无法对最上位线缆85T进行判别。
与此相对，图像分析部40在基于通过拍摄取得的二维图像VD无法判别最上位线缆85T(最上位软体部)的情况下，对用于“通过使存在于工件放置处WS的工件80中的一个或者多个工件80进行移动来做出最上位线缆85T(最上位软体部)”的次序进行研究。进一步，图像分析部40为了做出最上位线缆85T(最上位软体部)，对机器人控制器50发送按照通过该研究发现(导出)的次序来使工件80进行移动之意的信号。
接收到该信号的机器人控制器50对3D视觉控制器60发送使之对位于工件放置处WS(工件容纳箱90的内部)的工件80的刚体部(连接器81或者连接器82)的三维位置和姿态进行识别(检测)之意的信号。接收到该信号的3D视觉控制器60通过3D视觉传感器20生成位于工件放置处WS(工件容纳箱90的内部)的工件80的三维计测数据(三维图像数据)。
进一步，3D视觉控制器60取得通过3D视觉传感器20生成的位于工件放置处WS的工件80的三维计测数据(三维图像数据)，从该取得的三维计测数据(三维图像数据)选择使之进行移动的工件80的刚体部(连接器81或者连接器82)的三维计测数据。进一步，3D视觉控制器60通过使所选择的刚体部(连接器81或者连接器82)的三维计测数据与该刚体部(连接器81或者连接器82)的三维CAD数据进行匹配，对使之进行移动的工件80的刚体部(连接器81或者连接器82)的三维位置和姿态进行识别(检测)。
进一步，3D视觉控制器60向机器人控制器50发送使之移动的工件80的刚体部(连接器81或者连接器82)的三维位置和姿态的识别(检测)结果。然后，机器人控制器50通过基于由3D视觉控制器60识别(检测)到的工件80的刚体部(连接器81或者连接器82)的三维位置和姿态，对把持机器人10的多关节臂部12以及把持部11的动作进行控制，使之把持要通过把持部11使之移动的工件80的刚体部(连接器81或者连接器82)，按照从图像分析部40接收到的次序，使该工件80进行移动。
具体而言，在图5所示的例子的情况下，在图像分析部40中例如发现：通过使第2工件80B进行移动(使第2工件80B离开第1工件80A)，以使得从第2线缆85B以位于第1线缆85A的上方的形态交叉的状态变为第2线缆85B与第1线缆85A不交叉的状态，能够使第1线缆85A成为最上位线缆85T(最上位软体部)(例如成为图8所示的状态)。因此，图像分析部40将“使第2工件80B进行移动(使第2工件80B离开第1工件80A)以使得第2线缆85B成为与第1线缆85A不交叉的状态，使第1线缆85A成为最上位线缆85T的次序”作为做出最上位线缆85T(最上位软体部)的次序，并发送给机器人控制器50。接收到该信号的机器人控制器50对3D视觉控制器60发送使之对位于工件放置处WS(工件容纳箱90的内部)的工件80的刚体部(连接器81或者连接器82)的三维位置和姿态进行识别(检测)之意的信号。
接收到该信号的3D视觉控制器60通过3D视觉传感器20生成位于工件放置处WS(工件容纳箱90的内部)的工件80的三维计测数据(三维图像数据)。进一步，3D视觉控制器60取得通过3D视觉传感器20生成的位于工件放置处WS的工件80的三维计测数据，从该取得的三维计测数据选择使之移动的第2工件80B的刚体部(例如连接器82)的三维计测数据。进一步，3D视觉控制器60通过使所选择的刚体部(例如连接器82)的三维计测数据与该刚体部(例如连接器82)的三维CAD数据进行匹配，对使之移动的第2工件80B的刚体部(例如连接器82)的三维位置和姿态进行识别(检测)。
进一步，3D视觉控制器60向机器人控制器50发送使之移动的第2工件80B的刚体部(例如连接器82)的三维位置和姿态的识别(检测)结果。然后，机器人控制器50通过基于由3D视觉控制器60识别(检测)到的第2工件80B的刚体部(例如连接器82)的三维位置和姿态，对把持机器人10的多关节臂部12以及把持部11的动作进行控制，从而通过把持部11把持第2工件80B的刚体部(例如连接器82)，按照从图像分析部40接收到的次序，使第2工件80B进行移动(参照图6以及图7)。
此外，图6是工件放置处WS(工件容纳箱90的内部)的平面图(俯视图)，由双点划线表示使之移动前的第2工件80B，由实线表示使之移动后的第2工件80B。另外，图7是使第2工件80B移动后的工件放置处WS(工件容纳箱90的内部)的平面图(俯视图)。在图6中如箭头所示，通过按照从图像分析部40接收到的次序来使第2工件80B进行移动，能够使得从以第2线缆85B位于第1线缆85A的上方的形态交叉的状态(由双点划线表示的状态)变为第2线缆85B与第1线缆85A不交叉的状态(由实线表示的状态)。由此，如图7所示，能够使第1线缆85A成为最上位线缆85T(最上位软体部)，因此，能够对最上位线缆85T(最上位软体部)进行判别。
进一步，图像分析部40在按照研究出的次序来使第2工件80B移动之后，重新使得通过2D视觉传感器30对工件放置处WS(工件容纳箱90的内部)进行拍摄，新生成工件容纳箱90的内部的二维图像VD(参照图8)。然后，图像分析部40取得新生成的二维图像VD(参照图8)，基于该二维图像VD，重新对最上位线缆85T(最上位软体部)进行判别。在图8所示的例子中，第1线缆85A被判别为最上位线缆85T(最上位软体部)。
另外，图像分析部40在对做出最上位线缆85T(最上位软体部)的次序进行研究，结果未能发现做出最上位线缆85T的次序的情况下，使把持机器人10进行随机地改变存在于工件放置处WS(工件容纳箱90的内部)的多个工件80的位置关系的操作。具体而言，图像分析部40在未能发现做出最上位线缆85T的次序的情况下，向机器人控制器50发送使存在于工件放置处WS的工件80随机地移动之意的信号。接收到该信号的机器人控制器50通过对把持机器人10的多关节臂部12以及把持部11的动作进行控制，例如使存在于工件放置处WS(工件容纳箱90的内部)的工件80随机地进行移动。
具体而言，例如通过把持机器人10摇动工件容纳箱90，使存在于工件放置处WS(工件容纳箱90的内部)的工件80随机地进行移动。或者，设为通过把持机器人10对工件容纳箱90的内部进行搅拌，使存在于工件放置处WS(工件容纳箱90的内部)的工件80随机地进行移动。由此，使存在于工件放置处WS(工件容纳箱90的内部)的多个工件80的位置关系随机地进行变更。通过进行这样的操作，能够做出最上位线缆85T(最上位软体部)。或者，可能能够发现(导出)做出最上位线缆85T的次序。
进一步，图像分析部40在使得进行如上述那样的操作之后，使得通过2D视觉传感器30重新拍摄工件放置处WS。进一步，图像分析部40基于通过该拍摄重新取得的二维图像VD，重新判别最上位线缆85T(最上位软体部)。由此，即使是在进行如上述那样的操作之前未能判别最上位线缆85T的情况下，也可能能够在进行了如上述那样的操作之后判别最上位线缆85T。或者，可能能够在进行了如上述那样的操作之后发现(导出)做出最上位线缆85T的次序。在成为了能够发现(导出)做出最上位线缆85T的次序的情况下，如前述的那样，能够通过按照所发现的次序来使工件80进行移动而做出最上位线缆85T，从而判别最上位线缆85T。
接着，对本实施方式的工件识别方法进行说明。图3是表示实施方式涉及的工件识别方法的流程的流程图。首先，在步骤S1(拍摄步骤)中，通过2D视觉传感器30对作为工件放置处WS的工件容纳箱90的内部进行拍摄，生成工件容纳箱90的内部的二维图像VD(二维图像数据，参照图4以及图5)。接着，在步骤S2(工件有无判定步骤)中，图像分析部40取得通过2D视觉传感器30生成的二维图像VD(二维图像数据)，基于所取得的二维图像VD(参照图4以及图5)，判定作为工件放置处WS的工件容纳箱90的内部是否存在工件80。
在步骤S2中判定为在工件放置处WS(工件容纳箱90的内部)不存在工件80的情况下(否)，进入步骤S9，图像分析部40判定为工件容纳箱90的内部为空，结束一系列的工件识别处理。另一方面，在判定为在工件放置处WS(工件容纳箱90的内部)存在工件80的情况下，进入步骤S3(交叉部有无判定步骤)，图像分析部40基于所取得的二维图像VD，判定在工件放置处WS(工件容纳箱90的内部)是否存在多个工件80的线缆85(软体部)交叉地重叠的交叉部CP(参照图4以及图5)。
在步骤S3中判定为不存在交叉部CP的情况下(否)，进入后述的步骤S6。另一方面，在步骤S3中判定为存在交叉部CP的情况下(是)，进入步骤S4(最上位软体部判别步骤)，图像分析部40基于所取得的二维图像VD(参照图4以及图5)，判定是否能够判别交叉的多个线缆85(软体部)中的位于最上方(在图4以及图5中为最靠纸面跟前侧)的最上位线缆85T(最上位软体部)。
在此，以下对所取得的二维图像VD为图4所示的二维图像VD的情况进行说明。在图4所示的二维图像VD中，能够判别为第2工件80B的第2线缆85B(软体部)是最上位线缆85T(最上位软体部)。因此，在步骤S4中，图像分析部40判定为能够判别最上位线缆85T(最上位软体部)(是)。接着，在步骤S5(最上位软体部判别步骤)中，图像分析部40将第2线缆85B确定为最上位线缆85T(最上位软体部)。
接着，在步骤S6(工件能否识别判定步骤)中，图像分析部40基于所取得的图4所示的二维图像VD，关于具有判别(确定)出的最上位线缆85T(第2线缆85B)的第2工件80B，判定是否能够识别作为软体部的第2线缆85B以及作为刚体部的连接器81、82。
具体而言，例如在所取得的图4所示的二维图像VD中关于具有最上位线缆85T(第2线缆85B)的第2工件80B呈现有第2线缆85B(软体部)的整体以及连接器81、82(刚体部)的整体，在所取得的图4所示的二维图像VD中能够确认第2线缆85B(软体部)的整体以及连接器81、82(刚体部)的整体的情况下，判定为在具有最上位线缆85T的第2工件80B中能够识别作为软体部的第2线缆85B(最上位线缆85T)以及作为刚体部的连接器81、82(是)。
此外，在步骤S6中关于具有最上位线缆85T的工件80判定为无法识别线缆85和连接器81、82中的任一方的情况下(否)，进入步骤S10(第3拍摄步骤)，图像分析部40使得通过2D视觉传感器30以与对作为该判定的基础的二维图像VD进行了拍摄的角度(拍摄工件放置处WS的角度)不同的角度重新对工件放置处WS进行拍摄。然后，返回步骤S3，图像分析部40基于通过该拍摄重新取得的二维图像VD，判定在工件放置处WS中是否存在多个工件80的线缆85(软体部)交叉地重叠的交叉部CP。
在步骤S6中关于具有最上位线缆85T的工件80判定为能够识别线缆85以及连接器81、82的情况下(是)，在步骤S7(最上位工件决定步骤)中，图像分析部40将具有最上位线缆85T的工件80决定为最上位工件80T。具体而言，例如在图4所示的例子中，图像分析部40基于所取得的图4所示的二维图像VD，关于具有最上位线缆85T的第2工件80B，判定为能够识别作为软体部的第2线缆85B(最上位线缆85T)以及作为刚体部的连接器81、82(是)，然后，在步骤S7中，将具有最上位线缆85T(第2线缆85B)的第2工件80B决定为最上位工件80T。
另一方面，在步骤S4中判定为无法判别最上位线缆85T(最上位软体部)(否)的情况下，进入步骤S11(做出次序研究步骤)，对“通过使存在于工件放置处WS的工件80中的一个或者多个工件80进行移动来做出最上位线缆85T(最上位软体部)”的次序进行研究。
在此，以下对所取得的二维图像VD为图5所示的二维图像VD的情况进行说明。在图5所示的二维图像VD中，在3条线缆85(第1线缆85A、第2线缆85B以及第3线缆85C)中，不存在位于比其他两条线缆85都靠上方的位置的线缆85(即不存在最上位线缆85T)，因此，无法判别最上位线缆85T。因此，在步骤S4中，图像分析部40判定为无法判别最上位线缆85T(最上位软体部)(否)。
在步骤S4中判定为无法判别最上位线缆85T(否)的情况下，进入步骤S11，图像分析部40对“通过使存在于工件放置处WS的工件80中的一个或者多个工件80进行移动来做出最上位线缆85T(最上位软体部)”的次序进行研究。接着，在步骤S12中，图像分析部40判定是否能够做出最上位线缆85T(最上位软体部)。
在步骤S11中能够发现做出最上位线缆85T的次序的情况下，图像分析部40在步骤S12中判定为能够做出最上位线缆85T(是)。另一方面，在步骤S11中未能发现做出最上位线缆85T的次序的情况下，图像分析部40在步骤S12中判定为无法做出最上位线缆85T(否)。
具体而言，基于图5所示的二维图像VD，例如能够发现：通过使第2工件80B进行移动(使第2工件80B离开第1工件80A)，以使得从以第2线缆85B位于第1线缆85A的上方的形态交叉的状态变为第2线缆85B与第1线缆85A不交叉的状态，从而使第1线缆85A成为最上位线缆85T(最上位软体部)(参照图6)。在能够在步骤S11中在图像分析部40中发现这样的次序的情况下，在步骤S12中，图像分析部40判定为能够做出最上位线缆85T(是)。
在步骤S12中判定为能够做出最上位线缆85T的情况下(是)，进入步骤S13(移动步骤)，按照在图像分析部40中发现的次序来使工件80进行移动。具体而言，例如通过使第2工件80B进行移动(使第2工件80B离开第1工件80A)，以使得从图5所示的状态变为第2线缆85B与第1线缆85A不交叉的状态，从而使第1线缆85A成为最上位线缆85T(最上位软体部)(参照图6)。
更具体而言，首先，3D视觉传感器20生成位于工件放置处WS(工件容纳箱90的内部)的工件80的三维计测数据(三维图像数据)。然后，3D视觉控制器60取得通过3D视觉传感器20生成的位于工件放置处WS的工件80的三维计测数据，从该取得的三维计测数据选择使之移动的第2工件80B的刚体部(例如连接器82)的三维计测数据。进一步，3D视觉控制器60通过使所选择的刚体部(例如连接器82)的三维计测数据与该刚体部(例如连接器82)的三维CAD数据进行匹配，对使之移动的第2工件80B的刚体部(例如连接器82)的三维位置和姿态进行识别(检测)。
接着，机器人控制器50通过基于由3D视觉控制器60识别(检测)到的第2工件80B的刚体部(例如连接器82)的三维位置和姿态，对把持机器人10的多关节臂部12以及把持部11的动作进行控制，从而通过把持部11把持第2工件80B的刚体部(例如连接器82)，按照通过图像分析部40研究出的次序，使第2工件80B进行移动(参照图6以及图7)。
接着，进入步骤S14(第2拍摄步骤)，2D视觉传感器30重新对工件放置处WS(工件容纳箱90的内部)进行拍摄，新生成工件容纳箱90的内部的二维图像VD(参照图8)。然后，返回步骤S3，图像分析部40基于新生成的二维图像VD(参照图8)，判定在工件放置处WS中是否存在多个工件80的线缆85(软体部)交叉地重叠的交叉部CP。然后，也基于新生成的二维图像VD(参照图8)，进行前述的步骤S4～S7的处理。
在图8所示的例子中，能够判别为第1工件80A的第1线缆85A(软体部)是最上位线缆85T(最上位软体部)，因此，图像分析部40在步骤S4中判定为能够判别最上位线缆85T(是)，在步骤S5中，将第1线缆85A(软体部)确定为最上位线缆85T(最上位软体部)。然后，在步骤S6中，图像分析部40基于图8所示的二维图像VD，判定为在具有最上位线缆85T的第1工件80A中能够识别作为软体部的第1线缆85A(最上位线缆85T)以及作为刚体部的连接器81、82(是)时，进入步骤S7，将具有最上位线缆85T(第1线缆85A)的第1工件80A决定为最上位工件80T(参照图8)。
此外，在步骤S12中判定为无法做出最上位线缆85T的情况下(否)，进入步骤S15(位置关系变更步骤)，进行使存在于工件放置处WS(工件容纳箱90的内部)的多个工件80的位置关系随机地进行变更的操作。具体而言，例如机器人控制器50通过对把持机器人10的多关节臂部12以及把持部11的动作进行控制，使存在于工件放置处WS(工件容纳箱90的内部)的工件80随机地进行移动。
更具体而言，例如通过把持机器人10摇动工件容纳箱90，使存在于工件容纳箱90的内部(工件放置处WS)的工件80随机地进行移动。或者，设为通过把持机器人10对工件容纳箱90的内部进行搅拌，使存在于工件容纳箱90的内部(工件放置处WS)的工件80随机地进行移动。由此，使存在于工件放置处WS(工件容纳箱90的内部)的多个工件80的位置关系随机地进行变更。通过进行这样的操作，能够做出最上位线缆85T(最上位软体部)。或者，可能能够发现(导出)做出最上位线缆85T的次序。
在进行步骤S15的处理之后，进入步骤S14，2D视觉传感器30重新对工件放置处WS(工件容纳箱90的内部)进行拍摄，新生成工件容纳箱90的内部的二维图像VD。然后，返回步骤S3，图像分析部40基于新生成的二维图像VD，判定在工件放置处WS中是否存在多个工件80的线缆85(软体部)交叉地重叠的交叉部CP。然后，能够通过进行前述的步骤S4以后的处理，确定最上位线缆85T以及最上位工件80T。
如以上说明的那样，根据本实施方式的工件识别方法，在多个工件80以多个工件80的软体部(线缆85)交叉的形态存在(散装)于工件放置处WS(工件容纳箱90的内部)情况下，能够从这些工件80识别位于最上方的最上位工件80T。
当在步骤S7中决定最上位工件80T后，进入步骤S8，通过把持机器人10的把持部11把持最上位工件80T的刚体部(连接器81或者连接器82)，从工件放置处WS(工件容纳箱90的内部)取出所把持的最上位工件80T。
具体而言，首先，通过3D视觉传感器20生成位于工件放置处WS(工件容纳箱90的内部)的最上位工件80T的三维计测数据(三维图像数据)。然后，3D视觉控制器60取得通过3D视觉传感器20生成的最上位工件80T的三维计测数据。进一步，3D视觉控制器60通过从所取得的三维计测数据检测最上位工件80T的刚体部(连接器81或者连接器82)，使所检测到的刚体部(连接器81或者连接器82)的三维计测数据与刚体部(连接器81或者连接器82)的三维CAD数据进行匹配，从而对最上位工件80T的刚体部(连接器81或者连接器82)的三维位置和姿态进行识别(检测)。
接着，机器人控制器50基于通过3D视觉控制器60识别(检测)到的最上位工件80T的刚体部(连接器81或者连接器82)的三维位置和姿态，对把持机器人10的多关节臂部12以及把持部11的动作进行控制，通过把持部11把持最上位工件80T的刚体部(连接器81或者连接器82)。例如，机器人控制器50基于通过3D视觉控制器60识别(检测)到的最上位工件80T的连接器82(刚体部)的三维位置和姿态，对把持机器人10的多关节臂部12以及把持部11的动作进行控制，通过把持部11把持最上位工件80T的连接器82(刚体部)。
然后，通过机器人控制器50的控制，由把持机器人10从工件放置处WS(工件容纳箱90的内部)取出由把持部11把持的最上位工件80T。
(最上位工件识别试验)
接着，对最上位工件识别试验进行说明。在本试验中，使散装于工件放置处WS(工件容纳箱90的内部)的工件80的数量不同而为2条、3条或者4条，关于各个情况，进行了通过实施方式的工件识别方法(前述的实施方式的使用了把持装置1的工件识别方法)来识别最上位工件80T(在工件放置处WS中位于最上方的工件80)的试验。
具体而言，例如关于在工件放置处WS随机地配置(散装)了2条工件80的情况，通过前述的步骤S1～S15的一系列的处理(参照图3)，进行了多次(例如100次)的识别并把持最上位工件80T的试验。将步骤S1～S15的一系列的处理作为一个循环，在各次的试验中进行了步骤S1～S15的循环处理，直到识别并把持最上位工件80T(即直到在步骤S7中决定最上位工件80T、在步骤S8中把持最上位工件80T)。
并且，求出在各次的试验中直到识别并把持最上位工件80T为止所需要的循环数，算出了各循环数下的最上位工件识别率(％)。此外，各循环数下的最上位工件识别率D(％)相当于进行了步骤S1～S15的一系列的处理直到各循环数为止的情况下的、最上位工件80T的识别成功率(等于最上位工件80T的把持成功率)。另外，循环数等于在识别并把持最上位工件80T之前进行了步骤S3的处理的次数。关于使散装于工件放置处WS的工件80的数量为3条或者4条的情况，同样地进行试验，算出了各循环数下的最上位工件识别率(％)。将这些结果表示于表1。
另外，为了从在工件放置处WS中交叉的多个线缆85(软体部)判别(识别)最上位线缆85T(最上位软体部)，对于预先对图像分析部40示教了的图像的数量(设为示教图像数量，参照表1)，在散装于工件放置处WS的工件80的数量为2条的情况下为10张，在为3条的情况下为30张，在为4条的情况下为50张。更具体而言，在散装于工件放置处WS的工件80的数量为2条的情况下，预先对图像分析部40示教工件80的配置(散装)模式的10个图像数据(10张图像)和各个配置模式下的最上位线缆85T(最上位软体部)的组合数据。
在散装于工件放置处WS的工件80的数量为3条的情况下，预先对图像分析部40示教工件80的配置(散装)模式的30个图像数据(30张图像)和各个配置模式下的最上位线缆85T(最上位软体部)的组合数据。在散装于工件放置处WS的工件80的数量为4条的情况下，预先对图像分析部40示教工件80的配置(散装)模式的50个图像数据(50张图像)和各个配置模式下的最上位线缆85T(最上位软体部)的组合数据。
如表1所示，在散装于工件放置处WS的工件80的数量为2条的情况下，能够通过第1次的循环使最上位工件识别率为100％。即，在进行了多次(例如100次)的全部试验中，能够仅通过进行了一个循环的步骤S1～S15的一系列的处理，识别并把持最上位工件80T(最上位线缆85T)。换言之，能够仅通过进行一个循环的步骤S1～S15的一系列的处理，以100％的概率识别并把持最上位工件80T(最上位线缆85T)。因此，在散装于工件放置处WS的工件80的数量为2条的情况下，可以说能够以一个循环识别并把持最上位工件80T(最上位线缆85T)。
【表1】
另外，在使散装于工件放置处WS的工件80的数量为3条的情况下，能够通过第1次的循环使最上位工件识别率为97％(参照表1)。即，相对于全部试验次数的、“能够仅通过进行一个循环的步骤S1～S15的一系列的处理来识别并把持最上位工件80T(最上位线缆85T)的试验次数的比例”为97％。换言之，能够通过仅进行一个循环的步骤S1～S15的一系列的处理而以97％的概率识别并把持最上位工件80T(最上位线缆85T)。例如在进行了100次试验的情况下，能够在97次试验中仅通过进行了一个循环的步骤S1～S15的一系列的处理来识别并把持最上位工件80T(最上位线缆85T)。
进一步，在使散装于工件放置处WS的工件80的数量为3条的情况下，能够通过2个循环使最上位工件识别率为99％(参照表1)。即，能够通过进行1个循环或者2个循环的步骤S1～S15的一系列的处理，以99％的概率识别并把持最上位工件80T(最上位线缆85T)。例如，在进行了100次试验的情况下，能够在99次试验中仅通过进行1个循环或者2个循环的步骤S1～S15的一系列的处理，识别并把持最上位工件80T(最上位线缆85T)。
进一步，在使散装于工件放置处WS的工件80的数量为3条的情况下，能够通过3个循环使最上位工件识别率为100％(参照表1)。即，能够通过进行3个循环的步骤S1～S15的一系列的处理，以100％的概率识别并把持最上位工件80T(最上位线缆85T)。因此，在散装于工件放置处WS的工件80的数量为3条的情况下，可以说能够在3个循环以内识别并把持最上位工件80T(最上位线缆85T)。
另外，在使散装于工件放置处WS的工件80的数量为4条的情况下，能够通过第1次的循环使最上位工件识别率为85％(参照表1)。进一步，能够通过2个循环使最上位工件识别率为92％。进一步，能够通过3个循环使最上位工件识别率为99％。进一步，能够通过4个循环使最上位工件识别率为100％。因此，在散装于工件放置处WS的工件80的数量为4条的情况下，可以说能够在4个循环以内识别并把持最上位工件80T(最上位线缆85T)。
根据本试验的结果，可以说通过使用本实施方式的工件识别方法，在多个工件80以多个工件80的软体部(线缆85)交叉的形态存在(散装)于工件放置处WS(工件容纳箱90的内部)情况下，能够从这些工件80适当地识别位于最上方的最上位工件80T。
在以上，结合实施方式对本发明进行了说明，但本发明并不限定于上述实施方式，当然能够在不脱离其宗旨的范围内适宜地进行变更来应用。
例如，在实施方式中，作为成为识别对象的工件80，例示了由作为刚体部的连接器81、82和作为自由线形状的软体部的线缆85构成的线束。然而，成为本发明的识别对象的工件并不限定于线束，只要是具有呈自由线形状的软体部的工件，则可以是任何工件。
具体而言，也可以将仅由自由线形状的软体部构成的工件作为识别对象。在该情况下，作为在步骤S13中通过把持机器人10把持工件来使之移动的方法，例如可以举出如以下那样的方法。例如，通过使软体部中的具有一定形状的端部的三维CAD数据预先存储于3D视觉控制器60，关于使之移动的工件，使通过3D视觉传感器20生成的端部的三维计测数据与该端部的三维CAD数据进行匹配，对该端部的三维位置和姿态进行识别(检测)。然后，基于所识别(检测)到的该端部的三维位置和姿态，通过把持机器人10把持该端部，使具有该端部的工件进行移动。

Claims (6)

1.一种工件识别方法，包括：
对放置有多个工件的工件放置处进行拍摄，基于通过所述拍摄取得的图像，判定在所述工件放置处是否存在所述工件，所述工件具有呈自由线形状的软体部；
在判定为存在所述工件的情况下，基于所述图像，判定在所述工件放置处是否存在多个所述工件的所述软体部交叉地重叠的交叉部；
在判定为存在所述交叉部的情况下，基于所述图像，判别交叉的多个所述软体部中的位于最上方的最上位软体部；以及
将具有所判别出的所述最上位软体部的所述工件决定为位于最上方的最上位工件，
所述工件识别方法还包括：
在基于所述图像无法判别所述最上位软体部的情况下，对通过使一个或者多个所述工件进行移动来做出所述最上位软体部的次序进行研究；和
为了做出所述最上位软体部，按照通过所述研究发现的所述次序，使所述工件进行移动。
2.根据权利要求1所述的工件识别方法，还包括：
在按照所述次序来使所述工件进行移动之后，重新对所述工件放置处进行拍摄；
基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；以及
在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部。
3.根据权利要求1所述的工件识别方法，还包括：
在通过所述研究未能发现做出所述最上位软体部的次序的情况下，进行使存在于所述工件放置处的多个所述工件的位置关系随机地进行变更的操作；
之后，重新对所述工件放置处进行拍摄；
基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；以及
在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部。
4.根据权利要求2所述的工件识别方法，还包括：
在通过所述研究未能发现做出所述最上位软体部的次序的情况下，进行使存在于所述工件放置处的多个所述工件的位置关系随机地进行变更的操作；
之后，重新对所述工件放置处进行拍摄；
基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；以及
在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部。
5.根据权利要求1～4中任一项所述的工件识别方法，
所述工件是由所述软体部和刚体部构成的工件，
所述工件识别方法还包括：
在判别了所述最上位软体部之后且决定所述最上位工件之前，基于所述图像，针对具有所判别出的所述最上位软体部的所述工件，判定是否能够识别所述软体部以及所述刚体部；和
在判定为能够识别所述软体部以及所述刚体部的情况下，将具有所述最上位软体部的所述工件决定为所述最上位工件。
6.根据权利要求5所述的工件识别方法，还包括：
在判定为无法识别所述软体部以及所述刚体部的情况下，改变对所述工件放置处进行拍摄的角度，重新对所述工件放置处进行拍摄；
基于通过所述拍摄重新取得的图像，重新判定在所述工件放置处是否存在所述交叉部；
在判定为存在所述交叉部的情况下，基于所述重新取得的图像，重新判别所述最上位软体部；以及
针对具有所述重新判别出的所述最上位软体部的所述工件，基于所述重新取得的图像，重新判定是否能够识别所述软体部以及所述刚体部。
CN202010418703.1A 2019-05-21 2020-05-18 工件识别方法 Active CN111985293B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019095271A JP7120153B2 (ja) 2019-05-21 2019-05-21 ワーク識別方法
JP2019-095271 2019-05-21

Publications (2)

Publication Number Publication Date
CN111985293A CN111985293A (zh) 2020-11-24
CN111985293B true CN111985293B (zh) 2023-12-29

Family

ID=73442278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010418703.1A Active CN111985293B (zh) 2019-05-21 2020-05-18 工件识别方法

Country Status (3)

Country Link
US (1) US11213954B2 (zh)
JP (1) JP7120153B2 (zh)
CN (1) CN111985293B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777682B2 (ja) * 2018-04-27 2020-10-28 ファナック株式会社 複数の把持部を備えるロボットハンド、及びロボットハンドを用いてワイヤハーネスをハンドリングする方法
CN113710594A (zh) * 2018-12-20 2021-11-26 右手机器人股份有限公司 空容器检测
JP7183941B2 (ja) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 ワーク識別方法
US11911919B2 (en) 2021-03-05 2024-02-27 Mujin, Inc. Method and computing system for performing grip region detection
CN113459101B (zh) * 2021-03-05 2022-08-09 牧今科技 用于执行抓持区域检测的方法和计算系统
EP4070922A3 (en) * 2021-04-06 2023-01-11 Canon Kabushiki Kaisha Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
JP2022186331A (ja) * 2021-06-04 2022-12-15 株式会社東芝 ハンドリングシステム、搬送システム、制御装置、プログラム、およびハンドリング方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000094374A (ja) * 1998-09-25 2000-04-04 Matsushita Electric Works Ltd ピッキング装置
JP2000263480A (ja) * 1999-03-12 2000-09-26 Meidensha Corp ビンピッキング装置
JP2006001009A (ja) * 2005-09-08 2006-01-05 Fanuc Ltd ワーク取出し装置
JP2010120141A (ja) * 2008-11-21 2010-06-03 Ihi Corp バラ積みピッキング装置とその制御方法
JP2010184308A (ja) * 2009-02-10 2010-08-26 Fanuc Ltd ワーク取り出し装置
CN102343590A (zh) * 2010-07-27 2012-02-08 发那科株式会社 工件取出装置及工件取出方法
JP2014050936A (ja) * 2012-09-10 2014-03-20 Applied Vision Systems Corp ハンドリングシステム、ハンドリング方法及びプログラム
JP2015030044A (ja) * 2013-07-31 2015-02-16 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
CN108527362A (zh) * 2017-03-03 2018-09-14 株式会社基恩士 机器人设置设备、机器人设置方法和计算机可读记录介质
CN108932363A (zh) * 2017-05-26 2018-12-04 发那科株式会社 形状识别装置、形状识别方法以及计算机可读介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
WO2010024796A1 (en) * 2008-08-29 2010-03-04 Abb Research Ltd. Bin-picking robot with means for stirring the parts in the bin
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ｉｈｉ バラ積みピッキング装置におけるワークピッキング方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5480340B2 (ja) * 2012-07-26 2014-04-23 ファナック株式会社 ローラ装置を用いた取出しロボットシステム
ES2952517T3 (es) * 2015-09-11 2023-10-31 Berkshire Grey Operating Company Inc Sistemas robóticos y métodos para identificar y procesar diversos objetos
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
JP7047249B2 (ja) * 2017-01-10 2022-04-05 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム
JP6450788B2 (ja) * 2017-02-21 2019-01-09 ファナック株式会社 ワーク取出システム
JP6846949B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6487495B2 (ja) * 2017-05-19 2019-03-20 ファナック株式会社 ワーク取出しシステム
JP6860432B2 (ja) 2017-06-09 2021-04-14 川崎重工業株式会社 ワークの認識装置及びワークを認識する方法
JP7183941B2 (ja) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 ワーク識別方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000094374A (ja) * 1998-09-25 2000-04-04 Matsushita Electric Works Ltd ピッキング装置
JP2000263480A (ja) * 1999-03-12 2000-09-26 Meidensha Corp ビンピッキング装置
JP2006001009A (ja) * 2005-09-08 2006-01-05 Fanuc Ltd ワーク取出し装置
JP2010120141A (ja) * 2008-11-21 2010-06-03 Ihi Corp バラ積みピッキング装置とその制御方法
JP2010184308A (ja) * 2009-02-10 2010-08-26 Fanuc Ltd ワーク取り出し装置
CN102343590A (zh) * 2010-07-27 2012-02-08 发那科株式会社 工件取出装置及工件取出方法
JP2014050936A (ja) * 2012-09-10 2014-03-20 Applied Vision Systems Corp ハンドリングシステム、ハンドリング方法及びプログラム
JP2015030044A (ja) * 2013-07-31 2015-02-16 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
CN108527362A (zh) * 2017-03-03 2018-09-14 株式会社基恩士 机器人设置设备、机器人设置方法和计算机可读记录介质
CN108932363A (zh) * 2017-05-26 2018-12-04 发那科株式会社 形状识别装置、形状识别方法以及计算机可读介质

Also Published As

Publication number Publication date
US11213954B2 (en) 2022-01-04
CN111985293A (zh) 2020-11-24
JP7120153B2 (ja) 2022-08-17
JP2020189356A (ja) 2020-11-26
US20200368923A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111985293B (zh) 工件识别方法
EP1816604B1 (en) Workpiece picking device
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
US7996114B2 (en) Workpiece picking device and method
JP4938115B2 (ja) ワーク取出し装置およびワーク取出し方法
JP5265296B2 (ja) ワーク取り出し方法
US9604364B2 (en) Picking apparatus and picking method
KR20220139254A (ko) 워크 식별 방법
US7283661B2 (en) Image processing apparatus
JP7191569B2 (ja) 把持装置
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP7481427B2 (ja) 取り出しシステム及び方法
JP2003148914A (ja) 位置検出装置及び位置検出を利用した取出し装置
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
JP6666764B2 (ja) ワーク認識方法及びランダムピッキング方法
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
JPH0430991A (ja) 視覚装置付ロボット
US20220314436A1 (en) Machine learning device, machine learning method, and controller for robot
CN117383109A (zh) 物体夹持顺序确定方法、装置、设备及存储介质
CN116205837A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN115609579A (zh) 拾取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant