CN111914608A - 工件识别方法 - Google Patents

工件识别方法 Download PDF

Info

Publication number
CN111914608A
CN111914608A CN202010373782.9A CN202010373782A CN111914608A CN 111914608 A CN111914608 A CN 111914608A CN 202010373782 A CN202010373782 A CN 202010373782A CN 111914608 A CN111914608 A CN 111914608A
Authority
CN
China
Prior art keywords
workpiece
uppermost
body portion
soft body
workpieces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010373782.9A
Other languages
English (en)
Other versions
CN111914608B (zh
Inventor
津久井亮
小池将树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111914608A publication Critical patent/CN111914608A/zh
Application granted granted Critical
Publication of CN111914608B publication Critical patent/CN111914608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2433—Detection of presence or absence
    • B23Q17/2447—Detection of presence or absence of a workpiece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2452—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces
    • B23Q17/2471—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces of workpieces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/248—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
    • B23Q17/249—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R43/00—Apparatus or processes specially adapted for manufacturing, assembling, maintaining, or repairing of line connectors or current collectors or for joining electric conductors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

工件识别方法包括：拍摄工件存放处(WS)；基于通过所述拍摄所取得的图像，判定在所述工件存放处(WS)是否存在所述工件(80)；基于所述图像，判定在所述工件存放处(WS)是否存在多个所述工件(80)的软体部(85)交叉而重叠的交叉部(CP)；基于所述图像，判别交叉的多个所述软体部(85)中的位于最上方的最上位软体部(85T)；以及将具有判别出的所述最上位软体部(85T)的所述工件决定为位于最上方的最上位工件(80T)。

Description

工件识别方法
技术领域
本发明涉及工件识别方法。
背景技术
日本特开2010-69542中公开了如下的工件拾取(work-piece picking)方法。具体而言是，用距离传感器对随机(散乱)堆放的工件进行三维计测(测量)，将得到的计测结果与工件的三维CAD(计算机辅助设计)模型进行比对，由此识别个别工件的三维位置和姿势。之后，通过机器人手(robot hand)，拾取识别出三维位置和姿势的工件。
发明内容
可是，存在将由刚体部和柔性线状(日语：自由線形状)的软体部构成的工件作为拾取对象的情况。作为这种工件，例如有由作为刚体部的连接器(connector)和作为柔性线状的软体部的电缆(cable)所构成的线束(wire harness)。在这种工件被随机堆放的情况下，根据日本特开2010-69542的拾取方法，有时无法适当地拾取个别的工件。
具体而言，首先，在由刚体部和柔性线状的软体部构成的工件中，虽然存在刚体部的三维CAD数据，但不存在柔性线状(换言之是不定形)的软体部的三维CAD数据。因而，在如日本特开2010-69542那样使工件的三维计测数据与三维CAD数据匹配的情况下，对于存在三维CAD数据的刚体部，将会使三维计测数据与三维CAD数据匹配，识别刚体部的三维位置和姿势。因此，对于不存在三维CAD数据的软体部，无法识别其三维位置和姿势。因而，在通过刚体部的三维计测数据与三维CAD数据的匹配而识别出刚体部的三维位置和姿势后，以夹持该刚体部的方式拾取具有该刚体部的工件。
然而，在以多个工件的软体部交叉的形态存在有(随机堆放有)多个工件的情况下，存在如下情况：在具有识别出三维位置和姿势的刚体部的工件的软体部之上，其他工件的软体部以交叉的形态重叠。在这种情况下，当通过机器人手以夹持识别出三维位置和姿势的刚体部的方式拾起具有该刚体部的工件时，会将在该工件的软体部之上以交叉的形态重叠有软体部的工件也一起拾起。因而，由于由机器人手同时拾起多个工件，因此会超过由机器人手夹持的工件的假设重量(容许重量)。其结果，无法维持由机器人手对工件的夹持状态，可能会使所夹持的工件及与其一起拾起的工件掉落。因而，期望一种在多个工件以多个工件的软体部交叉的形态存在于(随机堆放于)工件存放处的情况下从这些工件中识别位于最上方的最上位工件的方法。
本发明提供一种在多个工件以多个工件的软体部交叉的形态存在于(随机堆放于)工件存放处的情况下能够从这些工件中识别位于最上方的最上位工件的工件识别方法。
本发明的一个技术方案涉及工件识别方法。所述方法包括：拍摄工件存放处，所述工件存放处能存放多个由刚体部和柔性线状的软体部构成的工件；基于通过所述拍摄所取得的图像，判定在所述工件存放处是否存在所述工件；在判定为存在所述工件的情况下，基于所述图像，判定在所述工件存放处是否存在多个所述工件的所述软体部交叉而重叠的交叉部；在判定为存在所述交叉部的情况下，基于所述图像，判别交叉的多个所述软体部中的位于最上方的最上位软体部；以及将具有判别出的所述最上位软体部的所述工件决定为位于最上方的最上位工件。
在上述技术方案的工件识别方法中，以由刚体部和柔性线状(形成线状的自由形状)的软体部构成的工件作为识别对象。根据该工件识别方法，在多个工件以多个工件的软体部交叉的形态存在于(随机堆放于)工件存放处的情况下，能够从这些工件中识别位于最上方的最上位工件。
上述技术方案的工件识别方法例如包括：拍摄步骤，拍摄能存放多个由刚体部和柔性线状(换言之是不定形的线状)的软体部构成的工件的工件存放处；工件有无判定步骤，基于通过所述拍摄步骤的拍摄所取得的图像，判定在所述工件存放处是否存在所述工件；交叉部有无判定步骤，当在所述工件有无判定步骤中判定为存在所述工件的情况下，基于所述图像，判定在所述工件存放处是否存在多个所述工件的所述软体部交叉而重叠的交叉部；最上位软体部判别步骤，当在所述交叉部有无判定步骤中判定为存在所述交叉部的情况下，基于所述图像，判别交叉的多个所述软体部中的位于最上方的最上位软体部；以及最上位工件决定步骤，将具有在所述最上位软体部判别步骤中判别出的所述最上位软体部的所述工件决定为位于最上方的最上位工件。
在上述技术方案的工件识别方法中，也可以为，在判别出所述最上位软体部之后且在决定所述最上位工件之前，基于所述图像，针对具有判别出的所述最上位软体部的所述工件，判定是否能够识别所述软体部和所述刚体部，在判定为能够识别所述软体部和所述刚体部的情况下，将具有所述最上位软体部的所述工件决定为所述最上位工件。
在上述技术方案的工件识别方法中，针对具有判别出的最上位软体部的工件，判定是否能够识别软体部和刚体部。在此，对于具有最上位软体部的工件能够识别软体部和刚体部的情况例如指的是，软体部整体以及刚体部整体出现在取得的图像中且能够在取得的图像中确认软体部整体以及刚体部整体的情况。如此，通过在具有判别出的最上位软体部的工件中识别软体部和刚体部，能够确认该工件是由刚体部和软体部构成的(刚体部与软体部成为一体的)工件这一情况。通过这样，能够更适当地识别最上位工件。
上述技术方案的工件识别方法例如在所述最上位软体部判别步骤之后且在所述最上位工件决定步骤之前包括能否识别工件判定步骤，在该能否识别工件判定步骤中，基于所述图像，针对具有在所述最上位软体部判别步骤中判别出的所述最上位软体部的所述工件，判定是否能够识别所述软体部和所述刚体部，当在所述能否识别工件判定步骤中判定为能够识别所述软体部和所述刚体部的情况下，在所述最上位工件决定步骤中，将具有所述最上位软体部的所述工件决定为所述最上位工件。
附图说明
以下，参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明，在附图中相同的附图标记表示相同的要素，并且其中：
图1是实施方式涉及的夹持装置的构成图。
图2是工件的俯视图。
图3是表示实施方式涉及的工件识别方法的流程的流程图。
图4是通过拍摄所取得的图像的一例。
图5是上述图像的局部放大图。
图6是说明实施方式涉及的工件识别方法的图。
具体实施方式
接下来，参照附图，对本发明的实施方式进行说明。图1是实施方式涉及的夹持装置1的构成图。如图1所示，夹持装置1具备夹持机器人10、3D视觉传感器(vision sensor)20、2D视觉传感器30、图像分析部40、机器人控制器50、3D视觉控制器60以及框架(frame)70。
该夹持装置1是将存放(随机堆放)在作为工件存放处WS的工件收纳箱90的内部的一个或者多个工件80逐个依次进行夹持而从工件收纳箱90内取出的装置。此外，如图2所示，本实施方式的工件80是由作为刚体部的连接器81、82和作为柔性线状(换言之是不定形的线状)的软体部的电缆85所构成的线束。
如图1所示，夹持机器人10具备夹持工件80的夹持部11以及连接于该夹持部11的多关节臂部12。该夹持机器人10通过夹持部11夹持位于工件存放处WS(工件收纳箱90的内部)的工件80的刚体部(连接器81或者连接器82)，将所夹持的工件80从工件存放处WS(工件收纳箱90的内部)取出。此外，在本实施方式中，由安川电机公司制造的多关节机器人(YASKAWAGP-7)构成多关节臂部12。
3D视觉传感器20为公知的3D(三维)视觉传感器，安装于框架70的顶部。该3D视觉传感器20生成位于作为工件存放处WS的工件收纳箱90的内部的工件80的三维计测数据(三维图像数据)。此外，在本实施方式中，由佳能(Canon)公司制造的机器视觉器(MachineVision)(RV500)构成3D视觉传感器20。
2D视觉传感器30为公知的2D(二维)视觉传感器，安装于夹持机器人10的最前端部。该2D视觉传感器30拍摄作为工件存放处WS的工件收纳箱90的内部，生成工件收纳箱90的内部的二维图像VD(二维图像数据，参照图4)。
图像分析部40为构成AI(人工智能)等的计算机，取得并分析由2D视觉传感器30所生成的工件80的二维图像VD(二维图像数据)。具体而言，图像分析部40例如取得由2D视觉传感器30所生成的二维图像VD(二维图像数据)，基于取得的二维图像VD(参照图4)，判定在作为工件存放处WS的工件收纳箱90的内部是否存在工件80。
再者，图像分析部40在判定为存在工件80的情况下，基于取得的二维图像VD，判定在工件存放处WS(工件收纳箱90的内部)是否存在多个工件80的电缆85(软体部)交叉而重叠的交叉部CP(参照图4以及图5)。再者，图像分析部40在判定为存在交叉部CP的情况下，基于取得的二维图像VD，判别交叉的多个电缆85(软体部)中的位于最上方(在图4以及图5中为最靠近读者侧)的最上位电缆85T(最上位软体部)(参照图5)。
此外，在图像分析部40中，预先存储(教示)并学习多个工件80在工件存放处WS(工件收纳箱90的内部)配置于各种位置的多个配置模式(pattern)的图像数据与各个配置模式下的最上位电缆85T(最上位软体部)的数据的组合数据。这样的图像分析部40能够进行基于取得的二维图像VD(参照图4以及图5)从交叉的多个电缆85(软体部)中判别(识别)最上位电缆85T(最上位软体部)的处理。
再者，图像分析部40基于取得的二维图像VD，针对具有判别出的最上位电缆85T的工件80(在图6所示的例子中为，图6所示的两个工件80中的、作为刚体部的连接器82在图6中位于上方的工件80)，判定是否能够识别作为软体部的电缆85以及作为刚体部的连接器81、82。具体而言，例如，图像分析部40在电缆85(软体部)整体以及连接器81、82(刚体部)整体出现在取得的二维图像VD中且能够在取得的二维图像VD中确认电缆85(软体部)整体以及连接器81、82(刚体部)整体的情况下，对于具有判别出的最上位电缆85T的工件80，判定为能够识别作为软体部的电缆85(最上位电缆85T)以及作为刚体部的连接器81、82(参照图6)。
如此，通过在具有判别出的最上位电缆85T(最上位软体部)的工件80中识别电缆85(软体部)以及连接器81、82(刚体部)，能够确认该工件80是由作为刚体部的连接器81、82和作为软体部的电缆85所构成的线束(换言之是作为刚体部的连接器81、82与作为软体部的电缆85成为一体的线束)这一情况。
再者，图像分析部40在判定为能够识别作为软体部的电缆85(最上位电缆85T)以及作为刚体部的连接器81、82的情况下，将具有最上位电缆85T的工件80决定为最上位工件80T。此外，在本实施方式中，作为图像分析部40的软件，使用康耐视(COGNEX)公司开发的VisionProViDi(视觉软件)。
3D视觉控制器60是取得并处理由3D视觉传感器20所生成的三维计测数据(三维图像数据)的装置。在该3D视觉控制器60中，预先存储有工件80的连接器81、82(刚体部)的三维CAD数据。该3D视觉控制器60例如取得由3D视觉传感器20所生成的位于工件存放处WS(工件收纳箱90的内部)的工件80的三维计测数据(三维图像数据)，通过对从该取得的三维计测数据(三维图像数据)选择出的刚体部(连接器81或者连接器82)的三维计测数据、与刚体部(连接器81或者连接器82)的三维CAD数据进行匹配，由此识别(检测)工件80的刚体部(连接器81或者连接器82)的三维位置和姿势。
机器人控制器50是控制夹持机器人10的活动的装置。该机器人控制器50基于由图像分析部40得到的处理结果或者由3D视觉控制器60得到的处理结果，控制夹持机器人10的活动。具体而言，例如，机器人控制器50通过基于由3D视觉控制器60识别(检测)出的工件80的刚体部(连接器81或者连接器82)的三维位置和姿势来控制夹持机器人10的多关节臂部12以及夹持部11的动作，进行由夹持部11夹持工件80的刚体部(连接器81或者连接器82)而将该工件80从工件存放处WS(工件收纳箱90的内部)取出的控制。
接着，对本实施方式的工件识别方法进行说明。图3是表示实施方式涉及的工件识别方法的流程的流程图。首先，在步骤S1(拍摄步骤)中，由2D视觉传感器30拍摄作为工件存放处WS的工件收纳箱90的内部，生成工件收纳箱90的内部的二维图像VD(二维图像数据，参照图4)。接下来，在步骤S2(工件有无判定步骤)中，图像分析部40取得由2D视觉传感器30所生成的二维图像VD(二维图像数据)，基于取得的二维图像VD(参照图4)，判定在作为工件存放处WS的工件收纳箱90的内部是否存在工件80。
在步骤S2中，当判定为在工件存放处WS(工件收纳箱90的内部)不存在工件80(S2：否)的情况下，前进至步骤S9，图像分析部40判定为工件收纳箱90的内部为空，结束一系列的工件识别处理。另一方面，当判定为在工件存放处WS(工件收纳箱90的内部)存在工件80的情况下，前进至步骤S3(交叉部有无判定步骤)，图像分析部40基于取得的二维图像VD，判定在工件存放处WS(工件收纳箱90的内部)是否存在多个工件80的电缆85(软体部)交叉而重叠的交叉部CP(参照图4以及图5)。
在步骤S3中，当判定为不存在交叉部CP(S3：否)的情况下，前进至后述的步骤S6。另一方面，在步骤S3中，当判定为存在交叉部CP(S3：是)的情况下，前进至步骤S4(最上位软体部判别步骤)，图像分析部40基于取得的二维图像VD(参照图4以及图5)，判定是否能够判别交叉的多个电缆85(软体部)中的位于最上方(在图4以及图5中为最靠近读者侧)的最上位电缆85T(最上位软体部)。
在步骤S4中，图像分析部40在判定为无法判别最上位电缆85T(最上位软体部)(S4：否)的情况下，前进至步骤S10，判定为识别故障。之后，结束一系列的工件识别处理。另一方面，在步骤S4中，在判定为能够判别最上位电缆85T(最上位软体部)(S4：是)的情况下，在步骤S5(最上位软体部判别步骤)中，将判别为交叉的多个电缆85(软体部)中的位于最上方的电缆85确定为最上位电缆85T(最上位软体部)(参照图4以及图5)。
接着，在步骤S6(能否识别工件判定步骤)中，图像分析部40基于取得的二维图像VD，针对具有判别(确定)出的最上位电缆85T的工件80，判定是否能够识别作为软体部的电缆85以及作为刚体部的连接器81、82。此外，在图4～图6所示的例子中，图4～图6所示的两个工件80中的、作为刚体部的连接器82在图中位于上方的工件80成为具有最上位电缆85T的工件80。
具体而言，例如如图6所示，图像分析部40在针对具有最上位电缆85T的工件80(在图6中用双点划线包围的工件80)而言电缆85(软体部)整体以及连接器81、82(刚体部)整体出现在取得的二维图像VD中、且能够在取得的二维图像VD中确认电缆85(软体部)整体以及连接器81、82(刚体部)整体的情况下，判定为能够在具有最上位电缆85T的工件80中识别作为软体部的电缆85(最上位电缆85T)以及作为刚体部的连接器81、82。
在步骤S6中，对于具有最上位电缆85T的工件80，在判定为无法识别电缆85和连接器81、82中的某一方(S6：否)的情况下，前进至步骤S10，判定为识别故障。之后，结束一系列的工件识别处理。另一方面，在步骤S6中，对于具有最上位电缆85T的工件80，在判定为能够识别电缆85以及连接器81、82(S6：是)的情况下，在步骤S7(最上位工件决定步骤)中，图像分析部40将具有最上位电缆85T的工件80决定为最上位工件80T。
如上所述，根据本实施方式的工件识别方法，在多个工件80以多个工件80的软体部(电缆85)交叉的形态存在于(随机堆放于)工件存放处WS(工件收纳箱90的内部)的情况下，能够从这些工件80中识别位于最上方的最上位工件80T。
接着，前进至步骤S8，通过夹持机器人10的夹持部11，夹持最上位工件80T的刚体部(连接器81或者连接器82)，将所夹持的最上位工件80T从工件存放处WS(工件收纳箱90的内部)取出。
具体而言，首先，通过3D视觉传感器20生成位于工件存放处WS(工件收纳箱90的内部)的最上位工件80T的三维计测数据(三维图像数据)。之后，3D视觉控制器60取得由3D视觉传感器20所生成的最上位工件80T的三维计测数据。进而，3D视觉控制器60根据取得的三维计测数据，检测最上位工件80T的刚体部(连接器81或者连接器82)，通过对检测出的刚体部(连接器81或者连接器82)的三维计测数据与刚体部(连接器81或者连接器82)的三维CAD数据进行匹配，由此识别(检测)最上位工件80T的刚体部(连接器81或者连接器82)的三维位置和姿势。
接着，机器人控制器50基于由3D视觉控制器60识别(检测)出的最上位工件80T的刚体部(连接器81或者连接器82)的三维位置和姿势，控制夹持机器人10的多关节臂部12以及夹持部11的动作，由夹持部11夹持最上位工件80T的刚体部(连接器81或者连接器82)。例如，机器人控制器50基于由3D视觉控制器60识别(检测)出的最上位工件80T的连接器82(刚体部)的三维位置和姿势，控制夹持机器人10的多关节臂部12以及夹持部11的动作，由夹持部11夹持最上位工件80T的连接器82(刚体部)。
之后，由夹持部11夹持住的最上位工件80T通过机器人控制器50的控制，由夹持机器人10从工件存放处WS(工件收纳箱90的内部)取出。
最上位工件识别试验
接着，对最上位工件识别试验进行说明。在本试验中，将随机堆放于工件存放处WS(工件收纳箱90的内部)的工件80的数量分别设为2件、3件和4件，对于各个情况，调查能否通过实施方式的夹持装置1识别最上位工件80T(在工件存放处WS位于最上方的工件80)。
具体而言，例如对于在工件存放处WS随机地配置(随机堆放)2件工件80的情况，通过实施方式的夹持装置1，进行多次(例如，100次)能否识别并夹持最上位工件80T的试验，调查最上位工件80T的识别的成功率(称为最上位工件识别率)。此外，最上位工件80T的识别是否成功的判定通过是否由夹持装置1夹持了最上位工件80T来进行。对于将随机堆放于工件存放处WS的工件80的数量设为3件或者4件的情况，也同样地进行试验。将它们的结果作为最上位工件识别率(％)表示在表1中。
另外，关于为了从在工件存放处WS交叉的多个电缆85(软体部)中判别(识别)最上位电缆85T(最上位软体部)而预先教示给图像分析部40的图像的数量(设为教示图像数量，参照表1)，在随机堆放于工件存放处WS的工件80的数量为2件的情况下为10枚，在该工件80的数量为3件的情况下为30枚，在该工件80的数量为4件的情况下为50枚。更具体而言，在随机堆放于工件存放处WS的工件80的数量为2件的情况下，将工件80的10种配置(随机堆放)模式的图像数据(10枚图像)与各个配置模式下的最上位电缆85T(最上位软体部)的数据的组合数据预先教示给图像分析部40。
在随机堆放于工件存放处WS的工件80的数量为3件的情况下，将工件80的30种配置(随机堆放)模式的图像数据(30枚图像)与各个配置模式下的最上位电缆85T(最上位软体部)的数据的组合数据预先教示给图像分析部40。在随机堆放于工件存放处WS的工件80的数量为4件的情况下，将工件80的50种配置(随机堆放)模式的图像数据(50枚图像)与各个配置模式下的最上位电缆85T(最上位软体部)的数据的组合数据预先教示给图像分析部40。
如表1所示，在随机堆放于工件存放处WS的工件80的数量为2件的情况下，最上位工件识别率为100％。即，在进行了多次(例如，100次)的全部试验中，都没有误识别最上位工件80T(最上位电缆85T)，而能够识别并夹持最上位工件80T。另外，在将随机堆放于工件存放处WS的工件80的数量设为3件的情况下，最上位工件识别率为97％。另外，在将随机堆放于工件存放处WS的工件80的数量设为4件的情况下，最上位工件识别率为85％，也成功获得了高识别率。
【表1】
工件数量 教示图像数量 最上位工件识别率
2 10 100％
3 30 97％
4 50 85％
以上，结合实施方式对本发明进行了说明，但本发明并非限定于上述实施方式，当然能够在不脱离其主旨的范围内适当变更来应用。
例如，在实施方式中，作为成为识别对象的工件80，例示了由作为刚体部的连接器81、82和作为柔性线状的软体部的电缆85所构成的线束。然而，本发明的成为识别对象的工件并非限定于线束，只要是由刚体部和柔性线状的软体部构成的工件，可以是任何工件。

Claims (2)

1.一种工件识别方法，其特征在于，包括：
拍摄工件存放处，所述工件存放处能存放多个由刚体部和柔性线状的软体部构成的工件；
基于通过所述拍摄所取得的图像，判定在所述工件存放处是否存在所述工件；
在判定为所述工件存在于所述工件存放处的情况下，基于所述图像，判定在所述工件存放处是否存在多个所述工件的所述软体部交叉而重叠的交叉部；
在判定为存在所述交叉部的情况下，基于所述图像，判别交叉的多个所述软体部中的位于最上方的最上位软体部；以及
将具有判别出的所述最上位软体部的所述工件决定为存在于所述工件存放处的所述工件中的位于最上方的最上位工件。
2.根据权利要求1所述的工件识别方法，
在判别出所述最上位软体部之后且在决定所述最上位工件之前，基于所述图像，针对具有判别出的所述最上位软体部的所述工件，判定是否能够识别所述软体部和所述刚体部；
在判定为能够识别所述软体部和所述刚体部的情况下，将具有所述最上位软体部的所述工件决定为所述最上位工件。
CN202010373782.9A 2019-05-09 2020-05-06 工件识别方法 Active CN111914608B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-088965 2019-05-09
JP2019088965A JP7183941B2 (ja) 2019-05-09 2019-05-09 ワーク識別方法

Publications (2)

Publication Number Publication Date
CN111914608A true CN111914608A (zh) 2020-11-10
CN111914608B CN111914608B (zh) 2024-05-28

Family

ID=73044422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010373782.9A Active CN111914608B (zh) 2019-05-09 2020-05-06 工件识别方法

Country Status (4)

Country Link
US (1) US20200353583A1 (zh)
JP (1) JP7183941B2 (zh)
KR (2) KR102475773B1 (zh)
CN (1) CN111914608B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777682B2 (ja) * 2018-04-27 2020-10-28 ファナック株式会社 複数の把持部を備えるロボットハンド、及びロボットハンドを用いてワイヤハーネスをハンドリングする方法
JP7120153B2 (ja) * 2019-05-21 2022-08-17 トヨタ自動車株式会社 ワーク識別方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001277078A (ja) * 2000-03-30 2001-10-09 Brother Ind Ltd 被加工物のマーク検出装置，マーク検出方法，及び記憶媒体
US20040162639A1 (en) * 2003-02-19 2004-08-19 Fanuc Ltd. Workpiece conveying apparatus
JP2004279304A (ja) * 2003-03-18 2004-10-07 Fuji Mach Mfg Co Ltd 画像処理方法および画像処理プログラム
CN101081512A (zh) * 2006-05-29 2007-12-05 发那科株式会社 工件取出装置以及方法
EP2363252A1 (en) * 2010-03-04 2011-09-07 Kabushiki Kaisha Yaskawa Denki Robot and method of manufacturing mechanical product
JP2012218123A (ja) * 2011-04-12 2012-11-12 Mitsubishi Electric Corp ピックアップ装置およびピックアップ方法
JP2014050936A (ja) * 2012-09-10 2014-03-20 Applied Vision Systems Corp ハンドリングシステム、ハンドリング方法及びプログラム
US20140267614A1 (en) * 2013-03-15 2014-09-18 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
JP2014194735A (ja) * 2013-03-01 2014-10-09 Honda Motor Co Ltd 画像認識方法
JP2015182212A (ja) * 2014-03-26 2015-10-22 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置、及び制御方法
WO2016075801A1 (ja) * 2014-11-14 2016-05-19 株式会社ニコン 造形装置及び造形方法
CN108284443A (zh) * 2017-01-10 2018-07-17 欧姆龙株式会社 图像处理系统及处理装置、工件的拾取方法及记录介质
JP2018124184A (ja) * 2017-02-01 2018-08-09 株式会社豊田自動織機 ハーネス認識装置、及びハーネス認識方法
CN108527362A (zh) * 2017-03-03 2018-09-14 株式会社基恩士 机器人设置设备、机器人设置方法和计算机可读记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3654042B2 (ja) * 1999-04-21 2005-06-02 松下電工株式会社 物体特定方法及び装置
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
JP3805302B2 (ja) * 2002-12-13 2006-08-02 ファナック株式会社 ワーク取出し装置
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP5289087B2 (ja) * 2009-02-10 2013-09-11 ファナック株式会社 ワーク取り出し装置
JP6378892B2 (ja) * 2014-02-19 2018-08-22 矢崎総業株式会社 ワイヤハーネス部品移送装置、端子圧着電線製造装置、ワイヤハーネス部品移送方法、端子圧着電線の製造方法
JP6541397B2 (ja) * 2015-04-06 2019-07-10 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6725587B2 (ja) * 2018-05-18 2020-07-22 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP6823008B2 (ja) * 2018-05-18 2021-01-27 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP7015265B2 (ja) * 2019-03-14 2022-02-02 ファナック株式会社 コネクタを含むワークを把持する作業ツールおよび作業ツールを備えるロボット装置
JP7120153B2 (ja) * 2019-05-21 2022-08-17 トヨタ自動車株式会社 ワーク識別方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001277078A (ja) * 2000-03-30 2001-10-09 Brother Ind Ltd 被加工物のマーク検出装置，マーク検出方法，及び記憶媒体
US20040162639A1 (en) * 2003-02-19 2004-08-19 Fanuc Ltd. Workpiece conveying apparatus
JP2004279304A (ja) * 2003-03-18 2004-10-07 Fuji Mach Mfg Co Ltd 画像処理方法および画像処理プログラム
CN101081512A (zh) * 2006-05-29 2007-12-05 发那科株式会社 工件取出装置以及方法
EP2363252A1 (en) * 2010-03-04 2011-09-07 Kabushiki Kaisha Yaskawa Denki Robot and method of manufacturing mechanical product
JP2012218123A (ja) * 2011-04-12 2012-11-12 Mitsubishi Electric Corp ピックアップ装置およびピックアップ方法
JP2014050936A (ja) * 2012-09-10 2014-03-20 Applied Vision Systems Corp ハンドリングシステム、ハンドリング方法及びプログラム
JP2014194735A (ja) * 2013-03-01 2014-10-09 Honda Motor Co Ltd 画像認識方法
US20140267614A1 (en) * 2013-03-15 2014-09-18 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
JP2015182212A (ja) * 2014-03-26 2015-10-22 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置、及び制御方法
WO2016075801A1 (ja) * 2014-11-14 2016-05-19 株式会社ニコン 造形装置及び造形方法
CN108284443A (zh) * 2017-01-10 2018-07-17 欧姆龙株式会社 图像处理系统及处理装置、工件的拾取方法及记录介质
JP2018124184A (ja) * 2017-02-01 2018-08-09 株式会社豊田自動織機 ハーネス認識装置、及びハーネス認識方法
CN108527362A (zh) * 2017-03-03 2018-09-14 株式会社基恩士 机器人设置设备、机器人设置方法和计算机可读记录介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRISHNANAND N.: "Addressing perception uncertainty induced failure modes in robotic bin-picking", 《ADDRESSING PERCEPTION UNCERTAINTY INDUCED FAILURE MODES IN ROBOTIC BIN-PICKING》, pages 2 - 6 *

Also Published As

Publication number Publication date
CN111914608B (zh) 2024-05-28
US20200353583A1 (en) 2020-11-12
KR20200130110A (ko) 2020-11-18
JP7183941B2 (ja) 2022-12-06
KR20220139254A (ko) 2022-10-14
JP2020183019A (ja) 2020-11-12
KR102475773B1 (ko) 2022-12-08

Similar Documents

Publication Publication Date Title
CN111985293B (zh) 工件识别方法
US11338435B2 (en) Gripping system with machine learning
US9604364B2 (en) Picking apparatus and picking method
KR20220139254A (ko) 워크 식별 방법
JP7191569B2 (ja) 把持装置
US7283661B2 (en) Image processing apparatus
US9089966B2 (en) Workpiece pick-up apparatus
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
US11813754B2 (en) Grabbing method and device for industrial robot, computer storage medium, and industrial robot
JP3654042B2 (ja) 物体特定方法及び装置
CN114025928A (zh) 末端执行器的控制系统以及末端执行器的控制方法
CN112534476A (zh) 对象物识别装置、操作器以及移动机器人
CN114310892B (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
JP2022160363A (ja) ロボットシステム、制御方法、画像処理装置、画像処理方法、物品の製造方法、プログラム、及び記録媒体
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
JP7177639B2 (ja) 帯状物の３次元計測方法および帯状物の３次元計測装置
CN112338922A (zh) 一种五轴机械臂抓取放置方法及相关装置
CN114750164B (zh) 一种透明物体的抓取方法、系统及计算机可读存储介质
JP7217109B2 (ja) 帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステム
WO2020050121A1 (ja) 帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置、帯状物ハンドリングシステム、帯状物の３次元計測方法および帯状物の３次元計測装置
JP2022076656A (ja) ロボットプログラム、ワーク拾い上げ方法、制御装置およびロボットシステム
CN116205837A (zh) 图像数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant