JP2019025634A - 物品搬送装置 - Google Patents

物品搬送装置 Download PDF

Info

Publication number
JP2019025634A
JP2019025634A JP2017150629A JP2017150629A JP2019025634A JP 2019025634 A JP2019025634 A JP 2019025634A JP 2017150629 A JP2017150629 A JP 2017150629A JP 2017150629 A JP2017150629 A JP 2017150629A JP 2019025634 A JP2019025634 A JP 2019025634A
Authority
JP
Japan
Prior art keywords
workpiece
work
detected
image
interference area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017150629A
Other languages
English (en)
Other versions
JP6549655B2 (ja
Inventor
太樹 片桐
Taiki Katagiri
太樹 片桐
雅文 大場
Masafumi Oba
雅文 大場
健太郎 古賀
Kentaro Koga
健太郎 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017150629A priority Critical patent/JP6549655B2/ja
Priority to US16/015,444 priority patent/US10596707B2/en
Priority to DE102018212531.7A priority patent/DE102018212531B4/de
Priority to CN201810862464.1A priority patent/CN109384039B/zh
Publication of JP2019025634A publication Critical patent/JP2019025634A/ja
Application granted granted Critical
Publication of JP6549655B2 publication Critical patent/JP6549655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/904—Devices for picking-up and depositing articles or materials provided with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39102—Manipulator cooperating with conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39106—Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40038—Black list, exclude operation on workpiece when not possible, collision, error
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40554—Object recognition to track object on conveyor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

【課題】ワークの近接状態判定を行いつつ、ワークの位置認識および角度認識をより正確に行うことができる物品搬送装置を提供する。【解決手段】この物品搬送装置は、ワーク取出作業を行うロボット１０と、コンベヤ１００上のワークＷを撮像する撮像装置３０と、撮像された画像中でワーク検出を行うワーク識別手段と、各被検出ワークＷごとにその位置および角度に関するワーク情報を記憶するワーク情報記憶装置と、新たな画像における各被検出ワークＷのワーク情報と、前の画像における各被検出ワークＷのワーク情報とを比較することにより、新たな画像に前の画像と同一の被検出ワークＷが存在するか否かを判定する同一ワーク判定手段とを備え、同一であると判定された被検出ワークＷについて、一方の画像のワーク情報だけワーク情報記憶装置に保存するように構成されている。【選択図】図１

Description

本発明は、物品搬送装置に関する。
従来、コンベヤ上にランダムに載置されコンベヤの作動により移動する複数のワークを撮像装置により撮像し、撮像装置により撮像された画像を用いてロボットによるワーク取出作業を行うように構成された物品搬送装置が知られている（例えば、特許文献１参照。）。この物品搬送装置は、撮像された画像上でワーク検出を行うと共に、各被検出ワークの周りに近接状態判定領域を設定し、近接状態判定領域に他の被検出ワークが存在するか否かを判定するように構成されている。
特開２０１６−１８５５７３号公報
前記物品搬送装置では、撮像装置によってコンベヤ上にランダムに載置されたワークを撮像し、撮像画像を用いて検出されたワークをロボットにより取出すので、各々のワークは撮像された画像の何れかに全体が写っている必要がある。このため、連続して撮像された２つの画像には重複する範囲が存在することになる。また、物品の検出精度を向上するためには、収差の影響も少なく、ワークの平面形状が正確に映る画像の中心近くにワークが存在することが望ましいため、検出精度を向上するために、連続する２つの画像だけではなく、連続する３つ以上の画像に重複する範囲が存在することもある。
この重複した範囲があることにより、複数の画像に同一の被検出ワークが存在することになる。一方、被検出ワークの検出精度、つまり、画像上の被検出ワークの位置認識や角度認識が正確であればあるほど、ロボットによる取出作業に有利である。特許文献１記載の物品搬送装置では、ワークの近接状態判定は行っているが、複数の画像に同一の被検出ワークが存在していても、最新の画像で当該被検出ワークの位置および角度を認識し、ロボットによる取出作業を行っている。
本発明は、このような事情に鑑みてなされたものであって、ワークの近接状態判定を行いつつ、ワークの位置認識および角度認識をより正確に行うことができる物品搬送装置の提供を目的とする。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の一態様の物品搬送装置は、複数のワークが搬送されるコンベヤに対しワーク取出作業を行う少なくとも１台のロボットと、前記コンベヤ上の前記ワークを連続的に撮像する撮像装置と、該撮像装置により撮像された画像中でワーク検出を行うワーク識別手段と、該ワーク識別手段が前記ワーク検出を行った時に、被検出ワークごとにその位置および角度に関するワーク情報を記憶するワーク情報記憶装置と、前記ワーク検出が行われた新たな画像における前記各被検出ワークの前記ワーク情報と、前記ワーク検出が行われた少なくとも１つの前の画像における前記各被検出ワークの前記ワーク情報とを比較することにより、前記新たな画像に前記前の画像と同一の前記被検出ワークが存在するか否かを判定する同一ワーク判定手段と、該同一ワーク判定手段で同一であると判定された少なくとも１つの前記被検出ワークについて、前記新たな画像における前記ワーク情報と前記前の画像における前記ワーク情報のうち、所定の基準情報に近い１つだけ前記ワーク情報記憶装置に保存されるようにするワーク情報選定手段と、前記各画像において前記各被検出ワークに干渉領域を設定する干渉領域設定手段と、前記各被検出ワークの前記干渉領域に他の前記被検出ワークの輪郭が干渉しているか否かを判定する干渉判定手段とを備え、該干渉判定手段により干渉していると判定された前記被検出ワークに対し前記ロボットが前記ワーク取出作業を行わないように構成されている。
当該態様では、新たな画像および少なくとも１つの前の画像に存在している被検出ワークについて、新たな画像におけるワーク情報と前の画像におけるワーク情報とが比較され、例えば所定の基準情報として当該ワークのモデル画像を用いる場合は、モデル画像との類似度が高い方のワーク情報がワーク情報記憶装置に保存される。ワーク自体の形状にばらつきが少ない場合、モデル画像との類似度が高い方が被検出ワークの形状が実際の形状に近いことを意味する。このため、実物のワークの形状により近い被検出ワークのワーク情報がワーク情報記憶装置に保存されることになる。
ロボットはワーク情報から得られる被検出ワークの位置、角度等を用いて取出作業を行うため、実物のワークの形状により近い被検出ワークのワーク情報がワーク情報記憶装置に残ることにより、ワークの位置認識および角度認識をより正確に行うことが可能となる。
また、このように正確な被検出ワークに干渉領域を設定するので、干渉領域の設定もより適切なものとなり、ワークの取出作業の正確性の向上や効率化を図る上で有利である。
前記態様において、前記干渉領域設定手段が、前記ワークの種類に応じて前記干渉領域を設定するように構成されていることが好ましい。このように構成することにより、ワークの種類に応じてより適切な範囲が干渉領域として設定されることになるので、ワークの取出作業の正確性の向上や効率化を図る上でより有利である。
前記態様において、前記撮像装置が、前記コンベヤが所定距離移動する度に前記ワークを撮像するように構成されていることが好ましい。このように構成することにより、新たな画像と前の画像との重複範囲の設定を容易かつ確実に行うことが可能となる。例えば、撮像装置においてワークの形状が比較的正確に映る範囲がわかっている場合、前記所定距離を設定することにより、ワークの形状が比較的正確に映る範囲に必ず全てのワークの全体が撮像される状態を実現することができる。
前記態様において、前記ワーク取出作業を行うために当該物品搬送装置を操作する操作者の入力を受付ける入力装置と、該入力装置の入力に基づき前記干渉領域設定手段が設定する前記干渉領域の形状および大きさのうち少なくとも一方を調整する干渉領域調整手段とを備えることが好ましい。
当該構成では、ワーク取出作業を行うために物品搬送装置を操作する操作者が経験等に基づいて干渉領域の調整を行うことができる。操作者は物品搬送装置を実際に操作する者であり、ロボットの癖や、ロボットにより取出すワークの癖も知っている場合が多い。このため、操作者が経験に基づいて干渉領域を設定できるよう構成することにより、より効率的なワークの取出作業を実現することが可能となる。
前記態様において、前記干渉領域調整手段が、表示装置に前記ワークの画像とモデル決定用枠とを表示させると共に、前記ワークの画像のうち、前記入力装置の入力に基づき位置および大きさが調整される前記モデル決定用枠内に配置された部分を当該ワークの干渉領域設定範囲として決定し、前記干渉領域設定手段が、前記各画像において前記各被検出ワークの前記干渉領域設定範囲に対し前記干渉領域を設定するように構成されていることが好ましい。
当該構成では、操作者が経験等に基づいて、ワークの全体ではなく一部を干渉領域設定範囲とすることもできる。ワークの種類によってはワークの全体ではなく一部を干渉領域設定範囲にした方が、ロボットによるワーク取出作業で不具合が発生し難くなる場合もあり、それを操作者が経験に基づいて任意に設定することができるので、作業効率を向上する上で有利である。
本発明によれば、ワークの近接状態判定を行いつつ、ワークの位置認識および角度認識をより正確に行うことができる。
本発明の第１の実施形態に係る物品搬送装置の概略平面図である。 第１の実施形態の物品搬送装置のブロック図である。 第１の実施形態の物品搬送装置の撮像装置により撮像された画像の例を示す図である。 第１の実施形態の物品搬送装置の撮像装置により撮像された画像の例を示す図である。 本発明の第２の実施形態の物品搬送装置のブロック図である。 第２の実施形態の物品搬送装置の調整画面の例を示す図である。 第２の実施形態の物品搬送装置のモデル画像設定画面の例を示す図である。 第２の実施形態の物品搬送装置のモデル画像設定画面の例を示す図である。 第２の実施形態の物品搬送装置の干渉領域調整画面の例を示す図である。
本発明の第１の実施形態に係る物品搬送装置を図面を参照しながら以下に説明する。
この物品搬送装置は、図１に示すように、コンベヤ１００に対しワークＷの取出作業を行うロボット１０と、制御装置２０と、コンベヤ１００の上方に配置され、コンベヤ１００上のワークＷを連続的に撮像する撮像装置３０とを備えている。コンベヤ１００は、ベルトコンベヤ、エプロンコンベヤ、パンコンベヤ、振動コンベヤ、ローラコンベヤ等の公知の各種コンベヤを用いることができる。なお、撮像装置３０はコンベヤ１００が所定距離移動する度に撮像を行うように構成されている。
ロボット１０は、複数のアーム部材および関節を備えると共に、複数の関節をそれぞれ駆動する複数のサーボモータ１１を備えている。各サーボモータ１１として、回転モータ、直動モータ等の各種のサーボモータを用いることが可能である。各サーボモータ１１はその作動位置を検出するエンコーダ等の作動位置検出装置を内蔵しており、作動位置検出装置の検出値が制御装置２０に送信される。
ロボット１０の先端にはワークＷを保持可能なワーク保持装置１２が取付けられている。ワーク保持装置１２は、ワークＷを把持する爪を有するものでもよく、ワークＷを吸着する電磁石や吸引装置を有するものでもよい。ワーク保持装置１２は制御装置２０により制御される。
制御装置２０は、図２に示すように、例えば、ＣＰＵ、ＲＡＭ等を有する制御部２１と、表示装置２２と、入力装置２３と、不揮発性ストレージ、ＲＯＭ等を有する記憶装置２４と、ロボット１０のサーボモータ１１にそれぞれ対応するように設けられた複数のサーボ制御器２５と、制御装置２０に接続されると共に操作者が持ち運び可能な教示操作盤２６とを備えている。教示操作盤２６は主にロボット１０の教示に用いられるものであり、制御装置２０と無線通信するように構成されていてもよい。
記憶装置２４にはシステムプログラム２４ａが格納されており、システムプログラム２４ａが制御装置２０の基本機能を担っている。また、記憶装置２４には、教示操作盤２６を用いて作成された動作プログラム２４ｂが少なくとも１つずつ格納されている。
また、記憶装置２４には、撮像された画像中でワーク検出を行うワーク検出プログラム（ワーク識別手段）２４ｃと、被検出ワークＷごとにその位置および角度に関するワーク情報を記憶装置（ワーク情報記憶装置）２４に保存する保存プログラム２４ｄと、新たな画像に前の画像と同一の被検出ワークＷが存在するか否かを判定する同一ワーク判定プログラム（同一ワーク判定手段）２４ｅと、同一であると判定された被検出ワークＷについて、前記新たな画像における前記ワーク情報と前記前の画像における前記ワーク情報のうち１つだけが保存された状態にするワーク情報選定プログラム（ワーク情報選定手段）２４ｆとが格納されている。
さらに、記憶装置２４には、各画像において各被検出ワークＷに干渉領域ＩＡを設定する干渉領域設定プログラム（干渉領域設定手段）２４ｇと、各被検出ワークＷの干渉領域ＩＡに他の被検出ワークＷの輪郭が干渉しているか否かを判定する干渉判定プログラム（干渉判定手段）２４ｈとが格納されている。
制御部２１はシステムプログラム２４ａにより動作し、記憶装置２４に格納されている動作プログラム２４ｂを読み出してＲＡＭに一時的に格納し、読み出した動作プログラム２４ｂに沿って各サーボ制御器２５に制御信号を送り、これによりロボット１０の各サーボモータ１１のサーボアンプを制御すると共に、ワーク保持装置１２によるワークＷの把持および非把持を制御する。
ワーク保持装置１２によるワークＷの把持を行うため、制御部２１は以下の処理を行う。
先ず、制御部２１はワーク検出プログラム２４ｃにより動作し、撮像装置３０から受信した画像データ（以下、単に画像とも称する。）に周知の画像処理、例えば二値化処理を行い、これにより画像中で各ワークＷの輪郭等を際立たせる。そして、当該輪郭の形状と記憶装置２４に予め格納されているモデル画像とを比較し、所定の基準を超えて一致している輪郭に対応をするものをワークＷとして検出する。
続いて、制御部２１は保存プログラム２４ｄにより動作し、各被検出ワークＷについて、その位置および角度の情報を含むワーク情報を記憶装置２４に保存する。当該位置は、例えば、被検出ワークＷの輪郭の図心や特徴点の、ロボット１０の基準位置やコンベヤ１００の基準位置に対する位置とすることができる。当該角度は、例えば、被検出ワークＷの輪郭の中心線がコンベヤ１００の進行方向となす角度とすることができる。
前記のワーク検出およびワーク情報の格納は、制御部２１が撮像装置３０から画像を受信する度に行われる。
続いて、制御部２１は同一ワーク判定プログラム２４ｅにより動作し、新たな画像に前の画像と同一の被検出ワークＷが存在するか否かを判定する。例えば、撮像装置３０は図１における範囲Ａ１を撮像した後に、図１における範囲Ａ２を撮像することになる。範囲Ａ１の画像は図３のようになり、範囲Ａ２の画像は図４のようになる。なお、図１において範囲Ａ１と範囲Ａ２をコンベヤ１００の幅方向にずらして記載しているが、実際は範囲Ａ１と範囲Ａ２はコンベヤ１００の幅方向にずれていない。
つまり、制御部２１が範囲Ａ２の画像を受信した時、図４の画像が新たな画像となり、図３の画像が前の画像となる。前の画像は１つだけではなく複数あってもよい。
制御部２１はワーク検出プログラム２４ｃや保存プログラム２４ｄにより各被検出ワークＷについて、位置および角度の情報を含むワーク情報を得ているので、ワーク情報同士を比較することにより新たな画像に前の画像と同一の被検出ワークＷが存在するか否かを判定する。例えば、新たな画像内の被検出ワークＷのワーク情報との差が所定の基準値内であるワーク情報が前の画像に存在する場合、当該被検出ワークＷは前の画像にも存在すると判定する。
同一の被検出ワークＷが新たな画像および前の画像に存在すると判定されると、制御部２１はワーク情報選定プログラム２４ｆにより動作し、予め記憶装置２４に記憶されているモデル画像又は当該モデル画像から得られる情報と、新たな画像のワーク情報および前の画像のワーク情報とを比較し、モデル画像に対する類似度が最も高いワーク情報をその被検出ワークＷのワーク情報として記憶装置２４に保存する。
例えば、ワーク情報にワーク検出プログラム２４ｃにより検出された被検出ワークＷの輪郭の形状が含まれている場合、輪郭の形状をモデル画像と比較し、最も一致度が高い（近い）ワーク情報がその被検出ワークＷのワーク情報として記憶装置２４に保存される。また、被検出ワークＷの輪郭の中心線の長さや輪郭の各辺の長さがワーク情報に含まれている場合、それらをモデルとなる中心線の長さや各辺の長さと比較し、最も一致度が高い（近い）ワーク情報がその被検出ワークＷのワーク情報として記憶装置２４に保存される。何れの場合も、新たな画像におけるワーク情報と前の画像におけるワーク情報のうち、所定の基準情報に近い１つだけが記憶装置２４に記憶される。
続いて、制御部２１は干渉領域設定プログラム２４ｇにより動作し、例えば図３や図４に示すように、各画像において各被検出ワークＷに干渉領域ＩＡを設定する。干渉領域ＩＡの形状はワークＷの種類に対応して予め記憶装置２４に格納されており、適用される干渉領域ＩＡの形状は、例えば各被検出ワークＷの輪郭の形状に基づき自動的に選択される。格納されている干渉領域ＩＡの形状を、各被検出ワークＷのワーク情報に含まれている角度の情報に基づき回転させ、各被検出ワークＷのワーク情報に含まれている位置の情報に基づき配置することにより、各画像において各被検出ワークＷに干渉領域ＩＡが設定される。
続いて、制御部２１は干渉判定プログラム２４ｈにより動作し、各被検出ワークＷの干渉領域ＩＡに他の被検出ワークＷの輪郭が干渉しているか否かを判定する。図３の場合、右上の２つの五角形の被検出ワークＷは干渉していると判定され、左上の五角形の被検出ワークＷと長円形の被検出ワークＷは干渉していると判定される。
続いて、制御部２１は、各被検出ワークＷのワーク情報、コンベヤ１００の搬送速度等を用いながら、ロボット１０の各サーボモータ１１のサーボアンプを制御すると共に、ワーク保持装置１２によるワークＷの把持および非把持を制御し、コンベヤ１００上のワークＷを一つずつ取出す。この時、干渉していると判定された被検出ワークＷに対しワーク取出作業を行わないように、制御部２１は各サーボモータ１１およびワーク保持装置１２を制御する。
このように、本実施形態によれば、新たな画像および少なくとも１つの前の画像に存在している被検出ワークＷについて、新たな画像におけるワーク情報と前の画像におけるワーク情報とが比較され、当該ワークＷのモデル画像とより類似しているワーク情報が記憶装置２４に保存される。ワークＷ自体の形状にばらつきが少ない場合、モデル画像とより類似している方が被検出ワークＷの形状が実物の形状に近いと言える。このため、実物の形状により近い被検出ワークＷのワーク情報が記憶装置２４に保存されることになる。
ロボット１０はワーク情報から得られる被検出ワークＷの位置、角度等を用いて取出作業を行うため、実物の形状により近い被検出ワークＷのワーク情報が記憶装置２４に残ることにより、ワークＷの位置認識および角度認識をより正確に行うことが可能となる。
また、このようにより正確な被検出ワークＷに干渉領域ＩＡを設定するので、干渉領域ＩＡの設定もより適切なものとなり、ワークＷの取出作業の正確性の向上や効率化を図る上で有利である。
また、本実施形態では、ワークＷの種類に応じて干渉領域ＩＡが設定されるので、ワークＷの種類に応じてより適切な範囲が干渉領域ＩＡとして設定されることになり、これはワークＷの取出作業の正確性の向上や効率化を図る上でより有利である。
また、本実施形態では、撮像装置３０はコンベヤ１００が所定距離移動する度にワークＷを撮像する。このように構成することにより、新たな画像と前の画像との重複範囲の設定を容易かつ確実に行うことが可能となる。例えば、撮像装置３０においてワークＷの平面形状が正確に映る範囲がわかっている場合、前記所定距離を設定することにより、ワークの平面形状が正確に映る範囲に必ず全てのワークＷの全体が撮像される状態を実現することができる。
なお、撮像装置３０は所定時間おきに撮像を行ってもよく、その他の決められたタイミングで撮像を行ってもよく、何れの場合も連続的な撮像である。
また、被検出ワークＷの位置および角度ではなく、被検出ワークＷの輪郭の形状データや画像データをワーク情報として記憶装置２４に保存してもよい。この場合、輪郭の形状データや画像データは、被検出ワークＷの位置や角度を特定又は導出できるものであるから、当該ワーク情報も被検出ワークＷの角度および位置に関する情報である。
本発明の第２の実施形態に係る物品搬送装置を図面を参照しながら以下に説明する。
第２の実施形態は第１の実施形態の構成に加え、干渉領域ＩＡを任意に設定する構成を有するものである。第１の実施形態と同様の構成には同一の符号を付し、その説明を割愛する。
第２の実施形態では、図５に示すように、記憶装置２４に干渉領域調整プログラム（干渉領域調整手段）２４ｉが格納されている。
制御部２１は干渉領域調整プログラム２４ｉにより作動し、図６に示されるような調整画面４０を表示装置２２に表示させる。調整画面４０には、モデル画像設定ボタン４０ａと、干渉領域調整ボタン４０ｂとが表示されている。
モデル画像設定ボタン４０ａを押すと図７に示すモデル画像設定画面４１に遷移し、画面上にワークＷの画像が表示される。なお、当該画像にＣＡＤデータ等の設計データを用いることも可能であるが、撮像装置３０で撮像した画像を画像処理することによって抽出されたワークＷの輪郭画像であってもよい。
また、モデル画像設定画面４１上にはモデル決定用枠４１ａが表示され、メニューバーの中には、モデル決定用枠４１ａの形状、大きさ、位置等を変更するためのボタン４１ｂ、確定ボタン４１ｃ等が表示される。操作者は入力装置２３を用いてボタン４１ｂ，４１ｃを操作しモデル決定用枠４１ａの形状、大きさ、位置等を確定する。
例えば、図８に示される形状、大きさ、および位置でモデル決定用枠４１ａが確定されると、図８のモデル決定用枠４１ａ内に実線で示される形状がモデル画像となる。決定されたモデル画像は第１の実施形態で説明したモデル画像として記憶装置２４に格納され、また、第１の実施形態で説明した干渉領域ＩＡの設定範囲として記憶装置２４に格納される。
続いて、設定画面４０に戻り、干渉領域調整ボタン４０ｂを押すと、図９に示す干渉領域調整画面４２に遷移し、画面上に設定したモデル画像Ｍと、干渉領域枠４２ａが表示される。また、メニューバーの中には、干渉領域枠４２ａの形状を変更するためのボタン４２ｂ、干渉領域枠４２ａの大きさや位置を変更するためのボタン４２ｃ、モデル画像Ｍおよび干渉領域枠４２ａを回転させるためのボタン４２ｄ、確定ボタン４２ｅ等が表示される。操作者は入力装置２３を用いてボタン４２ｂ〜４２ｅを操作し、干渉領域枠４２ａの形状、位置、大きさ等を確定する。
操作者は経験等に基づき、ワークＷの種類に応じて干渉領域枠４２ａの形状、位置、および大きさを設定することができる。例えば、略四角形のワークＷは通常は略四角形の干渉領域枠４２ａが適しているように見えるが、ワークＷの種類、搬送速度等によっては長円形状の干渉領域枠４２ａが適している場合もあり、操作者はワークＷの種類、ワークＷの量等に応じて干渉領域枠４２ａの形状を選択することができる。
また、ワークＷの種類、搬送速度等によって、モデルＭの長手方向の端部と干渉領域枠４２ａとの間隔を小さくした方が取出し効率が上がる場合等は、操作者はそのように干渉領域枠４２ａを設定することができる。さらに、モデルＭの配置角度に応じてそれぞれ干渉領域枠４２ａを設定したい場合は、ボタン４２ｄによりモデルＭを回転させながら、それぞれの配置角度で干渉領域枠４２ａ確定する。
このように確定された干渉領域枠４２ａは、第１の実施形態で説明した干渉領域ＩＡとして記憶装置２４に格納され、第１の実施形態で説明したように、各被検出ワークＷのワーク情報の位置および角度に基づき、各被検出ワークＷに干渉領域ＩＡが設定される。
なお、被検出ワークＷのコンベヤ１００の搬送方向に干渉領域ＩＡを自動的に広くし、又は、搬送方向と直行する方向に干渉領域ＩＡを自動的に狭くする設定ボタンを、干渉領域設定画面４２に設けてもよい。
第２の実施形態によれば、第１の実施形態の作用効果に加え、ワーク取出作業を行うために物品搬送装置を操作する操作者が経験等に基づいて干渉領域ＩＡの調整を行うことができる。操作者は物品搬送装置を実際に操作する者であり、ロボット１０の癖や、ロボット１０により取出すワークＷの癖も知っている場合が多い。このため、操作者が経験に基づいて干渉領域ＩＡを設定できるよう構成することにより、より効率的なワークＷの取出作業を実現することが可能となる。
１０ ロボット
１１ サーボモータ
１２ ワーク保持装置
２０ 制御装置
２１ 制御部
２２ 表示装置
２３ 入力装置
２４ 記憶装置（ワーク情報記憶装置）
２４ａ システムプログラム
２４ｂ 動作プログラム
２４ｃ ワーク検出プログラム（ワーク識別手段）
２４ｄ 保存プログラム
２４ｅ 同一ワーク判定プログラム（同一ワーク判定手段）
２４ｆ ワーク情報選定プログラム（ワーク情報選定手段）
２４ｇ 干渉領域設定プログラム（干渉領域設定手段）
２４ｈ 干渉判定プログラム（干渉判定手段）
２４ｉ 干渉領域調整プログラム（干渉領域調整手段）
２５ サーボ制御器
２６ 教示制御盤
３０ 撮像装置
４０ 調整画面
４１ モデル画像設定画面
４１ａ モデル決定用枠
４２ 干渉領域調整画面
４２ａ 干渉領域枠
１００ コンベヤ
Ｗ ワーク
ＩＡ 干渉領域
Ｍ モデル画像

Claims (5)

  1. 複数のワークが搬送されるコンベヤに対しワーク取出作業を行う少なくとも１台のロボットと、
    前記コンベヤ上の前記ワークを連続的に撮像する撮像装置と、
    該撮像装置により撮像された画像中でワーク検出を行うワーク識別手段と、
    該ワーク識別手段が前記ワーク検出を行った時に、被検出ワークごとにその位置および角度に関するワーク情報を記憶するワーク情報記憶装置と、
    前記ワーク検出が行われた新たな画像における前記各被検出ワークの前記ワーク情報と、前記ワーク検出が行われた少なくとも１つの前の画像における前記各被検出ワークの前記ワーク情報とを比較することにより、前記新たな画像に前記前の画像と同一の前記被検出ワークが存在するか否かを判定する同一ワーク判定手段と、
    該同一ワーク判定手段で同一であると判定された少なくとも１つの前記被検出ワークについて、前記新たな画像における前記ワーク情報と前記前の画像における前記ワーク情報のうち、所定の基準情報に近い１つだけ前記ワーク情報記憶装置に保存されるようにするワーク情報選定手段と、
    前記各画像において前記各被検出ワークに干渉領域を設定する干渉領域設定手段と、
    前記各被検出ワークの前記干渉領域に他の前記被検出ワークの輪郭が干渉しているか否かを判定する干渉判定手段とを備え、
    該干渉判定手段により干渉していると判定された前記被検出ワークに対し前記ロボットが前記ワーク取出作業を行わないように構成されている物品搬送装置。
  2. 前記干渉領域設定手段が、前記ワークの種類に応じて前記干渉領域を設定するように構成されている請求項１に記載の物品搬送装置。
  3. 前記撮像装置が、前記コンベヤが所定距離移動する度に前記ワークを撮像するように構成されている請求項１又は２に記載の物品搬送装置。
  4. 前記ワーク取出作業を行うために当該物品搬送装置を操作する操作者の入力を受付ける入力装置と、
    該入力装置の入力に基づき前記干渉領域設定手段が設定する前記干渉領域の形状および大きさのうち少なくとも一方を調整する干渉領域調整手段とを備える請求項１〜３の何れかに記載の物品搬送装置。
  5. 前記干渉領域調整手段が、表示装置に前記ワークの画像とモデル決定用枠とを表示させると共に、前記ワークの画像のうち、前記入力装置の入力に基づき位置および大きさが調整される前記モデル決定用枠内に配置された部分を当該ワークの干渉領域設定範囲として決定し、
    前記干渉領域設定手段が、前記各画像において前記各被検出ワークの前記干渉領域設定範囲に対し前記干渉領域を設定するように構成されている請求項４に記載の物品搬送装置。
JP2017150629A 2017-08-03 2017-08-03 物品搬送装置 Active JP6549655B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017150629A JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置
US16/015,444 US10596707B2 (en) 2017-08-03 2018-06-22 Article transfer device
DE102018212531.7A DE102018212531B4 (de) 2017-08-03 2018-07-27 Artikeltransfervorrichtung
CN201810862464.1A CN109384039B (zh) 2017-08-03 2018-08-01 物品搬运装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017150629A JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置

Publications (2)

Publication Number Publication Date
JP2019025634A true JP2019025634A (ja) 2019-02-21
JP6549655B2 JP6549655B2 (ja) 2019-07-24

Family

ID=65231310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017150629A Active JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置

Country Status (4)

Country Link
US (1) US10596707B2 (ja)
JP (1) JP6549655B2 (ja)
CN (1) CN109384039B (ja)
DE (1) DE102018212531B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6945209B1 (ja) * 2021-03-05 2021-10-06 株式会社Ｍｕｊｉｎ 物体検出のために安全ボリュームリストを生成するための方法および計算システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6564426B2 (ja) * 2017-07-07 2019-08-21 ファナック株式会社 部品供給装置及び機械学習装置
JP7056613B2 (ja) * 2019-03-08 2022-04-19 オムロン株式会社 カウンタユニット、カウンタユニットの制御方法、制御装置、および制御システム
JP2020199625A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 シミュレーション装置
JP7261306B2 (ja) * 2019-08-26 2023-04-19 川崎重工業株式会社 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法
JP2022110868A (ja) * 2021-01-19 2022-07-29 株式会社イシダ 物品集積装置
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033328A (ja) * 2005-07-28 2007-02-08 Nachi Fujikoshi Corp 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
JP2010264559A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp ロボットの制御方法
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP2016185573A (ja) * 2015-03-27 2016-10-27 ファナック株式会社 対象物の取出経路を補正する機能を有するロボットシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040056A (en) 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JP3368244B2 (ja) 1999-12-28 2003-01-20 川崎重工業株式会社 ワークの配置位置決定方法
JP2002274641A (ja) 2001-03-16 2002-09-25 Mitsubishi Electric Engineering Co Ltd 小物ワークの受渡し制御装置
JP5198155B2 (ja) 2008-06-05 2013-05-15 東芝機械株式会社 ハンドリング装置、ワークハンドリング方法および信号処理装置
GB2471819B (en) 2008-06-05 2012-11-28 Toshiba Machine Co Ltd Handling system,control device,control method,and program
JP5025598B2 (ja) 2008-08-29 2012-09-12 三菱電機株式会社 干渉チェック制御装置および干渉チェック制御方法
JP2010122777A (ja) 2008-11-18 2010-06-03 Seiko Epson Corp ワーク識別方法およびワーク識別装置
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 ３次元認識結果の表示方法および３次元視覚センサ
JP5500926B2 (ja) 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
JP5659640B2 (ja) 2010-09-07 2015-01-28 富士電機株式会社 ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
EP2733480A1 (en) * 2011-07-13 2014-05-21 Panasonic Corporation Tablet inspection device and tablet inspection method
JP2014161965A (ja) 2013-02-26 2014-09-08 Toyota Industries Corp 物品取り出し装置
JP5673717B2 (ja) 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
JP5911933B2 (ja) 2014-09-16 2016-04-27 ファナック株式会社 ロボットの動作監視領域を設定するロボットシステム
JP6387760B2 (ja) 2014-09-18 2018-09-12 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法
JP6154406B2 (ja) * 2015-01-14 2017-06-28 株式会社ダイシン 搬送物検査システム及び搬送装置
JP6494313B2 (ja) 2015-02-09 2019-04-03 キヤノン株式会社 画像処理方法、装置システム、プログラム、記憶媒体
JP2018034242A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033328A (ja) * 2005-07-28 2007-02-08 Nachi Fujikoshi Corp 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
JP2010264559A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp ロボットの制御方法
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP2016185573A (ja) * 2015-03-27 2016-10-27 ファナック株式会社 対象物の取出経路を補正する機能を有するロボットシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6945209B1 (ja) * 2021-03-05 2021-10-06 株式会社Ｍｕｊｉｎ 物体検出のために安全ボリュームリストを生成するための方法および計算システム
JP2022135848A (ja) * 2021-03-05 2022-09-15 株式会社Mujin 物体検出のために安全ボリュームリストを生成するための方法および計算システム
US11900652B2 (en) 2021-03-05 2024-02-13 Mujin, Inc. Method and computing system for generating a safety volume list for object detection

Also Published As

Publication number Publication date
CN109384039B (zh) 2020-03-17
DE102018212531B4 (de) 2020-09-10
JP6549655B2 (ja) 2019-07-24
CN109384039A (zh) 2019-02-26
US20190039247A1 (en) 2019-02-07
DE102018212531A1 (de) 2019-02-21
US10596707B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
JP2019025634A (ja) 物品搬送装置
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
JP5887383B2 (ja) 物品をコンベヤに整列させる物品整列装置
Nerakae et al. Using machine vision for flexible automatic assembly system
US10507990B2 (en) Article transport system and transport system controller
CN108372503B (zh) 使用至少一个传感器的物品运送装置
WO2009148089A1 (ja) ハンドリング装置、制御装置、制御方法およびプログラム
US10521871B2 (en) Robot system
JP2013086184A (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
JP5544320B2 (ja) 立体視ロボットピッキング装置
JP6478234B2 (ja) ロボットシステム
JP5198155B2 (ja) ハンドリング装置、ワークハンドリング方法および信号処理装置
CN108713175B (zh) 用于操作直通式加工机的方法以及直通式加工机
JP6450788B2 (ja) ワーク取出システム
CN109916346B (zh) 一种基于视觉系统的工件平整度的检测装置及检测方法
JP2018120388A (ja) ワーク検出装置及び方法
JP5198161B2 (ja) ハンドリング装置およびワークハンドリング方法
JP5263501B2 (ja) デパレタイズ用のワーク位置認識装置および方法
JP6697510B2 (ja) ロボットシステム
JP2020049558A (ja) 物品取り出しシステム
CN110871443B (zh) 物品取出系统
JP7436170B2 (ja) ロボットシステム
JP7261597B2 (ja) 移載対象ワーク記憶システム
JP5433027B2 (ja) 画像認識装置およびこれを用いたワークの移載方法

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190627

R150 Certificate of patent or registration of utility model

Ref document number: 6549655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150