JP2019111640A - 物品搬送装置、ロボットシステムおよび物品搬送方法 - Google Patents

物品搬送装置、ロボットシステムおよび物品搬送方法 Download PDF

Info

Publication number
JP2019111640A
JP2019111640A JP2017249594A JP2017249594A JP2019111640A JP 2019111640 A JP2019111640 A JP 2019111640A JP 2017249594 A JP2017249594 A JP 2017249594A JP 2017249594 A JP2017249594 A JP 2017249594A JP 2019111640 A JP2019111640 A JP 2019111640A
Authority
JP
Japan
Prior art keywords
work
workpiece
posture
conveyor
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017249594A
Other languages
English (en)
Other versions
JP6687591B2 (ja
Inventor
健太郎 古賀
Kentaro Koga
健太郎 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017249594A priority Critical patent/JP6687591B2/ja
Priority to US16/204,762 priority patent/US11046530B2/en
Priority to DE102018132213.5A priority patent/DE102018132213B4/de
Priority to CN201811577439.5A priority patent/CN109955222B/zh
Publication of JP2019111640A publication Critical patent/JP2019111640A/ja
Application granted granted Critical
Publication of JP6687591B2 publication Critical patent/JP6687591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39102—Manipulator cooperating with conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40554—Object recognition to track object on conveyor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

【課題】コンベヤにより搬送される複数のワークの重なりを正確に判定して、搬送される複数のワークに対して安定して作業を行うことができる物品搬送装置を提供する。【解決手段】この物品搬送装置１０は、ワークＷ１，Ｗ２を搬送するコンベヤ１１と、搬送されているワークＷ１，Ｗ２を撮影して３次元画像を取得する撮影手段４０と、撮影手段４０により取得された３次元画像に基づきワークＷ１，Ｗ２の３次元形状および姿勢を検出するワーク識別手段と、基準ワークの３次元形状と、他のワークと重なっていない状態における基準ワークの姿勢とを記憶する記憶手段８０と、記憶手段８０により記憶されている基準ワークの３次元形状および姿勢と、ワーク識別手段により検出されたワークＷ１，Ｗ２の３次元形状および姿勢とに基づいて、ワークＷ１，Ｗ２の重なりの有無を判定する重なり判定手段とを備える。【選択図】図１

Description

本発明は、物品搬送装置、ロボットシステムおよび物品搬送方法に関する。
従来、コンベヤ上にランダムに載置されコンベヤの作動により移動する複数のワークを撮影装置により撮影し、撮影装置により撮影された画像を用いてロボットによるワーク取出作業を行う物品搬送装置が知られている（例えば、特許文献１，２参照。）。特許文献１に記載された物品搬送装置は、コンベヤ上に重なり合わないように置かれた複数のワークの各重心における水平面上での平均値を算出し、算出した重心の平均値から一番遠い重心のワークを作業対象として識別している。特許文献２に記載された物品搬送装置は、カメラにより取得されたワークの２次元画像を用いて、他のワークと重なり合っていないワークを作業対象の候補として抽出している。
特開２０１２−５５９９５号公報 特開２０１４−２３７１８８号公報
特許文献１に記載された物品搬送装置では、コンベヤにより搬送される他のワークと重なり合わないワークへの作業を前提としているため、重なり合っているワークがコンベヤにより搬送されてくる状態ではワークへの作業を実施できない。また、特許文献２に記載された物品搬送装置では、ワークの２次元画像を用いてワークの重なりを判定しているため、コンベヤとワークとが同色の場合にワークの重なりを正しく判定できないおそれがある。この場合に、照明によるコントラストによってワークの重なりをある程度判定することもできるが、物品搬送装置が置かれる環境によっては、照明を設置できない場合もある。
本発明は、コンベヤにより搬送される複数のワークの重なりを正確に判定して、搬送される複数のワークに対して安定して作業を行うことができる物品搬送装置、ロボットシステムおよび物品搬送方法を提供することを目的とする。
本発明の一態様は、ワークを搬送するコンベヤと、該コンベヤにより搬送されている前記ワークを撮影して３次元画像を取得する撮影手段と、該撮影手段により取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別手段と、基準ワークの３次元形状と、他のワークと重なっていない状態における前記基準ワークの姿勢とを記憶する記憶手段と、該記憶手段により記憶されている前記基準ワークの３次元形状および姿勢と、前記ワーク識別手段により検出された前記ワークの３次元形状および姿勢とに基づいて、前記ワークの重なりの有無を判定する重なり判定手段とを備える物品搬送装置を提供する。
本態様によれば、コンベヤにより搬送されているワークが撮影手段により撮影され、３次元画像が取得される。撮影手段により取得された３次元画像に含まれるワークの３次元形状および姿勢がワーク識別手段により検出される。ワーク識別手段により検出されたワークの３次元形状と、記憶手段に記憶されている基準ワークの３次元形状とが比較されて、検出されたワークが記憶手段に予め記憶されている基準ワークであるか否かが判定される。検出されたワークが記憶手段に記憶されている基準ワークである場合に、検出されたワークの姿勢と、記憶手段に記憶されている基準ワークの姿勢とが比較される。これにより、検出されたワークが、コンベヤ上において他のワークに重なっているか否かが判定される。ワークの重なりを判定することにより、他のワークに重なっているワークに対して作業を行わないことを選択でき、他のワークの位置および姿勢を変化させないワークのみに対して作業を行うことができる。また、ワークの３次元形状および姿勢に基づいてワークの重なりの有無を判定するので、コンベヤの色とワークの色とが同色であっても、撮影時のコントラストを変化させるための照明等がなくても、ワークの重なりの有無を判定できる。
上記態様において、前記コンベヤの搬送速度を取得するコンベヤ情報取得手段を備え、前記ワーク識別手段が、前記コンベヤ情報取得手段により取得された搬送速度と、前記撮影手段により異なる時刻に取得された複数の３次元画像とを用いて、同一の前記ワークの３次元形状および姿勢を特定してもよい。
コンベヤによってワークを一方向に移動させながら、異なる時刻に撮影手段によりワークを撮影することにより、同一のワークに対して異なる視点から３次元画像を取得することができる。一の視点から取得された３次元画像には含まれていないワークの３次元形状が他の視点から取得された３次元画像に含まれている場合がある。そして、コンベヤ情報取得手段により取得されたコンベヤの搬送速度を用いて、取得された３次元画像を相互に対応づけることができる。これにより、ワークの３次元形状および姿勢をより正確に特定することができる。
上記態様において、前記ワークが他とは重ならずに前記コンベヤにより搬送されているときに、前記ワーク識別手段により特定された前記ワークの３次元形状および姿勢を、新たな前記基準ワークの３次元形状および姿勢として前記記憶手段に記憶させる基準ワーク設定手段を備えていてもよい。
このようにすることで、記憶手段に記憶されていない新たなワークでも、他のワークと重なっていない状態でコンベヤにより搬送されて３次元形状および姿勢を特定することができる場合には、新たな基準ワークの３次元形状および姿勢として記憶手段に記憶することができる。これにより、その後のワークの重なり判定を行うことができる。
上記態様において、前記ワーク識別手段により検出された前記ワークの３次元形状の外側に所定の干渉領域を設定する干渉領域設定手段と、前記撮影手段により取得された３次元画像において、前記干渉領域設定手段により設定された前記干渉領域と他の前記ワークとの干渉の有無を判定する干渉判定手段とを備えていてもよい。
このようにすることで、ワーク識別手段によりワークの３次元形状が検出されると、干渉領域設定手段によりワークの３次元形状の外側に所定の干渉領域が設定される。撮影手段により取得された３次元画像において、干渉領域と他のワークとの干渉が発生しているか否かが判定される。干渉領域に干渉している他のワークが存在する場合には、ワーク同士が重なっていなくても、例えば、ワークを取り扱うロボットハンドと他のワークとが接触する可能性がある。したがって、ワークの周囲の干渉領域と他のワークとの干渉の有無を判定することにより、他のワークの位置および姿勢を変化させずに済む。
上記態様において、前記干渉領域設定手段が、前記ワークの種類に応じて異なる前記干渉領域を設定してもよい。
このようにすることで、ワークの形状によっては、例えば、ロボットハンドがワークを把持する領域が異なる場合およびロボットハンドの形状自体が異なる場合があるため、全ての種類のワークに共通の干渉領域が設定される場合と比較して、ワークに対して行われる作業を必要以上に制限せずに済む。
上記態様において、入力を受け付ける入力手段を備え、前記干渉領域設定手段が、該入力手段が受け付けた入力に基づいて、前記ワークの前記干渉領域の形状および大きさの少なくとも一方を調整してもよい。
このようにすることで、入力手段が入力を受け付けることで、ワークに設定される干渉領域の形状および大きさを変化させることができ、例えば、コンベヤにより搬送されるワークに用いられるロボットハンドなどに応じて自由に干渉領域を調整できる。
上記態様において、前記撮影手段により取得された３次元画像および前記干渉領域設定手段により設定された前記干渉領域を表示する画像表示手段を備えていてもよい。
このようにすることで、物品搬送装置を使用するユーザは、画像表示手段に表示されるワークの３次元形状および干渉領域を目視により確認しながら、自由に干渉領域を変更できる。
また、本発明の他の態様は、上記の物品搬送装置と、前記重なり判定手段により他の前記ワークとの重なりがないと判定された前記ワークに対して作業を行い、前記重なり判定手段により他の前記ワークとの重なりがあると判定された前記ワークに対して作業を行わないロボットとを備えるロボットシステムを提供する。
本態様によれば、物品搬送装置のコンベヤにより搬送されているワークの内、他のワークとの重なりが無いワークに対してのみロボットが作業を行うため、重なっている他のワークにロボットが接触して、他のワークの位置および姿勢を変化させてしまうことを防止することができる。
また、本発明の他の態様は、コンベヤにより搬送されているワークを撮影して３次元画像を取得する撮影ステップと、取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別ステップと、該ワーク識別ステップにより検出された前記ワークの３次元形状および姿勢と、記憶されている基準ワークの３次元形状および姿勢とに基づいて、前記ワークと他のワークとの重なりの有無を判定する重なり判定ステップとを含む物品搬送方法を提供する。
本発明によれば、コンベヤにより搬送される複数のワークの重なりを正確に判定して、搬送される複数のワークに対して安定して作業を行うことができるという効果を奏する。
本発明の実施形態に係る物品搬送装置を備えるロボットシステムの概略斜視図である。 制御部および制御部の周辺機器のブロック図である。 コンベヤにより搬送されている複数のワークを示す概略図である。 ワークおよびワークに設定された干渉領域を示す斜視図である。 ワークに設定された干渉領域および複数のワークの位置関係を示す斜視図である。 基準ワーク設定処理のフローチャートある。 作業対象ワーク決定処理のフローチャートである。 コンベヤにより搬送されている２つのワークが写っている３次元画像を時系列に並べた概略図である。 重なっている２つのワークの位置関係を示す斜視図である。 ワークに設定された干渉領域に干渉しているワークを示す斜視図である。
本発明の実施形態に係る物品搬送装置１０を備えるロボットシステム１００について、図面を参照しながら以下に説明する。
本実施形態に係るロボットシステム１００は、図１に示されるように、複数のワークを搬送する物品搬送装置１０と、物品搬送装置１０により搬送されるワークに対して各種作業を行うロボット１とを備えている。
ロボット１は、例えば、６個の軸Ｊ１〜Ｊ６を有する垂直多関節型ロボットである。ロボット１は、図１に示されるように、床面に固定されたベース２と、鉛直な第１軸Ｊ１回りにベース２に対して回転可能に支持された旋回胴３と、水平な第２軸Ｊ２回りに旋回胴３に対して回転可能に支持された第１アーム４と、水平な第３軸Ｊ３回りに第１アーム４に対して回転可能に支持された第２アーム５と、該第２アーム５に対して第３軸Ｊ３と捻れの位置関係にある第４軸Ｊ４回りに回転可能に支持された第１手首要素６と、第４軸Ｊ４に直交する第５軸Ｊ５回りに第１手首要素６に対して回転可能に支持された第２手首要素７と、第５軸Ｊ５に直交する第６軸Ｊ６回りに第２手首要素７に対して回転可能に支持された第３手首要素８とを備えている。
６個の軸Ｊ１〜Ｊ６のそれぞれは、回転駆動するためのモータＭ１，Ｍ２，Ｍ３，Ｍ４（Ｊ５，Ｊ６についてはモータは図示されていない。）と、モータの回転角度を検出する図示しないエンコーダとを備えている。制御部６０から送信される制御信号により、各軸Ｊ１〜Ｊ６のエンコーダから検出されるモータの回転角度を用いて、モータを回転駆動させるフィードバック制御が行われている。
物品搬送装置１０は、図１に示されるように、複数のワークＷ１，Ｗ２を搬送するコンベヤ１１と、コンベヤ１１の搬送速度を検出するエンコーダ（コンベヤ情報取得手段）１２と、コンベヤ１１上における所定の範囲の３次元画像を取得する３次元カメラ（撮影手段）４０と、ユーザからの入力を受け付ける操作部（入力手段）５０と、受け付けた入力および各種制御に応じて画像を表示するモニタ（画像表示手段）７０と、操作部５０が受け付けた入力およびロボットシステム１００全体の制御を行う制御部６０と、物品搬送装置１０により搬送されるワークに関連するデータを記憶する記憶部（記憶手段）８０とを備えている。
コンベヤ１１は、図示しないモータの回転により所定の速度で図１に示される矢印の方向に移動している。エンコーダ１２により取得されたコンベヤ１１の搬送速度についての情報は、制御部６０に送信される。制御部６０は、エンコーダ１２により取得された搬送速度を用いて、コンベヤ１１の搬送速度に対してフィードバック制御を行っている。
３次元カメラ４０は、コンベヤ１１上の所定の範囲を撮影するため、コンベヤ１１により搬送されているワークＷ１，Ｗ２の３次元画像を取得するようになっている。３次元カメラ４０により取得された３次元画像の画像データは、制御部６０に送信される。
制御部６０は、図示しないＣＰＵと、ＲＯＭと、ＲＡＭと、メモリとを有している。制御部６０は、記憶部８０に格納されたプログラムを読み込んで、ＲＡＭに一時的に読出および格納を行うことで、各種プログラムに対応する機能を実行できる。
図２には、制御部６０および制御部６０の制御に関連する各部のブロック図が示されている。図２に示されるように、制御部６０は、３次元カメラ４０により取得された３次元画像に各種処理を行う画像処理部６１と、コンベヤ１１により搬送されているワークを検出するワーク特定部（ワーク識別手段、基準ワーク設定手段）６２と、検出されたワークが他のワークと重なっているか否かを判定する重なり判定部（重なり判定手段）６３と、検出されたワークの周囲における所定の範囲を干渉領域として設定する干渉領域設定部（干渉領域設定手段）６５と、ワークに設定された干渉領域に他のワークが干渉しているか否かを判定する干渉判定部（干渉判定手段）６４と、ロボット１が行う作業を制御する作業制御部６９とを備えている。
画像処理部６１は、３次元カメラ４０から受信した画像データに周知の画像処理、例えば二値化処理を行い、これにより画像中で各ワークの輪郭等を際立たせる。
ワーク特定部６２は、画像処理部６１により画像処理が行われた３次元画像を用いて、コンベヤ１１により搬送されているワークの３次元形状および姿勢を特定するようになっている。特定されたワークの３次元形状および姿勢は、記憶部８０に記憶される。
ワーク特定部６２は、特定したワークの３次元形状および姿勢と、記憶部８０に予め記憶されている複数の基準ワークの３次元形状および基準位置姿勢とを比較することで、特定したワークがいずれの基準ワークと同じワークであるか否かを判定する。基準ワークとは、ロボット１の作業対象の候補となるワークであり、予め記憶部８０に３次元モデルのＣＡＤ（computer-aided design）データと、基準となる１つの姿勢である基準位置姿勢とが対応付けられて記憶されている。基準ワークの基準位置姿勢は、基準ワークが他のワークに重ならずにコンベヤ１１により搬送されている状態の姿勢である。
また、ワーク特定部６２は、まだ基準ワークとして記憶部８０に記憶されていないワークを、新たな基準ワークとして設定して記憶部８０に記憶できるようになっている。新たな基準ワークを設定する際には、まず、基準ワークとして設定されるワークが他のワークと重なり合っていない状態でコンベヤ１１により搬送されて、３次元カメラ４０より当該ワークの３次元画像が取得される。ワーク特定部６２は、取得された３次元画像に基づき、特定したワークの３次元形状および姿勢を、新たに設定する基準ワークの３次元形状および基準位置姿勢として設定するようになっている。
重なり判定部６３は、コンベヤ１１により複数のワークが搬送されている場合に、あるワークと別のワークとが重なり合っているか否かを判定する（以下では、「重なり判定を行う」ともいう）。重なり判定では、対象となるワークがワーク特定部６２によりいずれの基準ワークと同一のワークであるか否かが特定された後に、重なり判定部６３が、ワーク特定部６２により特定されたワークの姿勢と、基準ワークの基準位置姿勢と比較することで、ワークの重なりを判定する。具体的には、重なり判定部６３は、特定されたワークの姿勢を基準位置姿勢と比較して、下記２つのいずれの条件も満たさない場合にワークの重なりがないと判定する。一方で下記２つのいずれかの条件を満たす場合には、特定されたワークは、他のワークと重なっていると判定される。
１ ワークにおける高さ方向（Ｚ方向）が異なる。
２ コンベヤ１１の平面に平行なｘ軸回りまたはｙ軸回りに回転している（Ｒｏｌｌ角またはＰｉｔｃｈ角あり）。
なお、本実施形態では、ワークの高さ方向は、特定されたワークの重心の高さにより決定される。
図３には、コンベヤ１１により搬送されていて図１のワークＷ１と同一形状を有するワークＷＫ１ａ〜ＷＫ１ｇと、ワークＷ１とは異なる形状で互いに同一形状を有するワークＷＫ３ａ〜ＷＫ３ｄとが示されている。図３に示される例では、上記２つの条件に照らし合わせて、左から順にワークＷＫ１ｂ，ＷＫ３ａ，ＷＫ１ｄ，ＷＫ１ｆが重なっているワークとして判定される。具体的には、ワークＷＫ１ｂ，ＷＫ１ｄ，ＷＫ１ｆは、コンベヤ１１の搬送面に対して傾いているため、上記の基準位置姿勢と異なる２つの条件を満たしている。ワークＷＫ３ａは、コンベヤ１１の搬送面に対して傾いていないが、他のワークＷＫ１ｃに乗っているために高さ方向が異なり、上記の条件１を満たしている。
干渉領域設定部６５は、３次元画像上において、ワーク特定部６２により特定されたワークの３次元形状の外形周りに、所定の干渉領域を設定するようになっている。干渉領域は、例えば、ワークがコンベヤ１１により搬送されているときに、ロボット１のハンド等によって把持される空間に相当する領域として設定される。本実施形態では、記憶部８０に記憶されている各基準ワークに、各干渉領域が対応付けられて記憶されている。ワーク特定部６２により新たな基準ワークが設定される場合には、操作部５０がユーザの操作を受け付けることで、新たな基準ワークに干渉領域を設定できるようになっている。干渉領域設定部６５は、コンベヤ１１により搬送されているワークが基準ワークと同一のワークであると特定されると、当該基準ワークに設定されている干渉領域を特定されたワークに設定するようになっている。干渉領域としては、例えば、図３に示されるワークＷＫ１ａに設定された干渉領域ＩＲ１ａおよびワークＷＫ３ｃに設定された干渉領域ＩＲ３ａと、図４に示されるワークＷ４の干渉領域ＩＲ４などが一例として挙げられる。
干渉領域設定部６５は、基準ワークおよび基準ワークに設定されている干渉領域をモニタ７０に表示させることができる。干渉領域設定部６５は、操作部５０が受け付けた操作に応じて、設定されている干渉領域の大きさおよびワークに干渉領域が設定される位置を変更して、変更した干渉領域をワークに対応付けてモニタ７０に表示させることができる。
干渉判定部６４は、コンベヤ１１により搬送されているワークについて、ワーク特定部６２により特定されたワークの３次元形状および姿勢と、干渉領域設定部６５により基準ワークに設定された干渉領域とを用いて、特定されたワークに設定された干渉領域に他のワークが干渉しているか否かを判定する（以下では、「干渉判定を行う」ともいう）。干渉判定部６４は、干渉領域に他のワークが存在している場合に干渉があると判定する。また、図５に示されるように、ワークＷ２ｂに設定された干渉領域ＩＲ２ｂの高さ方向上方に、他のワークとしてワークＷ４の上に乗っているワークＷ２ａが存在している場合にも、干渉判定部６４は、干渉があると判定するようになっている。
作業制御部６９は、操作部５０が受け付けた操作に応じて、ロボット１を制御する。具体的には、作業制御部６９は、コンベヤ１１により搬送されているワークに対して各種作業を行うために、ロボット１の各軸Ｊ１〜Ｊ６のモータの回転を制御する。また、作業制御部６９は、エンコーダ１２の検出値を用いて、コンベヤ１１の搬送速度を決めるコンベヤ用モータ１３に対してフィードバック制御を行う。
以下では、コンベヤ１１により搬送されているワークを新たな基準ワークとして設定する基準ワーク設定処理と、重なり判定部６３により行われる重なり判定および干渉判定部６４により行われる干渉判定を含む作業対象ワーク決定処理とについて、各フローチャートを用いて説明する。
図６に示される基準ワーク設定処理では、初めに、新たに基準ワークとして設定されるワークが、コンベヤ１１により搬送される（ステップＳ１）。コンベヤ１１により搬送されているワークが、３次元カメラ４０により撮影される(ステップＳ２)。
ワーク特定部６２は、３次元カメラにより取得されたワークの３次元画像を用いて、ワークの３次元形状および姿勢を特定し、特定した３次元形状を基準ワークの３次元形状として設定し、特定した姿勢を基準ワークの基準位置姿勢として設定する（ステップＳ３）。次に、干渉領域設定部６５は、新たに設定された基準ワークに対して、干渉領域を設定すると（ステップＳ４）、基準ワーク設定処理は終了する。本実施形態では、基準ワークがモニタ７０に表示され、操作部５０が受け付けた操作により干渉領域が設定される。干渉領域が設定されると、干渉領域設定部６５は、新たに設定した基準ワークと、当該基準ワークに対して設定した干渉領域とを対応付けて記憶部８０に記憶させる。
図７は、ワークに対して重なり判定および干渉判定を行って、ロボット１が実際に作業を行うワークである作業対象ワークを決定する作業対象ワーク決定処理のフローチャートである。作業対象ワーク決定処理では、初めに、３次元カメラ４０によるコンベヤ１１上の所定の範囲の撮影を開始する撮影ステップを行う（ステップＳ１１）。３次元カメラ４０は、動画としてコンベヤ１１における所定の範囲を撮影する。
ワーク特定部６２は、コンベヤ１１が予め設定された一定距離を移動したか否かを判定する（ステップＳ１２）。ワーク特定部６２は、エンコーダ１２によりコンベヤ１１の移動距離を検出する。なお、コンベヤ１１の移動距離は、コンベヤ１１の搬送速度と経過時間とを用いて算出されてもよい。ワーク特定部６２は、コンベヤ１１が一定距離を移動していないと判定した場合には（ステップＳ１２：ＮＯ）、引き続き、コンベヤ１１が一定距離を移動するのを待機する。
ワーク特定部６２は、コンベヤ１１が一定距離を移動したと判定した場合には（ステップＳ１２：ＹＥＳ）、コンベヤ１１が一定距離を移動した時点で３次元カメラ４０により取得される３次元画像から、ワークを検出する（ステップＳ１３）。３次元画像の中からワークが検出されない場合には（ステップＳ１３：ＮＯ）、ステップＳ１２以降の処理が実行される。ワーク特定部６２は、３次元画像の中からワークを検出した場合には（ステップＳ１３：ＹＥＳ）、検出したワークをトラッキングする（ステップＳ１４）。
なお、本実施形態の物品搬送装置１０では、コンベヤ１１により搬送される複数種類のワークは、作業対象ワークとなり得るワークであり、かつ、記憶部８０に記憶されている基準ワークと同一のワークである。
次に、ワーク特定部６２は、コンベヤ１１が一定距離を移動した後に３次元カメラ４０により取得される次の３次元画像の中から、トラッキングしているワークを検出できるか否かを判定する（ステップＳ１５）。この処理では、換言すると、トラッキングしているワークがコンベヤ１１により搬送されることで、３次元カメラ４０の撮影範囲外に移動してしまったか否かが判定されている。ワーク特定部６２は、３次元画像の中にトラッキングしているワークが存在する場合には（ステップＳ１５：ＹＥＳ）、引き続き、当該ワークをトラッキングする（ステップＳ１４）。
ステップＳ１５の処理において、３次元カメラ４０により取得された３次元画像の中から、トラッキングしていたワークが検出されなくなった場合には（ステップＳ１５：ＮＯ）、ワーク特定部６２は、トラッキングしていたワークが写っている複数の３次元画像を用いて、トラッキングしていたワークの３次元形状および姿勢を特定し、いずれの基準ワークと同一のワークであるか否かを特定するワーク識別ステップを行う（ステップＳ１６）。ワーク特定部６２は、トラッキングしていたワークが写っている複数の３次元画像におけるワークの各画像を対応付けることで、ワークの３次元形状および姿勢を特定できる。
図８には、コンベヤ１１により搬送されている２つのワークＷ２，Ｗ４が写っている５つの３次元画像ＩＭ１〜ＩＭ５が示されている。なお、図８の３次元画像ＩＭ１〜ＩＭ５におけるコンベヤの移動方向は、ワークＷ２からワークＷ４へと向かう方向である。初めに取得された３次元画像ＩＭ１では、図８（ａ）に示されるように、ワークＷ４の進行方向側の側面のみが検出される。２番目に取得された３次元画像ＩＭ２および３番目に取得された３次元画像ＩＭ３では、図８（ｂ），（ｃ）に示されるように、２つのワークＷ２，Ｗ４の各上面が検出される。４番目に取得された３次元画像ＩＭ４では、図８（ｄ）に示されるように、ワークＷ４の進行方向逆側の側面が新たに検出される。５番目に取得された３次元画像ＩＭ５では、図８（ｅ）に示されるように、ワークＷ２の進行方向逆側の側面が新たに検出される。以上のように、図８（ａ）〜（ｅ）に示される例では、２種類のワークＷ２，Ｗ４がコンベヤ１１により搬送されている場合に、ワーク特定部６２が、５つの３次元画像から検出された各ワークＷ２，Ｗ４における上面および側面の３次元画像を用いて、ワークＷ２，Ｗ４の３次元形状および姿勢を特定する。
図７に示されるステップＳ１６の処理が行われると、重なり判定部６３は、３次元カメラ４０により取得された３次元画像を用いて、３次元形状および姿勢が特定されたワーク（以降、「形状特定ワーク」ともいう）と他のワークとの重なりを、ステップＳ１８，１９の２つの処理を行うことで判定する。重なり判定部６３は、まず、形状特定ワークの上面が隠れているか否かを判定する（ステップＳ１７）。図９に示されるように重なっている２つのワークＷ２ａ，Ｗ２ｂは、同一の３次元形状を有するワークである。本実施形態では、コンベヤ１１により搬送されるワークの種類が限定されているため、ワークＷ２ａ，Ｗ２ｂは、上面および側面の全面の画像が取得されなくても、ワーク特定部６２により形状特定ワークとして特定されている。図９に示される例では、ワークＷ２ａの上面の一部にワークＷ２ｂが重なっているため、３次元カメラ４０により当該上面を撮影できない。これにより、ワークＷ２ａは、上面が隠れていると判定される。
ステップＳ１７の処理において、形状特定ワークの上面が隠れていると判定されると（ステップＳ１７：ＹＥＳ）、後述のステップＳ２１の処理が実行される。形状特定ワークの上面が隠れていない、すなわち、形状特定ワークの上面全面の画像が取得されていると判定された場合には（ステップＳ１７：ＮＯ）、次に、重なり判定部６３は、形状特定ワークの姿勢と基準ワークの基準位置姿勢とを比較することで、形状特定ワークと他のワークとの重なりの有無を判定する重なり判定ステップ（ステップＳ１８）を実行する。形状特定ワークと同一の形状を有する基準ワークの基準位置姿勢における高さ方向の相違と、基準ワークにおけるｘ軸回りまたはｙ軸回りの回転との２つの条件を、形状特定ワークの姿勢と比較することで、重なり判定部６３は、形状特定ワークと他のワークとの重なりの有無を判定する。
図９に示されるように、形状特定ワークであるワークＷ２ｂの姿勢と、ワークＷ２ｂと同一形状の基準ワークの基準位置姿勢とを比較すると、ワークＷ２ｂの重心は、ワークＷ２ｂがワークＷ２ａに重なっていない姿勢における重心よりも高く、ワークＷ２ｂの姿勢は、ｘ軸回りとｙ軸回りとの少なくとも一方の回転角度が異なる。そのため、ワークＷ２ｂは、他のワークであるワークＷ２ａに重なっていると判定される。
図７に示されるステップＳ１８の処理において、形状特定ワークの姿勢が基準位置姿勢と異なると判定された場合には（ステップＳ１８：ＮＯ）、後述のステップＳ２１の処理が実行される。一方で、形状特定ワークの姿勢が基準位置姿勢と同じであると判定された場合には（ステップＳ１８：ＹＥＳ）、干渉判定部６４が、形状特定ワークに設定された干渉領域に他のワークが干渉しているか否かを判定する（ステップＳ１９）。形状特定ワークに設定される干渉領域は、形状特定ワークと同一の３次元形状を有する基準ワークに予め設定されている干渉領域である。
形状特定ワークに設定された干渉領域に他のワークが干渉していないと判定された場合には（ステップＳ１９：ＮＯ）、形状特定ワークをロボット１が作業を行う作業対象ワークとして決定する（ステップＳ２０）。形状特定ワークに設定された干渉領域に他のワークが干渉していると判定された場合には（ステップＳ１９：ＹＥＳ）、形状特定ワークをロボット１による作業を行わない非作業対象ワークとして決定する（ステップＳ２１）。
図１０に示されている２つのワークＷ２ａ，Ｗ２ｂは、同一の３次元形状を有するワークであり、同一の領域である干渉領域ＩＲ２ａ，ＩＲ２ｂがそれぞれに設定されている。図１０に示されるように、ワークＷ２ａに設定された干渉領域ＩＲ２ａには、他のワークであるワークＷ２ｂが干渉しているため、ワークＷ２ａは、非作業対象ワークとして決定される。一方で、ワークＷ２ｂの干渉領域ＩＲ２ｂには、他のワークが干渉していないため、ワークＷ２ｂは、作業対象ワークとして決定される。
図７に示されるステップＳ２０，２１の処理が実行されると、作業対象ワーク決定処理を終了する否かが判定される（ステップＳ２２）。例えば、操作部５０が受け付けた操作に応じて、作業対象ワーク決定処理が引き続き行われる場合には（ステップＳ２２：ＮＯ）、ステップＳ１２以降の処理が行われ、作業対象ワーク決定処理が終了する場合には（ステップＳ２２：ＹＥＳ）、当該処理が終了する。
このように構成された本実施形態に係る物品搬送装置１０では、コンベヤ１１により搬送されているワークの３次元画像が３次元カメラ４０により取得される。取得された３次元画像から検出されたワークの３次元形状および姿勢と、記憶部８０に記憶されている基準ワークの３次元形状とが比較されて、検出されたワークが、基準ワークと同一の３次元形状を有するワークであるか否かが判定される。検出されたワークが基準ワークと同一の３次元形状を有するワークである場合に、検出されたワークに重なり判定が行われる。重なり判定により、検出されたワークに他のワークが重なっている場合には、検出されたワークにロボット１による作業が行われない。
検出されたワークに他のワークが重なっている状態で、検出されたワークに対してロボット１による作業が行われると、他のワークの位置および姿勢が変化してしまう。そのため、他のワークが重なっているワークをロボット１の作業対象から外すことで、他のワークの損傷および他のワークにおける位置および姿勢変化に基づく影響を事前になくし、ワークに対して安定して作業を行うことができる。また、本実施形態の物品搬送装置１０では、コンベヤ１１により搬送されているワークの３次元画像を３次元カメラにより取得することで、ワークの３次元形状および姿勢を特定している。これにより、コンベヤ１１の色とワークの色とが同色であっても、ワークを撮影する際にコントラストを変化させるための照明等がなくても、ワークの重なりを正確に判定できる。
また、本実施形態に係る物品搬送装置１０では、干渉領域設定部６５によりワークの周囲に干渉領域が設定され、コンベヤ１１により搬送されているワークの干渉領域に他のワークの干渉の有無が判定される。３次元画像の中から検出されたワークに設定された干渉領域に他のワークが干渉していない場合、かつ、検出されたワークと他のワークとの重なりがない場合には、検出されたワークにロボット１による作業が行われる。一方で、検出されたワークの干渉領域に他のワークが干渉している場合には、検出されたワークにロボットによる作業が行われない。検出されたワークに他のワークが直接干渉していなくても、ロボット１によるハンド等を用いた作業では、ハンド等が他のワークに接触してしまうおそれがある。そのため、ロボット１による作業対象のワークの干渉領域に他のワークが干渉している場合に、当該ワークを作業対象から外すことで、他のワークの損傷および他のワークにおける位置および姿勢変化における影響を事前になくすことができる。
さらに、本実施形態では、検出されたワークに設定された干渉領域に他のワークが干渉していなくても、干渉領域の高さ方向上方に他のワークが存在する場合にも、検出されたワークに干渉があると判定される。これにより、実際にハンド等がワークを把持する部分だけでなく、ハンド等がワークを把持するために移動する領域も考慮されているため、ハンド等が他のワークに接触してしまうおそれをより低減できる。
上記実施形態では、物品搬送装置１０および物品搬送装置１０を備えるロボットシステム１００の一例について説明したが、物品搬送装置１０およびロボットシステム１００については、種々変形可能である。例えば、物品搬送装置１０がモニタ７０および操作部５０を備えていなくもよいし、ロボットシステム１００が備えるロボット１は、垂直多関節型ロボット以外のロボット、例えば、水平多関節型ロボットなどのロボットであってもよい。制御部６０が、コンベヤ１１と一体化された装置として構成されてもよい。コンベヤ１１の移動量および搬送速度は、エンコーダ１２が用いられることで検出されたが、例えば、３次元カメラ４０により取得される３次元画像または他のカメラにより取得された画像が用いられることで検出されてもよい。また、ワーク特定部６２は、基準ワーク設定処理を行わなくてもよいし、作業対象ワーク決定処理における重なり判定を行って干渉判定を行わなくてもよい。
上記実施形態では、コンベヤ１１に搬送されるワークは、予め記憶部８０に記憶されている基準ワークと同一のワークであり、かつ、作業対象ワークになり得るワークであったが、ロボット１による作業対象ではないワークであってもよいし、記憶部８０に３次元形状および姿勢が記憶されていない基準ワークとは異なるワークであってもよい。
上記実施形態では、図６に示される基準ワーク設定処理において、ワークに対して１回の基準ワーク設定処理が行われることで、基準ワークとして３次元形状および基準位置姿勢が設定されたが、コンベヤ１１により搬送されるワークの姿勢を変更して複数回の基準ワーク設定処理が行われてもよい。例えば、複雑な形状を有するワークに対して、複数回の基準ワーク設定処理が行われることでより正確なワークの３次元形状が設定される。また、複数回の基準ワーク設定処理を行う場合に、例えば、ユーザが操作部５０を操作することで、得られた複数の基準位置姿勢から１つの基準位置姿勢を選択してもよい。
上記実施形態では、図８に示されるように、コンベヤ１１により搬送されているワークに対して、異なる視点からの複数の３次元画像が取得されることでワークの３次元形状および姿勢が特定された。他の形態では、例えば、コンベヤ１１により搬送される複数種類のワークの３次元形状が大きく異なる場合には、１つの３次元画像が取得されることでワーク特定部６２によりワークの３次元形状および姿勢を特定することも可能である。
上記実施形態では、検出されたワークの姿勢と基準位置姿勢とが比較される場合に、ワークにおける高さ方向は、ワークの重心によって判定されたが、例えば、特定の頂点または特定の面における重心などの他の基準によって判定されてもよい。
また、干渉判定では、検出されたワークの干渉領域の上方に位置する他のワークも考慮されたが、コンベヤ１１に対するロボット１の位置およびロボット１のハンドの形状等によっては、干渉領域の上方にさらに加えた領域または上方とは異なる領域が、干渉判定により考慮されてもよい。
また、制御部６０は、エンコーダ１２により取得されたコンベヤ１１の搬送速度をコンベヤ情報として取得していたが、コンベヤ情報として、コンベヤ１１の位置情報、コンベヤ１１に対するロボット１の位置情報、およびコンベヤ１１に対する３次元カメラ４０の位置情報を取得してもよい。
１ ロボット
１０ 物品搬送装置
１１ コンベヤ
１２ エンコーダ（コンベヤ情報取得手段）
４０ ３次元カメラ（撮影手段）
５０ 操作部（入力手段）
６２ ワーク特定部（ワーク識別手段、基準ワーク設定手段）
６３ 重なり判定部（重なり判定手段）
６４ 干渉判定部（干渉判定手段）
６５ 干渉領域設定部（干渉領域設定手段）
７０ モニタ（画像表示手段）
８０ 記憶部（記憶手段）
１００ ロボットシステム
ＩＭ１〜ＩＭ５ ３次元画像
ＩＲ１ａ，ＩＲ２ａ，ＩＲ２ｂ，ＩＲ３ａ，ＩＲ４ 干渉領域
Ｗ１，Ｗ２，Ｗ２ａ，Ｗ２ｂ，Ｗ４，ＷＫ３ａ〜ＷＫ３ｄ，ＷＫ１ａ〜ＷＫ１ｇ ワーク
Ｓ１１ 撮影ステップ
Ｓ１６ ワーク識別ステップ
Ｓ１８ 重なり判定ステップ

Claims (9)

  1. ワークを搬送するコンベヤと、
    該コンベヤにより搬送されている前記ワークを撮影して３次元画像を取得する撮影手段と、
    該撮影手段により取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別手段と、
    基準ワークの３次元形状と、他のワークと重なっていない状態における前記基準ワークの姿勢とを記憶する記憶手段と、
    該記憶手段により記憶されている前記基準ワークの３次元形状および姿勢と、前記ワーク識別手段により検出された前記ワークの３次元形状および姿勢とに基づいて、前記ワークの重なりの有無を判定する重なり判定手段とを備える物品搬送装置。
  2. 前記コンベヤの搬送速度を取得するコンベヤ情報取得手段を備え、
    前記ワーク識別手段が、前記コンベヤ情報取得手段により取得された搬送速度と、前記撮影手段により異なる時刻に取得された複数の３次元画像とを用いて、同一の前記ワークの３次元形状および姿勢を特定する請求項１に記載の物品搬送装置。
  3. 前記ワークが他とは重ならずに前記コンベヤにより搬送されているときに、前記ワーク識別手段により特定された前記ワークの３次元形状および姿勢を、新たな前記基準ワークの３次元形状および姿勢として前記記憶手段に記憶させる基準ワーク設定手段を備える請求項２に記載の物品搬送装置。
  4. 前記ワーク識別手段により検出された前記ワークの３次元形状の外側に所定の干渉領域を設定する干渉領域設定手段と、
    前記撮影手段により取得された３次元画像において、該干渉領域設定手段により設定された前記干渉領域と他の前記ワークとの干渉の有無を判定する干渉判定手段とを備える請求項１から請求項３のいずれかに記載の物品搬送装置。
  5. 前記干渉領域設定手段が、前記ワークの種類に応じて異なる前記干渉領域を設定する請求項４に記載の物品搬送装置。
  6. 入力を受け付ける入力手段を備え、
    前記干渉領域設定手段が、該入力手段が受け付けた入力に基づいて、前記ワークの前記干渉領域の形状および大きさの少なくとも一方を調整する請求項４または請求項５に記載の物品搬送装置。
  7. 前記撮影手段により取得された３次元画像および前記干渉領域設定手段により設定された前記干渉領域を表示する画像表示手段を備える請求項４から請求項６のいずれかに記載の物品搬送装置。
  8. 請求項１から請求項７のいずれかに記載の物品搬送装置と、
    前記重なり判定手段により他の前記ワークとの重なりがないと判定された前記ワークに対して作業を行い、前記重なり判定手段により他の前記ワークとの重なりがあると判定された前記ワークに対して作業を行わないロボットとを備えるロボットシステム。
  9. コンベヤにより搬送されているワークを撮影して３次元画像を取得する撮影ステップと、
    取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別ステップと、
    該ワーク識別ステップにより検出された前記ワークの３次元形状および姿勢と、記憶されている基準ワークの３次元形状および姿勢とに基づいて、前記ワークと他のワークとの重なりの有無を判定する重なり判定ステップとを含む物品搬送方法。
JP2017249594A 2017-12-26 2017-12-26 物品搬送装置、ロボットシステムおよび物品搬送方法 Active JP6687591B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017249594A JP6687591B2 (ja) 2017-12-26 2017-12-26 物品搬送装置、ロボットシステムおよび物品搬送方法
US16/204,762 US11046530B2 (en) 2017-12-26 2018-11-29 Article transfer apparatus, robot system, and article transfer method
DE102018132213.5A DE102018132213B4 (de) 2017-12-26 2018-12-14 Artikelübertragungsvorrichtung, Robotersystem und Artikelübertragungsverfahren
CN201811577439.5A CN109955222B (zh) 2017-12-26 2018-12-20 物品搬运装置、机器人系统和物品搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017249594A JP6687591B2 (ja) 2017-12-26 2017-12-26 物品搬送装置、ロボットシステムおよび物品搬送方法

Publications (2)

Publication Number Publication Date
JP2019111640A true JP2019111640A (ja) 2019-07-11
JP6687591B2 JP6687591B2 (ja) 2020-04-22

Family

ID=66768396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017249594A Active JP6687591B2 (ja) 2017-12-26 2017-12-26 物品搬送装置、ロボットシステムおよび物品搬送方法

Country Status (4)

Country Link
US (1) US11046530B2 (ja)
JP (1) JP6687591B2 (ja)
CN (1) CN109955222B (ja)
DE (1) DE102018132213B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190086062A (ko) * 2018-01-11 2019-07-22 농업회사법인에코그로잉주식회사 태양광발전 병행 식물공장
JP2021045835A (ja) * 2019-09-20 2021-03-25 ファナック株式会社 ロボットシステム
KR20220043326A (ko) * 2020-09-29 2022-04-05 주식회사 포스코아이씨티 수하물 이중적재 판별 시스템 및 방법
JP7455010B2 (ja) 2020-06-29 2024-03-25 株式会社Ｎｔｔドコモ 検知装置及び検知プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4235539A3 (en) * 2015-09-11 2023-09-27 Berkshire Grey Operating Company, Inc. Robotic systems and methods for identifying and processing a variety of objects
US9937532B2 (en) 2015-12-18 2018-04-10 Berkshire Grey Inc. Perception systems and methods for identifying and processing a variety of objects
JP6500852B2 (ja) * 2016-07-11 2019-04-17 株式会社安川電機 ロボットシステム、ロボットの制御方法、ロボットコントローラ
JP7022036B2 (ja) * 2018-08-31 2022-02-17 ファナック株式会社 物品取出システム
US11691279B2 (en) 2019-04-25 2023-07-04 Berkshire Grey Operating Company, Inc. Systems and methods for maintaining vacuum hose life in hose routing systems in programmable motion systems
JP7227104B2 (ja) * 2019-07-26 2023-02-21 トヨタ自動車株式会社 作業量算出システム
EP4023398A4 (en) * 2019-08-26 2023-09-13 Kawasaki Jukogyo Kabushiki Kaisha INFORMATION PROCESSING DEVICE, CONFIGURATION DEVICE, IMAGE RECOGNITION SYSTEM, ROBOT SYSTEM, CONFIGURATION METHOD, LEARNING DEVICE, AND LEARNED MODEL GENERATION METHOD
CN110744546B (zh) * 2019-11-01 2022-06-07 云南电网有限责任公司电力科学研究院 一种缺陷修复机器人抓取非静止导线的方法及系统
CN110936355B (zh) * 2019-11-25 2021-06-22 广州微林软件有限公司 一种基于视觉测速定位的机械臂引导系统和方法
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
JP7434986B2 (ja) * 2020-02-12 2024-02-21 株式会社ダイフク 物品判別システム
CN111687836B (zh) * 2020-05-09 2021-12-17 徐策 一种多机械臂的协同控制方法及系统
CN111731837B (zh) * 2020-06-17 2021-10-15 浙江省机电设计研究院有限公司 一种基于工业机器人视觉识别的抓取系统
JP7336678B2 (ja) * 2020-12-15 2023-09-01 パナソニックＩｐマネジメント株式会社 ピッキング装置
CN112758641A (zh) * 2020-12-31 2021-05-07 国网山东省电力公司营销服务中心(计量中心) 一种流水线上物料姿态识别与矫正系统及方法
CN114906534B (zh) * 2022-04-25 2023-12-22 四川省自贡运输机械集团股份有限公司 一种带式输送机移动机器人定位方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08323669A (ja) * 1995-03-28 1996-12-10 Matsushita Electric Works Ltd 部品供給方法およびその装置
JP2010207989A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の把持システム及び同システムにおける干渉検出方法
JP2012055995A (ja) * 2010-09-07 2012-03-22 Fuji Electric Co Ltd ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
JP2014237188A (ja) * 2013-06-07 2014-12-18 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP2015157343A (ja) * 2014-02-25 2015-09-03 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、および制御方法
JP2017100216A (ja) * 2015-11-30 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法
JP2017533822A (ja) * 2014-10-29 2017-11-16 フィーブス イントラロジスティクス ソチエタ ペル アツィオニ コン ソチオ ウニコ 選別機械に物品を送り込むための装置と選別機械
JP2018122370A (ja) * 2017-01-30 2018-08-09 ファナック株式会社 少なくとも１つのセンサを用いた物品搬送装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876728A (en) 1985-06-04 1989-10-24 Adept Technology, Inc. Vision system for distinguishing touching parts
US6610953B1 (en) * 1998-03-23 2003-08-26 University Of Arkansas Item defect detection apparatus and method
JP3368244B2 (ja) 1999-12-28 2003-01-20 川崎重工業株式会社 ワークの配置位置決定方法
JP4809524B2 (ja) 2000-10-06 2011-11-09 セイコーインスツル株式会社 トラッキング方法、トラッキングシステム、及びトラッキング装置
AT507339B1 (de) 2008-09-26 2011-06-15 Stiwa Holding Gmbh Verfahren und anlage zum aufnehmen und/oder bearbeiten von objekten
JP5201411B2 (ja) 2008-11-21 2013-06-05 株式会社Ｉｈｉ バラ積みピッキング装置とその制御方法
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
JP2011230239A (ja) * 2010-04-28 2011-11-17 Honda Motor Co Ltd ワークの把持方法
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5430796B2 (ja) 2011-04-14 2014-03-05 三菱電機株式会社 ロボット制御装置
US20120290130A1 (en) * 2011-05-10 2012-11-15 Agile Planet, Inc. Method to Model and Program a Robotic Workcell
JP5464176B2 (ja) 2011-06-20 2014-04-09 株式会社安川電機 ピッキングシステム
US8958901B2 (en) * 2011-11-18 2015-02-17 Nike, Inc. Automated manufacturing of shoe parts
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
JP6270361B2 (ja) 2013-07-16 2018-01-31 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
WO2015136714A1 (ja) 2014-03-14 2015-09-17 オムロン株式会社 画像識別装置、画像センサ、画像識別方法
WO2015145982A1 (ja) * 2014-03-28 2015-10-01 日本電気株式会社 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
JP6360747B2 (ja) * 2014-08-22 2018-07-18 西部電機株式会社 不定形体位置推定方法、不定形体位置推定装置及びプログラム
JP5980873B2 (ja) 2014-10-17 2016-08-31 ファナック株式会社 ロボットの干渉領域設定装置
JP6472363B2 (ja) 2015-10-16 2019-02-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
JP6540472B2 (ja) 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP2017124450A (ja) 2016-01-12 2017-07-20 株式会社ソフトサービス ピックアップ装置
EP3200036B1 (en) 2016-01-29 2020-09-02 Quadient Technologies France Method and apparatus for optimizing automated packaging
US10682870B2 (en) * 2016-06-09 2020-06-16 Ricoh Company, Ltd. Conveyed object detector, conveyance device, device including movable head, conveyed object detecting method, and non-transitory recording medium storing program of same
JP7047249B2 (ja) * 2017-01-10 2022-04-05 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08323669A (ja) * 1995-03-28 1996-12-10 Matsushita Electric Works Ltd 部品供給方法およびその装置
JP2010207989A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の把持システム及び同システムにおける干渉検出方法
JP2012055995A (ja) * 2010-09-07 2012-03-22 Fuji Electric Co Ltd ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
JP2014237188A (ja) * 2013-06-07 2014-12-18 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP2015157343A (ja) * 2014-02-25 2015-09-03 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、および制御方法
JP2017533822A (ja) * 2014-10-29 2017-11-16 フィーブス イントラロジスティクス ソチエタ ペル アツィオニ コン ソチオ ウニコ 選別機械に物品を送り込むための装置と選別機械
JP2017100216A (ja) * 2015-11-30 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法
JP2018122370A (ja) * 2017-01-30 2018-08-09 ファナック株式会社 少なくとも１つのセンサを用いた物品搬送装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190086062A (ko) * 2018-01-11 2019-07-22 농업회사법인에코그로잉주식회사 태양광발전 병행 식물공장
JP2021045835A (ja) * 2019-09-20 2021-03-25 ファナック株式会社 ロボットシステム
JP7436170B2 (ja) 2019-09-20 2024-02-21 ファナック株式会社 ロボットシステム
JP7455010B2 (ja) 2020-06-29 2024-03-25 株式会社Ｎｔｔドコモ 検知装置及び検知プログラム
KR20220043326A (ko) * 2020-09-29 2022-04-05 주식회사 포스코아이씨티 수하물 이중적재 판별 시스템 및 방법
KR102457712B1 (ko) * 2020-09-29 2022-10-20 주식회사 포스코아이씨티 수하물 이중적재 판별 시스템 및 방법

Also Published As

Publication number Publication date
US11046530B2 (en) 2021-06-29
DE102018132213A1 (de) 2019-06-27
DE102018132213B4 (de) 2023-06-01
US20190193947A1 (en) 2019-06-27
JP6687591B2 (ja) 2020-04-22
CN109955222B (zh) 2021-12-07
CN109955222A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
US9604365B2 (en) Device and method of transferring articles by using robot
US7966094B2 (en) Workpiece picking apparatus
US10675759B2 (en) Interference region setting apparatus for mobile robot
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
EP2267658B1 (en) Shape detection system
JP6549655B2 (ja) 物品搬送装置
JP2019072792A (ja) 作業システム、物品に対する作業実施方法、およびロボット
Nerakae et al. Using machine vision for flexible automatic assembly system
CN106426162A (zh) 具备视觉传感器以及多个机器人的机器人系统
JP5289087B2 (ja) ワーク取り出し装置
CN111745617B (zh) 搬送装置和交接系统
CN107150032A (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
CN109834710B (zh) 机器人和机器人系统
US20210192784A1 (en) Vision system for a robotic machine
CN109916346B (zh) 一种基于视觉系统的工件平整度的检测装置及检测方法
JP4303411B2 (ja) トラッキング方法、及びトラッキングシステム
JP2014061561A (ja) ロボットシステムおよび物品製造方法
JP6750406B2 (ja) 搬入出装置の搬入出作業における失敗要因特定方法
JP7436170B2 (ja) ロボットシステム
JP6708142B2 (ja) ロボットの制御装置
WO2020157875A1 (ja) 作業座標作成装置
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190717

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200402

R150 Certificate of patent or registration of utility model

Ref document number: 6687591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150