JP2020049558A

JP2020049558A - 物品取り出しシステム

Info

Publication number: JP2020049558A
Application number: JP2018178721A
Authority: JP
Inventors: 岳山▲崎▼; Takeshi Yamazaki
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-09-25
Filing date: 2018-09-25
Publication date: 2020-04-02
Anticipated expiration: 2038-09-25
Also published as: JP7517788B2

Abstract

【課題】取り出し不可能と判定された物品の取り出しを可能にする。【解決手段】バラ積みされた１以上の物品Ｘおよび物品Ｘの周囲に配置される周辺物Ｙの３次元画像を取得する３次元画像取得部２と、物品Ｘを保持可能なツールＳを先端に備えるロボット４と、３次元画像取得部２により取得された３次元画像に基づいて、物品Ｘを認識し、認識された物品ＸのツールＳによる取り出し位置を算出する取り出し位置算出部と、取り出し位置算出部により算出された取り出し位置が、周辺物Ｙあるいは他の物品Ｘとの関係で取り出し可能か否かを判定する判定部と、判定部により取り出し不可能と判定された場合にその旨を報知する報知部７とを備える物品取り出しシステム１である。【選択図】図１

Description

本発明は、物品取り出しシステムに関するものである。

従来、複数の物品がコンテナ内にバラ積み状態で積載されている状態から、センサにより物品を認識して、ロボットの手先に取り付けられたエンドエフェクタにより、認識された物品の取り出しを行う物品取り出しシステムが知られている（例えば、特許文献１参照。）。特許文献１の物品取り出しシステムは、検出位置姿勢に近く、かつ、コンテナとエンドエフェクタとが干渉しない位置姿勢を計算して、その姿勢での取り出しを試みている。

特許第５１４４７８５号公報

しかしながら、特許文献１において試みる位置姿勢は最適な位置姿勢ではないため、取り出しに失敗することが多いという不都合がある。
本発明は、取り出し不可能と判定された物品の取り出しを可能にする物品取り出しシステムを提供することを目的としている。

本発明の一態様は、バラ積みされた１以上の物品および該物品の周囲に配置される周辺物の３次元画像を取得する３次元画像取得部と、前記物品を保持可能なツールを先端に備えるロボットと、前記３次元画像取得部により取得された前記３次元画像に基づいて、前記物品を認識し、認識された前記物品の前記ツールによる取り出し位置を算出する取り出し位置算出部と、該取り出し位置算出部により算出された前記取り出し位置が、前記周辺物あるいは他の前記物品との関係で取り出し可能か否かを判定する判定部と、該判定部により取り出し不可能と判定された場合にその旨を報知する報知部とを備える物品取り出しシステムである。

本態様によれば、３次元画像取得部により、バラ積みされた１以上の物品および周辺物の３次元画像が取得され、取り出し位置算出部により、３次元画像に基づいて物品が認識されかつ取り出し位置が算出される。算出された取り出し位置の情報に基づいてロボットの作動によりツールの姿勢および位置が調整され、ツールによる物品の取り出しが行われる都度に、判定部により取り出し可能か否かが判定される。取り出し可能と判定された場合には、ツールによる取り出しが行われ、取り出し不可能と判定された場合には、報知部によりその旨が報知される。

取り出し不可能な旨が報知されることにより、作業者が介入して、取り出し不可能な物品の荷姿を取り出し可能な状態に修正することが可能となる。すなわち、取り出し不可能なままロボットによる作業が終了してしまうことを防止することができる。

上記態様においては、前記ロボットおよび前記ツールの３次元モデルを生成する３次元モデル生成部と、前記３次元画像取得部により取得された前記３次元画像および前記３次元モデル生成部により生成された前記ロボットおよび前記ツールの前記３次元モデルを表示する表示部と、前記ロボットを手動で動作させる操作部とを備え、前記３次元モデル生成部が、前記操作部による前記ロボットの動作に伴って、前記表示部に表示される前記ロボットおよび前記ツールの前記３次元モデルを前記ロボットの動作に一致させるよう生成してもよい。

この構成により、通知を受けた作業者は、表示部に表示された物品および周辺物の３次元画像と、ロボットおよびツールの３次元モデルとを見ながら操作部を操作して、表示部内において、取り出し不可能と判定された物品にツールを近接させる。これにより、現実のロボットも操作部による操作に応じて動作させられて現実の物品にツールを近接させる。そして、表示部内において、ツールを物品に接触させることにより、現実の物品にツールを接触させて物品の荷姿を取り出し可能な状態に修正することができる。

また、上記態様においては、前記ツールと前記物品との接触を検出する接触検出部を備え、該接触検出部により接触が検出されたときに、前記３次元画像取得部が前記３次元画像の再取得を行ってもよい。
この構成により、表示部内においてツールを物品に近接させて両者を接触させると、現実のツールと物品とが接触して接触検出部により接触が検出される。この状態で３次元画像取得部が３次元画像を再取得するので、接触により変更された物品の荷姿を、再取得された３次元画像によって確認することができる。

また、上記態様においては、前記報知部により報知された際の前記３次元画像と、前記操作部による前記ロボットの動作履歴とを対応づけて記憶したデータベースを構築してもよい。
この構成により、判定部により取り出し不可能と判定された際の３次元画像と、その際に物品を取り出し可能にするためのロボットの動作履歴とが対応づけられてデータベースが構築される。十分なデータベースが構築された後には、機械学習により、３次元画像を取得するだけで、取り出し不可能な物品を取り出し可能にするロボットの動作を自動生成することが可能となる。

本発明によれば、取り出し不可能と判定された物品の取り出しを可能にすることができるという効果を奏する。

本発明の一実施形態に係る物品取り出しシステムを示す全体構成図である。図１の物品取り出しシステムの画像処理装置を示すブロック図である。図１の物品取り出しシステムの３次元カメラにより取得された３次元画像の一例を示す図である。図３の３次元カメラにより取得された３次元画像にロボットおよびツールの３次元モデルを併せて表示した画像例を示す図である。図１の物品取り出しシステムの動作を説明するフローチャートである。

本発明の一実施形態に係る物品取り出しシステム１について、図面を参照して以下に説明する。
本実施形態に係る物品取り出しシステム１は、図１に示されるように、コンテナＹの上方に下向きに配置され、コンテナＹ内にバラ積み状態に収容された多数の物品Ｘおよびコンテナ（周辺物）Ｙの３次元画像を取得する３次元カメラ（３次元画像取得部）２と、画像処理装置３と、ロボット４と、ロボット４の制御装置５と、制御装置５に備えられた教示操作盤（操作部）６と、モニタ（表示部、報知部）７とを備えている。

ロボット４は、例えば、多関節型ロボットであり、先端に物品Ｘを保持可能なツールＳを備えている。ツールＳは任意のものでよいが、例えば、物品Ｘを吸着可能な吸着パッドを備えるハンドである。

画像処理装置３は、図２に示されるように、３次元カメラ２により取得された３次元画像を処理して各物品Ｘを認識し、認識された物品ＸのツールＳによる取り出し位置を算出する取り出し位置算出部８と、取り出し位置算出部８により算出された取り出し位置が、コンテナＹあるいは他の物品Ｘとの関係で取り出し可能か否かを判定する判定部９とを備えている。
画像処理装置３はプロセッサにより構成されている。

例えば、図３に示されるように、物品Ｘが同一形状の円柱部材である場合に、取り出し位置算出部８は、ツールＳであるハンドの吸着パッドにより吸着する位置を取り出し位置として、図３に＋マークで示すように、物品Ｘの端面の中心位置を算出する。
判定部９は、１以上の物品Ｘについて取り出し位置が算出された端面に隣接する空間に、周囲のコンテナＹや他の物品Ｘ等が近接することによって、ツールＳであるハンドを挿入できる十分なスペースが存在するか否かによって、取り出し可能か否かを判定する。

例えば、図３に示す例では、斜線を付した物品Ｘの取り出し位置が算出された端面に隣接する空間には、比較的近い位置にコンテナＹが近接しているため、ツールＳであるハンドを挿入するための十分なスペースを確保できず、取り出し不可能であると判定される。
画像処理装置３による算出結果および判定結果は、制御装置５に送られる。制御装置５は、取り出し可能と判定された物品Ｘについて、取り出し位置算出部８により算出された取り出し位置が配置される物品Ｘの端面に面直にハンドの吸着パッドが近接させられる姿勢にロボット４を制御する。そして、ハンドの吸着パッドによって端面を吸着させ、コンテナＹ内から物品Ｘを取り出して、外部に搬送する。

取り出し可能と判定された全ての物品Ｘの取り出しが終了した場合には、３次元カメラ２により３次元画像が再度取得され、新たに取得された３次元画像について、画像処理装置３により取り出し位置の算出、取り出し可能か否かの判定および取り出し可能な物品Ｘの取り出しが繰り返される。判定の結果、取り出し可能な物品Ｘが存在せず、取り出し不可能な物品Ｘが残っている場合には、画像処理装置３は、モニタ７にその旨を表示（報知）する。

報知方法は任意でよいが、例えば、取り出し不可能な物品Ｘが存在することを文字または音声で報知し、あるいは、モニタ７に表示される３次元画像上において、取り出し不可能な物品Ｘの色を変えて表示すればよい。これにより取り出し不可能な物品Ｘが存在することを作業者に報知することができる。

また、画像処理装置３は、ロボット４およびツールＳの３次元モデルを生成する３次元モデル生成部１０を備えている。画像処理装置３は、制御装置５に接続され、制御装置５から、現実のロボット４の各軸の角度情報、現実のハンドの動作情報が入力される。３次元モデル生成部１０は、図４に示されるように、制御装置５から入力される各軸の角度情報およびハンドの動作情報に基づいて、ロボット４およびツールＳの３次元モデルを現実のロボット４およびツールＳと同じ位置および姿勢となるように生成してモニタ７に出力する。

教示操作盤６は、作業者により操作される。作業者が教示操作盤６を操作することにより、手動でロボット４を動作（ジョグ送り）させることができる。教示操作盤６の操作により現実のロボット４をジョグ送りすると、モニタ７上のロボット４の３次元モデルも同一位置に動作する。

作業者は、モニタ７に表示されている物品ＸおよびコンテナＹの３次元画像を見ながらロボット４を動作させ、ツールＳの３次元モデルを３次元画像上の取り出し不可能な物品Ｘに近接させる。そして、ツールＳによって物品Ｘを押し、あるいは吸着パッドによって他の面を吸着して物品Ｘに力を加えることにより、物品Ｘを移動させ、取り出し可能な荷姿に変更する。

なお、ロボット４、ツールＳまたは制御装置５に、ツールＳと物品Ｘとの接触を検出する接触検出部（図示略）を設け、接触が検出された時点で３次元カメラ２により再度、３次元画像を取得することにしてもよい。これにより、ツールＳにより力を加えることによって移動した後の物品Ｘの荷姿をモニタ７上において確認することができる。
接触検出部としては、接触検出用のセンサ、力センサ、あるいは、ロボット４のモータの電流変化の検出によって接触を検出するものを採用すればよい。

取り出し不可能と判定された全ての物品Ｘに対して、上記処理を行った後に、再度取得された３次元画像を用いて、取り出し位置の検出および取り出し可能か否かの判定を行って、取り出し可能な物品Ｘを取り出すことができる。

このように構成された本実施形態に係る物品取り出しシステム１の作用について以下に説明する。
本実施形態に係る物品取り出しシステム１を用いてコンテナＹ内にバラ積みされた物品Ｘを取り出すには、まず、図５に示されるように、コンテナＹの上方に下向きに配置された３次元カメラ２によってコンテナＹおよび全物品Ｘの３次元画像を取得する（ステップＳ１）。次いで、画像処理装置３の取り出し位置算出部８により、１以上の物品Ｘを認識し（ステップＳ２）、その取り出し位置を算出する（ステップＳ３）。

そして、取り出し位置が算出された一の物品Ｘについて、判定部９により、取り出し可能か否かの判定が行われ（ステップＳ４）、取り出し可能である場合には、例えばフラグＡが付され（ステップＳ５）、取り出し不可能である場合には、例えばフラグＢが付される（ステップＳ６）。取り出し位置が算出された全ての物品Ｘについて判定が終了したか否かが判定され（ステップＳ７）、終了していない場合には、次の物品ＸについてステップＳ４からステップＳ７の工程が繰り返される（ステップＳ８）。

取り出し位置が算出された全ての物品Ｘについて判定が終了した場合には、フラグＡが付された物品Ｘが存在するか否かが判定され（ステップＳ９）、存在する場合には、ロボット４が作動させられて、フラグＡが付された物品ＸについてのコンテナＹからの取り出しが行われる（ステップＳ１０）。フラグＡが付された全物品Ｘが取り出されたか否かが判定され（ステップＳ１１）、取り出されていない場合にはステップＳ１０からの工程が繰り返される。

フラグＡが付された全物品Ｘが取り出された場合には、ステップＳ１からの工程が繰り返される。
ステップＳ９において、フラグＡが付された物品Ｘが存在しない場合には、フラグＢが付された物品Ｘが存在するか否かが判定され（ステップＳ１２）、存在する場合には、モニタ７にその旨が報知される（ステップＳ１３）。フラグＢを付した物品Ｘが存在しない場合には、処理は終了する。

このように、本実施形態に係る物品取り出しシステム１によれば、取り出し不可能な物品Ｘが存在する場合に、その旨がモニタ７に報知されるので、取り出し不可能な物品Ｘが取り出されないまま処理が終了してしまうことを防止することができる。
また、取り出し不可能な物品Ｘがある場合に、作業者が教示操作盤６を操作して、ロボット４を動作させ、モニタ７に表示された３次元画像とロボット４の３次元モデルとにより干渉を確認しながら、取り出し不可能な物品Ｘの荷姿を取り出し可能に変更することができる。

なお、本実施形態によれば、報知部としてモニタ７を例示したが、これに限定されるものではなく、音声、光、振動等任意の報知方法によって報知してもよい。
また、本実施形態においては、物品Ｘを検出するための３次元カメラ２により取得された３次元画像をロボット４の３次元モデルとともにモニタ７に表示することとしたが、これに代えて、３次元画像に対して任意の視点を設定して、モニタ７またはＶＲゴーグルにロボット４の３次元モデルとともに表示してもよい。３次元カメラ２は検出用のものとは別の専用のものを用いてもよいし、他方向から撮影することにより取得された複数の２次元画像を合成して３次元画像情報を得てもよい。

また、手首先端に２次元カメラを搭載しておき、接触検出部により接触が検出された場合に、２次元カメラにより取得された２次元画像をリアルタイム表示することにしてもよい。

また、報知部であるモニタ７により取り出し不可能な物品Ｘが存在する旨が報知されたときに、取り出し不可能な物品Ｘを含む３次元画像と、その後に作業者により実施されたロボット４をジョグ送りすることによる物品Ｘの荷姿の変更処理におけるロボット４およびツールＳの動作履歴とを対応づけて記憶したデータベースを構築することにしてもよい。
これにより、取り出し不可能な物品Ｘを含む３次元画像が与えられたときに、例えば、機械学習により、取り出し可能な荷姿に変更するためのロボット４の動作を発生させることが可能となる。

１物品取り出しシステム
２３次元カメラ（３次元画像取得部）
４ロボット
６教示操作盤（操作部）
７モニタ（表示部、報知部）
８取り出し位置算出部
９判定部
１０３次元モデル生成部
Ｓツール
Ｘ物品
Ｙコンテナ（周辺物）

Claims

バラ積みされた１以上の物品および該物品の周囲に配置される周辺物の３次元画像を取得する３次元画像取得部と、
前記物品を保持可能なツールを先端に備えるロボットと、
前記３次元画像取得部により取得された前記３次元画像に基づいて、前記物品を認識し、認識された前記物品の前記ツールによる取り出し位置を算出する取り出し位置算出部と、
該取り出し位置算出部により算出された前記取り出し位置が、前記周辺物あるいは他の前記物品との関係で取り出し可能か否かを判定する判定部と、
該判定部により取り出し不可能と判定された場合にその旨を報知する報知部とを備える物品取り出しシステム。
前記ロボットおよび前記ツールの３次元モデルを生成する３次元モデル生成部と、
前記３次元画像取得部により取得された前記３次元画像および前記３次元モデル生成部により生成された前記ロボットおよび前記ツールの前記３次元モデルを表示する表示部と、
前記ロボットを手動で動作させる操作部とを備え、
前記３次元モデル生成部が、前記操作部による前記ロボットの動作に伴って、前記表示部に表示される前記ロボットおよび前記ツールの前記３次元モデルを前記ロボットの動作に一致させるよう生成する請求項１に記載の物品取り出しシステム。
前記ツールと前記物品との接触を検出する接触検出部を備え、
該接触検出部により接触が検出されたときに、前記３次元画像取得部が前記３次元画像の再取得を行う請求項２に記載の物品取り出しシステム。
前記報知部により報知された際の前記３次元画像と、前記操作部による前記ロボットの動作履歴とを対応づけて記憶したデータベースを構築する請求項２に記載の物品取り出しシステム。