JP2001179677A - ビンピッキング装置 - Google Patents
ビンピッキング装置Info
- Publication number
- JP2001179677A JP2001179677A JP36223599A JP36223599A JP2001179677A JP 2001179677 A JP2001179677 A JP 2001179677A JP 36223599 A JP36223599 A JP 36223599A JP 36223599 A JP36223599 A JP 36223599A JP 2001179677 A JP2001179677 A JP 2001179677A
- Authority
- JP
- Japan
- Prior art keywords
- visual recognition
- recognition device
- manipulator
- box
- interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 １回のかき寄せ動作で効率良く状況を変える
ことができるビンピッキング装置を提供するにある。 【解決手段】 視覚認識装置が対象物を検出できなかっ
た時、または視覚認識装置が検出したすべての対象物が
干渉チェックの結果拾い出しできないと判断されたと
き、マニプレータを箱の中で動作させて、視覚認識装置
で部品の検出を再度行い拾い出し作業を継続することを
特徴とするビンピッキング装置において、視覚認識装置
が検出した対象物が干渉チェックの結果拾い出しできな
いと判断されたときに、視覚認識装置が検出した対象物
の位置と箱の中央を結んだ直線上の干渉が起こらない位
置からマニプレータを動作させることを特徴とする。
ことができるビンピッキング装置を提供するにある。 【解決手段】 視覚認識装置が対象物を検出できなかっ
た時、または視覚認識装置が検出したすべての対象物が
干渉チェックの結果拾い出しできないと判断されたと
き、マニプレータを箱の中で動作させて、視覚認識装置
で部品の検出を再度行い拾い出し作業を継続することを
特徴とするビンピッキング装置において、視覚認識装置
が検出した対象物が干渉チェックの結果拾い出しできな
いと判断されたときに、視覚認識装置が検出した対象物
の位置と箱の中央を結んだ直線上の干渉が起こらない位
置からマニプレータを動作させることを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、ビンピッキング装
置に関する。詳しくは、カメラを利用して画像処理によ
り対象物を検出して位置を計測し、その検出した対象物
をマニプレータで拾い上げるロボットシステムに関する
もので、特に箱の中にランダムに入れられた対象物を拾
い上げる「ビンピッキング」作業を実現する装置に関す
るものである。
置に関する。詳しくは、カメラを利用して画像処理によ
り対象物を検出して位置を計測し、その検出した対象物
をマニプレータで拾い上げるロボットシステムに関する
もので、特に箱の中にランダムに入れられた対象物を拾
い上げる「ビンピッキング」作業を実現する装置に関す
るものである。
【０００２】
【背景技術】カメラを利用して、画像処理により対象物
を検出して位置を計測し、その検出した対象物をマニプ
レータで拾い上げるロボットシステム、および箱の中に
ランダムに入れられた対象物を拾い上げる「ビンピッキ
ング」作業を実現する装置に関しては多くの研究報告が
あり、我々もこれまでに文献１（「閉曲線のマッチング
による視覚ベースハンドリングシステム」電気学会論文
誌Ｄ産業応用部門誌平成１０年３月号，１１８巻３号，
ｐｐ．３７１〜３７６．１９９８年〕などで報告した実
績がある。
を検出して位置を計測し、その検出した対象物をマニプ
レータで拾い上げるロボットシステム、および箱の中に
ランダムに入れられた対象物を拾い上げる「ビンピッキ
ング」作業を実現する装置に関しては多くの研究報告が
あり、我々もこれまでに文献１（「閉曲線のマッチング
による視覚ベースハンドリングシステム」電気学会論文
誌Ｄ産業応用部門誌平成１０年３月号，１１８巻３号，
ｐｐ．３７１〜３７６．１９９８年〕などで報告した実
績がある。
【０００３】文献１のハンドリングシステムを図５に示
す。図５に示すように、対象物の上方に設置した２台の
カメラ０１，０２、視覚認識装置０３、ロボットマニプ
レータ０４及びロボットコントローラ０５とで構成し、
カメラ０１，０２の映像を元に視覚認識装置０３が対象
物を検出してその３次元的な位置と姿勢を計測し、通信
回線０６を介してロボットコントローラ０５に送られた
計測結果を元にマニプレータ０４が対象物をハンドリン
グする。これにより箱の中にランダムに入れられた対象
物を、機械的な位置決めなど他の手段を用いることなく
ハンドリングすることが可能になった。
す。図５に示すように、対象物の上方に設置した２台の
カメラ０１，０２、視覚認識装置０３、ロボットマニプ
レータ０４及びロボットコントローラ０５とで構成し、
カメラ０１，０２の映像を元に視覚認識装置０３が対象
物を検出してその３次元的な位置と姿勢を計測し、通信
回線０６を介してロボットコントローラ０５に送られた
計測結果を元にマニプレータ０４が対象物をハンドリン
グする。これにより箱の中にランダムに入れられた対象
物を、機械的な位置決めなど他の手段を用いることなく
ハンドリングすることが可能になった。
【０００４】ところで、文献１のシステムには、視覚認
識装置０３が対象物を検出しても、把持時にマニプレー
タ０４が箱に干渉するなどしてハンドリングに失敗する
ことがあった。これに対処する方法として、文献２（特
願平１０−２０６０５１号，１０−２０６０５３号）を
提案している。これは、マニプレータと箱の干渉を予め
計算により予測し、干渉する可能性のある場合はその部
品を把持せず、視覚認識装置が検出した他の部品を把持
する方法である。
識装置０３が対象物を検出しても、把持時にマニプレー
タ０４が箱に干渉するなどしてハンドリングに失敗する
ことがあった。これに対処する方法として、文献２（特
願平１０−２０６０５１号，１０−２０６０５３号）を
提案している。これは、マニプレータと箱の干渉を予め
計算により予測し、干渉する可能性のある場合はその部
品を把持せず、視覚認識装置が検出した他の部品を把持
する方法である。
【０００５】文献１のシステムに文献２の干渉チェック
を導入したビンピッキングシステムに関しては、文献３
（「ハンドの干渉チェックを考慮した視覚ベースのビン
ピッキング」平成１０年電気学会産業応用部門全国大会
講演論文集［Ｉ］，ｐｐ．４５１〜４５２．１９９８）
で報告した。即ち、図５のシステム構成において、視覚
認識装置０３が対象物を検出してその３次元的な位置と
姿勢を計測し、これを把持すると仮定したときのマニプ
レータ０４の姿勢を計算し、その姿勢におけるマニプレ
ータ０４の各部と箱との干渉の有無をチェックし、干渉
なしと判断した場合に通信回線０６を介してロボットコ
ントローラ０５に計測結果を送信することでマニプレー
タ０４が箱と干渉することなしに対象物をハンドリング
する。
を導入したビンピッキングシステムに関しては、文献３
（「ハンドの干渉チェックを考慮した視覚ベースのビン
ピッキング」平成１０年電気学会産業応用部門全国大会
講演論文集［Ｉ］，ｐｐ．４５１〜４５２．１９９８）
で報告した。即ち、図５のシステム構成において、視覚
認識装置０３が対象物を検出してその３次元的な位置と
姿勢を計測し、これを把持すると仮定したときのマニプ
レータ０４の姿勢を計算し、その姿勢におけるマニプレ
ータ０４の各部と箱との干渉の有無をチェックし、干渉
なしと判断した場合に通信回線０６を介してロボットコ
ントローラ０５に計測結果を送信することでマニプレー
タ０４が箱と干渉することなしに対象物をハンドリング
する。
【０００６】このハンドリングシステムには以下の利点
がある。即ち、 部品の位置と姿勢の検出を視覚認識装置０３が行うの
で、機械的な位置決め装置が不要である。さらに部品の
変更時にも視覚認識装置０３の設定変更で対処できる。 機械的な位置決め装置を使用しないときに、通常は必
要となる人手による所定位置への部品の設置作業がいら
ないので、自動運転が可能である。 ２台のカメラ０１，０２を使用して部品の３次元的な
位置と姿勢を計測するので、箱にランダムに入れられた
部品を拾い出すことができる。 特に箱に入れられた部品を視覚認識装置０３で検出し
マニプレータ０４で拾い出す作業では、部品の位置によ
ってはマニプレータ０４が箱と干渉することがあり、通
常は緊急停止して作業員が復帰操作をしなければならな
いが、本システムでは予めマニプレータ０４と箱との干
渉をチェックして干渉のない部品のみを拾い出すので、
システムを止めない自動運転が可能となった。
がある。即ち、 部品の位置と姿勢の検出を視覚認識装置０３が行うの
で、機械的な位置決め装置が不要である。さらに部品の
変更時にも視覚認識装置０３の設定変更で対処できる。 機械的な位置決め装置を使用しないときに、通常は必
要となる人手による所定位置への部品の設置作業がいら
ないので、自動運転が可能である。 ２台のカメラ０１，０２を使用して部品の３次元的な
位置と姿勢を計測するので、箱にランダムに入れられた
部品を拾い出すことができる。 特に箱に入れられた部品を視覚認識装置０３で検出し
マニプレータ０４で拾い出す作業では、部品の位置によ
ってはマニプレータ０４が箱と干渉することがあり、通
常は緊急停止して作業員が復帰操作をしなければならな
いが、本システムでは予めマニプレータ０４と箱との干
渉をチェックして干渉のない部品のみを拾い出すので、
システムを止めない自動運転が可能となった。
【０００７】さらに、文献４（「ビンピッキング装置』
特願平１１−６５８５８号）では、視覚認識装置０３が
対象物を検出できなかったとき、または視覚認識装置０
３が検出した全ての対象物が干渉チェックの結果拾い出
しできないと判断されたときに、特定の方案によりマニ
プレータ０４を箱の中で動作させて、視覚認識装置０３
で部品の検出を再度行い、拾い出し作業を継続する。
特願平１１−６５８５８号）では、視覚認識装置０３が
対象物を検出できなかったとき、または視覚認識装置０
３が検出した全ての対象物が干渉チェックの結果拾い出
しできないと判断されたときに、特定の方案によりマニ
プレータ０４を箱の中で動作させて、視覚認識装置０３
で部品の検出を再度行い、拾い出し作業を継続する。
【０００８】
【発明が解決しようとする課題】しかしながら、文献３
のビンピッキングシステムには、以下に示す問題点が存
在する。第一に、視覚認識装置０３が検出した対象物の
全てが干渉チェックにより拾い出しできないと判断され
た場合には、ハンドリング作業を継続できない。視覚認
識装置０３が検出した対象物の位置と姿勢を計測した結
果、前述の干渉チェックにより、これを拾う位置にマニ
プレータ０４を移動できないケースが存在する。
のビンピッキングシステムには、以下に示す問題点が存
在する。第一に、視覚認識装置０３が検出した対象物の
全てが干渉チェックにより拾い出しできないと判断され
た場合には、ハンドリング作業を継続できない。視覚認
識装置０３が検出した対象物の位置と姿勢を計測した結
果、前述の干渉チェックにより、これを拾う位置にマニ
プレータ０４を移動できないケースが存在する。
【０００９】文献２の方式によれば、視覚認識装置０３
が検出した１つの部品が干渉チェックにより把持不能と
判断した場合は、視覚認識装置０３は次の候補を検出し
て位置姿勢の計測を行うのであるが、次の候補もまたそ
の次の候補も把持不能と判断される可能性がゼロではな
いので、視覚認識装置０３が検出した対象物の全てが干
渉チェックにより拾い出しできないと判断される可能性
もまたゼロではない。第二に、視覚認識装置０３が対象
物を検出できなかった場合には、ハンドリング作業を継
続できない。
が検出した１つの部品が干渉チェックにより把持不能と
判断した場合は、視覚認識装置０３は次の候補を検出し
て位置姿勢の計測を行うのであるが、次の候補もまたそ
の次の候補も把持不能と判断される可能性がゼロではな
いので、視覚認識装置０３が検出した対象物の全てが干
渉チェックにより拾い出しできないと判断される可能性
もまたゼロではない。第二に、視覚認識装置０３が対象
物を検出できなかった場合には、ハンドリング作業を継
続できない。
【００１０】文献３のシステムは、視覚認識装置０３が
対象物を検出した場合に初めてその対象物を拾い出すこ
とができるシステムなので、視覚認識装置０３が対象物
を検出しなかった場合にはハンドリング作業を進めるこ
とができない。視覚認識装置０３の対象物の検出方法は
文献１と文献３で記述しているモデルベーストマッチン
グ法で照明条件など計測条件の変動の影響を受けにくい
手法ではあるが、どの様な条件でも１００％の対象物を
検出できるわけではないので、視覚認識装置０３が対象
物を検出できない可能性もまたゼロではない。
対象物を検出した場合に初めてその対象物を拾い出すこ
とができるシステムなので、視覚認識装置０３が対象物
を検出しなかった場合にはハンドリング作業を進めるこ
とができない。視覚認識装置０３の対象物の検出方法は
文献１と文献３で記述しているモデルベーストマッチン
グ法で照明条件など計測条件の変動の影響を受けにくい
手法ではあるが、どの様な条件でも１００％の対象物を
検出できるわけではないので、視覚認識装置０３が対象
物を検出できない可能性もまたゼロではない。
【００１１】第一、第二の場合でハンドリング作業を継
続できない状況になったときはビンピッキングシステム
の自動運転作業を一旦終了しなければならない。通常は
自動運転が停止した場合、装置が警報を発しオペレータ
がこれに対応して運転再開の処置を施すことになる。自
動運転の停止は製造ラインの運転効率を下げる直接的な
要因になるので、そうならない対策が必要である。
続できない状況になったときはビンピッキングシステム
の自動運転作業を一旦終了しなければならない。通常は
自動運転が停止した場合、装置が警報を発しオペレータ
がこれに対応して運転再開の処置を施すことになる。自
動運転の停止は製造ラインの運転効率を下げる直接的な
要因になるので、そうならない対策が必要である。
【００１２】
【課題を解決するための手段】斯かる目的を達成する本
発明の請求項１に係るビンピッキング装置は、対象物が
入った箱を見下ろすように上方に設置した２台のカメ
ラ、視覚認識装置、ロボットマニプレータ及びロボット
コントローラとで構成し、カメラからの映像を元に視覚
認識装置が対象物を検出してその３次元的な位置と姿勢
を計測し、通信回線を介してロボットコントローラに送
られた計測結果を元にマニプレータが対象物を拾い出す
ロボットシステムに関し、視覚認識装置が計測した対象
物を把持すると仮定したときのマニプレータの姿勢を計
算し、その姿勢におけるマニプレータと箱との干渉の有
無をチェックし、干渉なしと判断した場合に通信回線を
介してロボットコントローラに計測結果を送ることで、
マニプレータが箱と干渉することなしに対象物を拾い出
すビンピッキング装置において、視覚認識装置が対象物
を検出できなかった時、または視覚認識装置が検出した
すべての対象物が干渉チェックの結果拾い出しできない
と判断されたとき、マニプレータを箱の中で動作させ
て、視覚認識装置で部品の検出を再度行い拾い出し作業
を継続することを特徴とするビンピッキング装置におい
て、視覚認識装置が検出した対象物が干渉チェックの結
果拾い出しできないと判断されたときに、視覚認識装置
が検出した対象物の位置と箱の中央を結んだ直線上の干
渉が起こらない位置からマニプレータを動作させること
を特徴とする。
発明の請求項１に係るビンピッキング装置は、対象物が
入った箱を見下ろすように上方に設置した２台のカメ
ラ、視覚認識装置、ロボットマニプレータ及びロボット
コントローラとで構成し、カメラからの映像を元に視覚
認識装置が対象物を検出してその３次元的な位置と姿勢
を計測し、通信回線を介してロボットコントローラに送
られた計測結果を元にマニプレータが対象物を拾い出す
ロボットシステムに関し、視覚認識装置が計測した対象
物を把持すると仮定したときのマニプレータの姿勢を計
算し、その姿勢におけるマニプレータと箱との干渉の有
無をチェックし、干渉なしと判断した場合に通信回線を
介してロボットコントローラに計測結果を送ることで、
マニプレータが箱と干渉することなしに対象物を拾い出
すビンピッキング装置において、視覚認識装置が対象物
を検出できなかった時、または視覚認識装置が検出した
すべての対象物が干渉チェックの結果拾い出しできない
と判断されたとき、マニプレータを箱の中で動作させ
て、視覚認識装置で部品の検出を再度行い拾い出し作業
を継続することを特徴とするビンピッキング装置におい
て、視覚認識装置が検出した対象物が干渉チェックの結
果拾い出しできないと判断されたときに、視覚認識装置
が検出した対象物の位置と箱の中央を結んだ直線上の干
渉が起こらない位置からマニプレータを動作させること
を特徴とする。
【００１３】上記目的を達成する本発明の請求項２に係
るビンピッキング装置は、対象物が入った箱を見下ろす
ように上方に設置した２台のカメラ、視覚認識装置、ロ
ボットマニプレータ及びロボットコントローラとで構成
し、カメラからの映像を元に視覚認識装置が対象物を検
出してその３次元的な位置と姿勢を計測し、通信回線を
介してロボットコントローラに送られた計測結果を元に
マニプレータが対象物を拾い出すロボットシステムに関
し、視覚認識装置が計測した対象物を把持すると仮定し
たときのマニプレータの姿勢を計算し、その姿勢におけ
るマニプレータと箱との干渉の有無をチェックし、干渉
なしと判断した場合に通信回線を介してロボットコント
ローラに計測結果を送ることで、マニプレータが箱と干
渉することなしに対象物を拾い出すビンピッキング装置
において、視覚認識装置が対象物を検出できなかった
時、または視覚認識装置が検出したすべての対象物が干
渉チェックの結果拾い出しできないと判断されたとき、
マニプレータを箱の中で動作させて、視覚認識装置で部
品の検出を再度行い拾い出し作業を継続することを特徴
とするビンピッキング装置において、予め箱の中を小領
域に分割しておき、他ワークとの干渉により部品の拾い
出しに失敗する毎に、どの領域で他ワークとの干渉によ
り拾い出しが失敗したのかを判断し各小領域毎にその領
域での干渉回数を計数して記憶しておき、視覚認識装置
が対象物を検出できなかったとき、または視覚認識装置
が検出したすべての対象物が干渉チェックの結果拾い出
しできないと判断されたときに、各小領域の中で他ワー
クとの干渉により拾い出しが失敗した数が最も多い小領
域の位置にマニプレータのハンドを移動させ、これを箱
の中央方向に移動させるようにマニプレータを動作させ
ることを特徴とする。
るビンピッキング装置は、対象物が入った箱を見下ろす
ように上方に設置した２台のカメラ、視覚認識装置、ロ
ボットマニプレータ及びロボットコントローラとで構成
し、カメラからの映像を元に視覚認識装置が対象物を検
出してその３次元的な位置と姿勢を計測し、通信回線を
介してロボットコントローラに送られた計測結果を元に
マニプレータが対象物を拾い出すロボットシステムに関
し、視覚認識装置が計測した対象物を把持すると仮定し
たときのマニプレータの姿勢を計算し、その姿勢におけ
るマニプレータと箱との干渉の有無をチェックし、干渉
なしと判断した場合に通信回線を介してロボットコント
ローラに計測結果を送ることで、マニプレータが箱と干
渉することなしに対象物を拾い出すビンピッキング装置
において、視覚認識装置が対象物を検出できなかった
時、または視覚認識装置が検出したすべての対象物が干
渉チェックの結果拾い出しできないと判断されたとき、
マニプレータを箱の中で動作させて、視覚認識装置で部
品の検出を再度行い拾い出し作業を継続することを特徴
とするビンピッキング装置において、予め箱の中を小領
域に分割しておき、他ワークとの干渉により部品の拾い
出しに失敗する毎に、どの領域で他ワークとの干渉によ
り拾い出しが失敗したのかを判断し各小領域毎にその領
域での干渉回数を計数して記憶しておき、視覚認識装置
が対象物を検出できなかったとき、または視覚認識装置
が検出したすべての対象物が干渉チェックの結果拾い出
しできないと判断されたときに、各小領域の中で他ワー
クとの干渉により拾い出しが失敗した数が最も多い小領
域の位置にマニプレータのハンドを移動させ、これを箱
の中央方向に移動させるようにマニプレータを動作させ
ることを特徴とする。
【００１４】
【発明の実施の形態】１）基本的な考え方 本発明のベースは文献４であり、本発明は文献４の実施
例４を発展させたものである。即ち、本発明は、対象物
が入った箱を見下ろすように上方に設置した２台のカメ
ラ、視覚認識装置、ロボットマニプレータ及びロボット
コントローラとで構成し、カメラからの映像を元に視覚
認識装置が対象物を検出してその３次元的な位置と姿勢
を計測し、通信回線を介してロボットコントローラに送
られた計測結果を元にマニプレータが対象物を拾い出す
ロボットシステムに関し、視覚認識装置が計測した対象
物を把持すると仮定したときのマニプレータの姿勢を計
算し、その姿勢におけるマニプレータと箱との干渉の有
無をチェックし、干渉なしと判断した場合に通信回線を
介してロボットコントローラに計測結果を送ることで、
マニプレータが箱と干渉することなしに対象物を拾い出
すビンピッキング装置において、視覚認識装置が対象物
を検出できなかった時、または視覚認識装置が検出した
すべての対象物が干渉チェックの結果拾い出しできない
と判断されたとき、マニプレータを箱の中で動作させ
て、視覚認識装置で部品の検出を再度行い拾い出し作業
を継続することを特徴とするビンピッキング装置であ
る。
例４を発展させたものである。即ち、本発明は、対象物
が入った箱を見下ろすように上方に設置した２台のカメ
ラ、視覚認識装置、ロボットマニプレータ及びロボット
コントローラとで構成し、カメラからの映像を元に視覚
認識装置が対象物を検出してその３次元的な位置と姿勢
を計測し、通信回線を介してロボットコントローラに送
られた計測結果を元にマニプレータが対象物を拾い出す
ロボットシステムに関し、視覚認識装置が計測した対象
物を把持すると仮定したときのマニプレータの姿勢を計
算し、その姿勢におけるマニプレータと箱との干渉の有
無をチェックし、干渉なしと判断した場合に通信回線を
介してロボットコントローラに計測結果を送ることで、
マニプレータが箱と干渉することなしに対象物を拾い出
すビンピッキング装置において、視覚認識装置が対象物
を検出できなかった時、または視覚認識装置が検出した
すべての対象物が干渉チェックの結果拾い出しできない
と判断されたとき、マニプレータを箱の中で動作させ
て、視覚認識装置で部品の検出を再度行い拾い出し作業
を継続することを特徴とするビンピッキング装置であ
る。
【００１５】本発明のフローチャートを図１に示す。図
１に示すように、カメラからの映像を元に視覚認識装置
が対象物を検出して（ステップＳ１）その３次元的な位
置と姿勢を計測できたときは（ステップＳ２）、視覚認
識装置が計測した対象物を把持すると仮定したときのマ
ニプレータの姿勢を計算し、その姿勢におけるマニプレ
ータと箱との干渉の有無をチェックし（ステップＳ
３）、干渉なしと判断した場合には（ステップＳ４）、
通信回線を介してロボットコントローラに計測結果を送
ることで、マニプレータが箱と干渉することなしに対象
物を拾い出す一方（ステップＳ５）、視覚認識装置が対
象物を検出できなかった時（ステップＳ２）、または視
覚認識装置が検出したすべての対象物について次候補が
なくなるまで（ステップＳ７）、繰り返し干渉チェック
を行った結果（ステップＳ３）、干渉のために拾い出し
できないと判断されたとき（ステップＳ４）、マニプレ
ータを箱の中で動作させて（ステップＳ８）、視覚認識
装置により部品の検出を再度行い、干渉なしと判断され
た全ての対象物について繰り返し拾い出し作業を行こと
により（ステップＳ５）、全作業を終了する（ステップ
Ｓ６）。
１に示すように、カメラからの映像を元に視覚認識装置
が対象物を検出して（ステップＳ１）その３次元的な位
置と姿勢を計測できたときは（ステップＳ２）、視覚認
識装置が計測した対象物を把持すると仮定したときのマ
ニプレータの姿勢を計算し、その姿勢におけるマニプレ
ータと箱との干渉の有無をチェックし（ステップＳ
３）、干渉なしと判断した場合には（ステップＳ４）、
通信回線を介してロボットコントローラに計測結果を送
ることで、マニプレータが箱と干渉することなしに対象
物を拾い出す一方（ステップＳ５）、視覚認識装置が対
象物を検出できなかった時（ステップＳ２）、または視
覚認識装置が検出したすべての対象物について次候補が
なくなるまで（ステップＳ７）、繰り返し干渉チェック
を行った結果（ステップＳ３）、干渉のために拾い出し
できないと判断されたとき（ステップＳ４）、マニプレ
ータを箱の中で動作させて（ステップＳ８）、視覚認識
装置により部品の検出を再度行い、干渉なしと判断され
た全ての対象物について繰り返し拾い出し作業を行こと
により（ステップＳ５）、全作業を終了する（ステップ
Ｓ６）。
【００１６】本発明の特徴は、ステップ８において視覚
認識装置が対象物を検出できなかったときにマニプレー
タを箱の中で動作させる点である。この動作により箱の
中の部品が移動し、姿勢が変わることが期待できる。こ
れにより視覚認識装置で部品の検出を再度行えば、視覚
認識装置が対象物を検出できる可能性があり、拾い出し
作業を継続できる。仮に１回の動作で結果として視覚認
識装置が対象物を検出するに至らなかった場合も、再度
マニプレータを箱の中で動作させて、視覚認識装置で部
品の検出を再度行う動作を継続することで、自動運転を
終了することなしにハンドリング作業を継続することが
可能な点は大きな利点である。
認識装置が対象物を検出できなかったときにマニプレー
タを箱の中で動作させる点である。この動作により箱の
中の部品が移動し、姿勢が変わることが期待できる。こ
れにより視覚認識装置で部品の検出を再度行えば、視覚
認識装置が対象物を検出できる可能性があり、拾い出し
作業を継続できる。仮に１回の動作で結果として視覚認
識装置が対象物を検出するに至らなかった場合も、再度
マニプレータを箱の中で動作させて、視覚認識装置で部
品の検出を再度行う動作を継続することで、自動運転を
終了することなしにハンドリング作業を継続することが
可能な点は大きな利点である。
【００１７】２）マニプレータの動作の実施例１（新か
き寄せ動作） 本発明を適用した箱の中でのマニプレータの動作方法の
第１の実施例を説明する。第１の実施例は、本発明のビ
ンピッキング装置において、視覚認識装置が対象物を検
出しているが、検出したすべての対象物が干渉チェック
の結果拾い出しできないと判断されたときに、視覚認識
装置が検出した対象物の１つ、例えば、検出された複数
の部品のうち最も上にある物と箱の中央を結んだ直線を
スキャンして、干渉チェックを繰り返し、干渉なくかき
寄せ動作が行える動作点を求め、その動作点にマニプレ
ータのハンドを移動させ、これを箱の中央方向に移動さ
せるようにマニプレータを動作させるビンピッキング装
置である。
き寄せ動作） 本発明を適用した箱の中でのマニプレータの動作方法の
第１の実施例を説明する。第１の実施例は、本発明のビ
ンピッキング装置において、視覚認識装置が対象物を検
出しているが、検出したすべての対象物が干渉チェック
の結果拾い出しできないと判断されたときに、視覚認識
装置が検出した対象物の１つ、例えば、検出された複数
の部品のうち最も上にある物と箱の中央を結んだ直線を
スキャンして、干渉チェックを繰り返し、干渉なくかき
寄せ動作が行える動作点を求め、その動作点にマニプレ
ータのハンドを移動させ、これを箱の中央方向に移動さ
せるようにマニプレータを動作させるビンピッキング装
置である。
【００１８】新かき寄せ動作の概念図を図２に示す。同
図中、矢印に沿って干渉チェックを繰り返し実施し、干
渉が発生しない位置（図中破線で示す限界位置）が検出
できた場合にマニプレータを動作させるものである。本
実施例の特徴は、視覚認識装置が拾い出し可能な対象物
を検出できずに、なおかつ視覚認識装置が検出したが干
渉チェックにより把持不能と判断した部品の位置で動作
もできない場合に、対象部品の把持位置とかき寄せ処理
終点位置との経路上を探索して干渉がなく動作できる位
置で動作させる点である。この動作により、対象部品の
ほんの一部にでも接触することができれば状況（その位
置・姿勢）が変わることが期待できる。これにより、視
覚認識装置で部品の検出を再度行えば、視覚認識装置が
対象物を検出できる可能性があり、拾い出し作業を継続
できる。
図中、矢印に沿って干渉チェックを繰り返し実施し、干
渉が発生しない位置（図中破線で示す限界位置）が検出
できた場合にマニプレータを動作させるものである。本
実施例の特徴は、視覚認識装置が拾い出し可能な対象物
を検出できずに、なおかつ視覚認識装置が検出したが干
渉チェックにより把持不能と判断した部品の位置で動作
もできない場合に、対象部品の把持位置とかき寄せ処理
終点位置との経路上を探索して干渉がなく動作できる位
置で動作させる点である。この動作により、対象部品の
ほんの一部にでも接触することができれば状況（その位
置・姿勢）が変わることが期待できる。これにより、視
覚認識装置で部品の検出を再度行えば、視覚認識装置が
対象物を検出できる可能性があり、拾い出し作業を継続
できる。
【００１９】３）マニプレータの動作の実施例２（新か
き混ぜ動作） 本発明を適用した箱の中でのマニプレータの動作方法の
第２の実施例を説明する。第２の実施例は、本発明のビ
ンピッキング装置において、予め箱の中を小領域に分割
しておき、他ワークとの干渉により部品の拾い出しに失
敗する毎に、どの領域で他部品と干渉が生じたのかを判
断し、各小領域毎にその領域から他部品との干渉により
拾い出しに失敗した回数を計数して記憶しておき、視覚
認識装置が対象物を検出できなかったとき、または、視
覚認識装置が検出した全ての対象物が干渉チェックの結
果拾い出しが出来ないと判断された時に、各小領域の中
で他ワークとの干渉が発生して拾い出しに失敗した回数
が最も多い小領域の位置にマニプレータのハンドを移動
させ、これを箱の中央方向に移動させるようにマニプレ
ータを動作させるビンピッキング装置である。
き混ぜ動作） 本発明を適用した箱の中でのマニプレータの動作方法の
第２の実施例を説明する。第２の実施例は、本発明のビ
ンピッキング装置において、予め箱の中を小領域に分割
しておき、他ワークとの干渉により部品の拾い出しに失
敗する毎に、どの領域で他部品と干渉が生じたのかを判
断し、各小領域毎にその領域から他部品との干渉により
拾い出しに失敗した回数を計数して記憶しておき、視覚
認識装置が対象物を検出できなかったとき、または、視
覚認識装置が検出した全ての対象物が干渉チェックの結
果拾い出しが出来ないと判断された時に、各小領域の中
で他ワークとの干渉が発生して拾い出しに失敗した回数
が最も多い小領域の位置にマニプレータのハンドを移動
させ、これを箱の中央方向に移動させるようにマニプレ
ータを動作させるビンピッキング装置である。
【００２０】小領域の分割例を図３に、動作の概念図を
図４に示す。本実施例の特徴は、図３に示すように、箱
の中を４×６に分割して小領域１−１，１−２・・・４
−６とし、視覚認識装置が対象物を検出できなかったと
きに、他ワークとの干渉が多く発生した場合には最も部
品が残ってると予想できることから、マニプレータをこ
の領域で動作させる点である。この動作により重なり合
うなどして視覚認識装置で検出できなかった部品が中央
付近の位置（図中黒丸で示す）に移動し、姿勢も変わる
ことが期待できる。これにより、視覚認識装置で部品の
検出を再度行えば、視覚認識装置が対象物を検出できる
可能性があり、拾い出し作業を継続できる。
図４に示す。本実施例の特徴は、図３に示すように、箱
の中を４×６に分割して小領域１−１，１−２・・・４
−６とし、視覚認識装置が対象物を検出できなかったと
きに、他ワークとの干渉が多く発生した場合には最も部
品が残ってると予想できることから、マニプレータをこ
の領域で動作させる点である。この動作により重なり合
うなどして視覚認識装置で検出できなかった部品が中央
付近の位置（図中黒丸で示す）に移動し、姿勢も変わる
ことが期待できる。これにより、視覚認識装置で部品の
検出を再度行えば、視覚認識装置が対象物を検出できる
可能性があり、拾い出し作業を継続できる。
【００２１】
【発明の効果】以上、実施例に基づいて具体的に説明し
たように、本発明は、カメラを利用して画像処理により
対象物を検出してその位置を計測しマニプレータで検出
した対象物を拾い上げるロボットシステムに関するもの
で、視覚認識装置が計測した対象物を把持すると仮定し
たときのマニプレータの姿勢を計算し、その姿勢におけ
るマニプレータの各部と箱との干渉の有無をチェック
し、干渉なしと判断した場合にマニプレータが箱と干渉
することなしに対象物を拾い出すビンピッキング装置に
おいて視覚認識装置が対象物を検出できなかったとき
に、マニプレータを箱の中で動作させて、視覚認識装置
で部品の検出を再度行い、拾い出し作業を継続するビン
ピッキング装置である。従って、本発明によれば、以下
の効果を奏する。 視覚認識装置が対象物を検出できなかったときに、マ
ニプレータを箱の中で動作させることにより箱の中の部
品が移動し、姿勢が変わることが期待できるため、視覚
認識装置で部品の検出を再度行えば、視覚認識装置が対
象物を検出できる可能性があり、拾い出し作業を継続で
きる。 実施例１の方法によれば、視覚認識装置が拾い出し可
能な対象物を検出してはいるのだが、検出したすべての
対象物が干渉チェックの結果拾い出しできないと判断さ
れたときに、視覚認識装置が検出した対象物の位置と箱
の中央を結んだ直線上の干渉が起こらない位置で動作さ
せることにより、その部品が直接中央付近の把持しやす
い位置に移動し、姿勢も変わることが期待でき、視覚認
識装置で部品の検出を再度行えば、視覚認識装置が対象
物を検出できる可能性があり、拾い出し作業を継続でき
る。文献４ではこうした場合には、かき混ぜ動作しか行
えなかったため効率が悪かったが、本実施例を採用する
ことで１回のかき寄せ動作で、状況を変えることができ
る効果がある。 実施例２の方法によれば、箱の内部を小領域に分割
し、その小領域について視覚認識装置が対象物を検出し
たが他ワークとの干渉により拾い出しできなかった回数
を計測することにより、部品が重なり合っている小領域
を予測することが可能で、その部分の部品を移動するこ
とにより効率的に部品が移動し姿勢が変わることが期待
できる。
たように、本発明は、カメラを利用して画像処理により
対象物を検出してその位置を計測しマニプレータで検出
した対象物を拾い上げるロボットシステムに関するもの
で、視覚認識装置が計測した対象物を把持すると仮定し
たときのマニプレータの姿勢を計算し、その姿勢におけ
るマニプレータの各部と箱との干渉の有無をチェック
し、干渉なしと判断した場合にマニプレータが箱と干渉
することなしに対象物を拾い出すビンピッキング装置に
おいて視覚認識装置が対象物を検出できなかったとき
に、マニプレータを箱の中で動作させて、視覚認識装置
で部品の検出を再度行い、拾い出し作業を継続するビン
ピッキング装置である。従って、本発明によれば、以下
の効果を奏する。 視覚認識装置が対象物を検出できなかったときに、マ
ニプレータを箱の中で動作させることにより箱の中の部
品が移動し、姿勢が変わることが期待できるため、視覚
認識装置で部品の検出を再度行えば、視覚認識装置が対
象物を検出できる可能性があり、拾い出し作業を継続で
きる。 実施例１の方法によれば、視覚認識装置が拾い出し可
能な対象物を検出してはいるのだが、検出したすべての
対象物が干渉チェックの結果拾い出しできないと判断さ
れたときに、視覚認識装置が検出した対象物の位置と箱
の中央を結んだ直線上の干渉が起こらない位置で動作さ
せることにより、その部品が直接中央付近の把持しやす
い位置に移動し、姿勢も変わることが期待でき、視覚認
識装置で部品の検出を再度行えば、視覚認識装置が対象
物を検出できる可能性があり、拾い出し作業を継続でき
る。文献４ではこうした場合には、かき混ぜ動作しか行
えなかったため効率が悪かったが、本実施例を採用する
ことで１回のかき寄せ動作で、状況を変えることができ
る効果がある。 実施例２の方法によれば、箱の内部を小領域に分割
し、その小領域について視覚認識装置が対象物を検出し
たが他ワークとの干渉により拾い出しできなかった回数
を計測することにより、部品が重なり合っている小領域
を予測することが可能で、その部分の部品を移動するこ
とにより効率的に部品が移動し姿勢が変わることが期待
できる。
【図１】本発明のビンピッキング作業のフローチャート
である。
である。
【図２】新かき寄せ動作の概念図である。
【図３】箱中の小領域分割例を示す説明図である。
【図４】新かき混ぜ動作の概念図である。
【図５】ハンドリングシステムの構成図である。
０１，０２ カメラ ０３ 視覚認識装置 ０４ ロボットマニプレータ ０５ ロボットコントローラ ０６ 通信回線
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 伸行 東京都品川区大崎二丁目１番17号 株式会 社明電舎内 Ｆターム(参考） 3F059 AA01 DA08 DB02 DB09 FA03 FA05 FB12
Claims (2)
- 【請求項１】 対象物が入った箱を見下ろすように上方
に設置した２台のカメラ、視覚認識装置、ロボットマニ
プレータ及びロボットコントローラとで構成し、カメラ
からの映像を元に視覚認識装置が対象物を検出してその
３次元的な位置と姿勢を計測し、通信回線を介してロボ
ットコントローラに送られた計測結果を元にマニプレー
タが対象物を拾い出すロボットシステムに関し、視覚認
識装置が計測した対象物を把持すると仮定したときのマ
ニプレータの姿勢を計算し、その姿勢におけるマニプレ
ータと箱との干渉の有無をチェックし、干渉なしと判断
した場合に通信回線を介してロボットコントローラに計
測結果を送ることで、マニプレータが箱と干渉すること
なしに対象物を拾い出すビンピッキング装置において、
視覚認識装置が対象物を検出できなかった時、または視
覚認識装置が検出したすべての対象物が干渉チェックの
結果拾い出しできないと判断されたとき、マニプレータ
を箱の中で動作させて、視覚認識装置で部品の検出を再
度行い拾い出し作業を継続することを特徴とするビンピ
ッキング装置において、視覚認識装置が検出した対象物
が干渉チェックの結果拾い出しできないと判断されたと
きに、視覚認識装置が検出した対象物の位置と箱の中央
を結んだ直線上の干渉が起こらない位置からマニプレー
タを動作させることを特徴とするビンピッキング装置。 - 【請求項２】 対象物が入った箱を見下ろすように上方
に設置した２台のカメラ、視覚認識装置、ロボットマニ
プレータ及びロボットコントローラとで構成し、カメラ
からの映像を元に視覚認識装置が対象物を検出してその
３次元的な位置と姿勢を計測し、通信回線を介してロボ
ットコントローラに送られた計測結果を元にマニプレー
タが対象物を拾い出すロボットシステムに関し、視覚認
識装置が計測した対象物を把持すると仮定したときのマ
ニプレータの姿勢を計算し、その姿勢におけるマニプレ
ータと箱との干渉の有無をチェックし、干渉なしと判断
した場合に通信回線を介してロボットコントローラに計
測結果を送ることで、マニプレータが箱と干渉すること
なしに対象物を拾い出すビンピッキング装置において、
視覚認識装置が対象物を検出できなかった時、または視
覚認識装置が検出したすべての対象物が干渉チェックの
結果拾い出しできないと判断されたとき、マニプレータ
を箱の中で動作させて、視覚認識装置で部品の検出を再
度行い拾い出し作業を継続することを特徴とするビンピ
ッキング装置において、予め箱の中を小領域に分割して
おき、他ワークとの干渉により部品の拾い出しに失敗す
る毎に、どの領域で他ワークとの干渉により拾い出しが
失敗したのかを判断し各小領域毎にその領域での干渉回
数を計数して記憶しておき、視覚認識装置が対象物を検
出できなかったとき、または視覚認識装置が検出したす
べての対象物が干渉チェックの結果拾い出しできないと
判断されたときに、各小領域の中で他ワークとの干渉に
より拾い出しが失敗した数が最も多い小領域の位置にマ
ニプレータのハンドを移動させ、これを箱の中央方向に
移動させるようにマニプレータを動作させることを特徴
とするビンピッキング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36223599A JP2001179677A (ja) | 1999-12-21 | 1999-12-21 | ビンピッキング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36223599A JP2001179677A (ja) | 1999-12-21 | 1999-12-21 | ビンピッキング装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001179677A true JP2001179677A (ja) | 2001-07-03 |
Family
ID=18476340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36223599A Pending JP2001179677A (ja) | 1999-12-21 | 1999-12-21 | ビンピッキング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001179677A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1428634A3 (en) * | 2002-12-13 | 2006-12-20 | Fanuc Ltd | Workpiece taking-out robot with a three-dimensional visual sensor |
| JP2010207989A (ja) * | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の把持システム及び同システムにおける干渉検出方法 |
| CN103240756A (zh) * | 2012-02-03 | 2013-08-14 | 发那科株式会社 | 具有自动调整检索窗口的功能的图像处理装置 |
| JP2015030044A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社安川電機 | ロボットシステムおよび被加工物の製造方法 |
| CN106682418A (zh) * | 2016-12-27 | 2017-05-17 | Tcl集团股份有限公司 | 一种基于机器人的智能存取系统及其存取方法 |
| US20210354297A1 (en) * | 2020-05-14 | 2021-11-18 | Tyco Electronics (Shanghai) Co. Ltd. | Automatic Depalletizing System |
-
1999
- 1999-12-21 JP JP36223599A patent/JP2001179677A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1428634A3 (en) * | 2002-12-13 | 2006-12-20 | Fanuc Ltd | Workpiece taking-out robot with a three-dimensional visual sensor |
| US7203573B2 (en) | 2002-12-13 | 2007-04-10 | Fanuc Ltd | Workpiece taking-out apparatus |
| JP2010207989A (ja) * | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の把持システム及び同システムにおける干渉検出方法 |
| CN103240756A (zh) * | 2012-02-03 | 2013-08-14 | 发那科株式会社 | 具有自动调整检索窗口的功能的图像处理装置 |
| CN103240756B (zh) * | 2012-02-03 | 2014-07-02 | 发那科株式会社 | 具有自动调整检索窗口的功能的图像处理装置 |
| US9769428B2 (en) | 2012-02-03 | 2017-09-19 | Fanuc Corporation | Image processing device with function for automatically adjusting search window |
| JP2015030044A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社安川電機 | ロボットシステムおよび被加工物の製造方法 |
| CN106682418A (zh) * | 2016-12-27 | 2017-05-17 | Tcl集团股份有限公司 | 一种基于机器人的智能存取系统及其存取方法 |
| CN106682418B (zh) * | 2016-12-27 | 2021-08-10 | Tcl科技集团股份有限公司 | 一种基于机器人的智能存取系统及其存取方法 |
| US20210354297A1 (en) * | 2020-05-14 | 2021-11-18 | Tyco Electronics (Shanghai) Co. Ltd. | Automatic Depalletizing System |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7340203B2 (ja) | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 | |
| JP5806301B2 (ja) | ロボットシステムにおける物理的な物体の選択のための方法 | |
| EP2538373A2 (en) | Picking system | |
| US9764475B2 (en) | Workpiece taking out robot system having conversion-calculation function of position and orientation, and workpiece taking out method | |
| US20150321354A1 (en) | Picking apparatus and picking method | |
| WO2009148089A1 (ja) | ハンドリング装置、制御装置、制御方法およびプログラム | |
| JP2019198949A (ja) | バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法 | |
| EP2221152A1 (en) | A robot system and a method for picking and placing components | |
| JP7163506B2 (ja) | 作業ロボットおよび作業システム | |
| JP7395967B2 (ja) | 自走式搬送装置 | |
| JP2000263480A (ja) | ビンピッキング装置 | |
| Boschetti | A picking strategy for circular conveyor tracking | |
| JP2009291895A (ja) | ハンドリング装置、制御装置及び制御方法 | |
| JP2001179677A (ja) | ビンピッキング装置 | |
| JP2009297881A (ja) | ハンドリング装置、制御装置及び制御方法 | |
| CN110914021A (zh) | 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序 | |
| US20210197391A1 (en) | Robot control device, robot control method, and robot control non-transitory computer readable medium | |
| JP3151900B2 (ja) | 部品供給装置 | |
| WO2004052596A1 (en) | Method and arrangement to avoid collision between a robot and its surroundings while picking details including a sensorsystem | |
| Herbert et al. | Two-Stage Robotic Bin Picking of Small Metallic Objects | |
| US11660757B2 (en) | Robot control system simultaneously performing workpiece selection and robot task | |
| US20230192421A1 (en) | Method for Controlling the Operation of an Industrial Robot | |
| CN115599092A (zh) | 一种工件搬运控制方法、装置、设备及存储介质 | |
| WO2023157380A1 (ja) | ロボット監視システム、監視装置、監視装置の制御方法およびプログラム | |
| JP2023017385A (ja) | ロボット制御方法、ロボット制御システム、制御装置及び制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070612 |